Илон-наше всё-Маск медитативно и фаталистично рассуждает про долгосрочные риски связанные с развитием AI [точнее, Artificial General Intelligence] в подкасте у Джо Рогана:

∙ AI скорее всего будет за пределами человеческого контроля
∙ сложность не только и не столько в том, что AI может нести угрозу человечеству. Проблема в том, что AI может развиваться непредсказуемо и мы не сможем это контролировать
∙ будет большое искушение использовать AI как оружие
∙ AI обучается нашей лимбической системой [это тема про все расистские, сексистские bias’ы в датасетах]
∙ Маск пытался убедить людей притормозить в развитии и начать регулировать AI, но у него [сюрприз] не получилось
∙ у регулировании есть проблема—это медленный процесс и занимает много лет.
∙ Маск встречался с Обамой и 50 представителями конгресса и пытался объяснить опасность развития AI
∙ If you can’t beat it—join it. Цель Neuralink (https://t.me/zamesin/418)—дать возможность мозгу человеку создать симбиотические отношения с AI. Вместо того, чтобы заменить человечество, возможно, AI даст человеку невероятные когнитивные способности. Человек УЖЕ делает это с помощью смартфона и компьютера 🙂
∙ В будущем мы сможем загружать наш биологический образ в компьютер и восстанавливать себя в новом носителе

Смотрите с 11:55 до 32:00. Роган периодически теряет фокус, но Маск стабильно возвращается к теме AI 🙂 Советую посмотреть

🔗 https://youtu.be/ycPr5-27vSI?t=715

Оффтоп от AI-марафона:

В конце декабря прошли первые два воркшопа по тому, «как думать и действовать, когда нихрена не получается и, кажется, не получится». Фидбек неплохой, продолжаю. Помимо Москвы, буду 1 февраля с этим воркшопом в Новосибирске, а 1 марта в Питере.

Буду рад поделиться своей системой. Кстати, сейчас яростно ботаю как медитация прокачивает функцию внимания, плюс, придумал пачку упражнений на то, чтобы увидеть в своей психике себя явно мешающие жить установки.

Новосибирск
∙ 1 февраля
∙ только оффлайн
∙ 2900 руб.
∙ https://zamesincustdev.timepad.ru/event/1239928/

Москва
∙ 8 февраля
∙ есть еще 20 мест оффлайн, онлайн
∙ 5900 оффлайн, 2900 онлайн
∙ https://zamesincustdev.timepad.ru/event/1224898/

Питер
∙ 29 февраля
∙ только оффлайн
∙ 2900 руб
∙ https://zamesincustdev.timepad.ru/event/1239942/

Сундар Пичай, CEO at Alphabet и Google, написал статью в Financial Times про то, что AI важно регулировать и Google готовы быть партнёром для регуляторов:

«Мы не можем просто создать многообещающую новую технологию и позволить рыночным силам решить, как она будет использоваться. В равной степени мы обязаны следить за тем, чтобы технологии использовались во благо и были доступны каждому.

Теперь я не сомневаюсь, что искусственный интеллект необходимо регулировать. Это очень важно. Вопрос только в том, как именно это сделать.»

По мнению Сундара, регуляция должна идти с двух сторон:
1. Самопроверка компаниями на Common Sense создаваемых алгоритмов
2. Регуляция со стороны государств.

«И Google рад быть полезным партнёром для регуляторов».

Кажется, это самая важная строчка из всего письма. Похоже, это ответ на утёкший документ, который должен запретить использование алгоритмов распознавания лиц в европе: https://www.euractiv.com/section/digital/news/leak-commission-considers-facial-recognition-ban-in-ai-white-paper/

То есть: Евросоюз запретил распознавание лиц и говорит: «AI надо регулировать», и тут гугл такие: «Согласны! Кстати, мы классные партнёры, чтобы обсуждать регуляцию» 🙂

🔗 https://www.ft.com/content/3467659a-386d-11ea-ac3c-f68c10993b04 [там пейвол]

Видео-подкаст!!

Первый выпуск с Андреем Геваком, руководителем сервиса Яндекс.Музыка.

Андрей рассказывает про два стратегических направления развития Яндекс.Музыки—про то, как создавалась Яндекс.Музыка, как сервис будет развиваться в будущем и что нужно делать, чтобы стать руководителем сервиса в Яндексе. Есть короткая версия, в которой Андрей рассказывает про два фокуса Яндекс.Музыки: дистрибуцию и голосовые интерфейсы.

Я записал уже шесть выпусков с невероятными ребятами: Боря Янгель [следующий выпуск], Дима Мацкевич, Байрам Аннаков, Толя Марьин, Витя Осыка. Формат продолжаю искать, поэтому первые эпизодов десять меня точно будет штормить.

[первые несколько выпусков будут с косяками, например, в этом выпуске я не в фокусе (не спрашивайте почему), оказывается, записывать видео-подкаст не такая уж и очевидная штука. Со временем станет лучше].

🔗 12-минутный тизер, если не уверены, что готовы смотреть полную версию: https://zamesin.me/podcast-andrey-gevak-teaser/
🔗 полная версия на час: https://zamesin.me/podcast-andrey-gevak-full/
🔗 слушать в Яндекс.Музыке [😝] https://music.yandex.ru/album/9714488

Открыта продажа билетов на взрослые смены Камчатки.

Это творческий лагерь для детей в Эстонии. В августе вожатые проводят ТАКОЙ же лагерь, но для взрослых детей.

Я был в [или “на”?] Камчатке в 2018 году и это было ОХРЕНИТЕЛЬНО КРУТО. Наверное, лучший опыт за много-много лет и точно лучший опыт 2018 года.

Суть: каждый день новое творческое задание. Нужно нарисовать мультик, записать песню, снять фильм, поставить спектакль. Мой пост с фотками: https://www.facebook.com/zamesin.ivan/posts/10156146420407499

Стоит €1860 за 14 дней, €980 за 7 дней. Билет до Таллина не включён, но включён Трансфер из аэропорта Таллина в лагерь

🔗 http://kamchatka.camp

Одна из песен, которую записали во время смены. Видео хорошо передаёт настроение :)

🔗 https://www.youtube.com/watch?v=O2WOJgnRS7w

Рецензия и ключевые тезисы из книги LIfe 3.0 by Max Tegmark

10/10

∙ Одна из самых увлекательных нон-фикшн книг, которую я когда-либо читал
• Тэгмарк рассуждает про то, как AGI [Artificial General Intelligence] может зародиться, по каким сценариям может пойти его развитие.
• Тэгмарк виртуозно переключается между уровнями абстраций:
 • таймлайнов: затрагивает и соверменный контекст и ближайшее будущее и спекулирует про десятки миллиардов лет будущего
 • контекстов: этика, контексты и мотивы разных стран,
 • технических деталей: и затрагивает основы искуственного интеллекта и технологий и умеет объяснять сложнейшие тезисы на пальцах
• Моя любимая глава—про следующие 10 миллиардов лет, в которой Тэгмарк спекулятивно рассуждает как AGI будет летать по вселенной, испарять чёрные дыры, бороться с тем, что вселенная расширяется. И выполнять вычисления, конечно.

🔗https://zamesin.me/books-life-3-0/

В Life 3.0 Тэгмарк рассказал про теорию, которая связывает второй закон термодинамики [энтропия] с зарождением жизни.

В 2014 году Quantamagazine опубликовала статью про Джереми Ингланда, который сделал это предположение:
•  Джереми опубликовал формулу, которую вывел из существующих законов физики, в которой описал, как атомы, на которых воздействует энергия фотонов или химических реакций и при нахождении в океане или атмосфере, будут перестраивать себя так, чтобы поглощать больше энергии.
•  Это означает, что при соблюдении ряда условий, материя может перестраиваться и приобретать первые признаки жизни
•  Энтропия—это мера того, насколько энергия и материя равномерно распределены в системе.
•  [Я не знал, но оказывается, энтропию связывают с односторонним течением времени. Если время могло бы течь в обратном направлении, нарушался бы второй закон термодинамики]
•  Растение, которое поглощает солнечный свет, с помощью фотосинтеза производит сахара и испускает инфракрасный свет, менее концентрированную форму энергии. Общий уровень энтропии вселенной увеличивается в процессе фотосинтеза. Хотя само растение сохраняет свою форму.
•  Один из способов лучше поглощать энергию—создавать копии молекул, которые уже это делают достаточно хорошо.
•  Вероятно, что примеры, когда неживая материя образует паттерны—например снежинки—это следствие того, что материя перестраивается так, чтобы лучше поглощать энергию

В 2017 году вышла вторая статья:
•  Ингланд сотоварищи опубликовали две статьи: 1, 2 с результатами компьютерного моделирования ситуаций, когда в закрытой системе моделировалось поведение небольшого количества атомов
•  В большей части смоделированных условий, энергия и материя равномерно распределялись. Но при определённых заданных условиях, случалось противоположное: материя фиксировалась в определённом положении так, чтобы поглощать большее количество энергии. Это подтверждает гипотезу про «тонкую подстройку» системы и окружения.
•  Мы [чилавеки], такие же супер-потребители энергии. Мы сжигаем тонны химикатов для того, чтобы поддерживать жизнь в своих клетках и таким образом увеличиваем энтропию во вселенной 🙂

Пока что живых исследований нет, но теория безумно интересная

Как это связано с AGI? Да похоже, что законы физики предрасположены к появлению интеллекта. Не важно в каком субстрате—биологическом или кремниевом 🙂

🔗 https://www.quantamagazine.org/a-new-thermodynamics-theory-of-the-origin-of-life-20140122/
🔗 https://www.quantamagazine.org/first-support-for-a-physics-theory-of-life-20170726/

​​Смоделирована война Китая и США.
Остановить ее эскалацию не удалось из-за ИИ.
Ядерное сдерживание - единственный пока что работающий механизм предотвращения эскалации войн между странами, обладающими ядерным оружием.
Внедрение ИИ-технологий в автономные и человеко-машинные военные системы ломает этот механизм сдерживания и делает возможным эскалацию конфликтов вплоть до глобальной ядерной войны.
Как это будет выглядеть на практике, показала командно-штабная военная игра, проведенная RAND Corp.

ЦЕЛЬ игры заключалась НЕ в том, чтобы узнать, как игроки могут превзойти друг друга, используя ИИ-технологии. А в том, чтобы исследовать, как наличие у сторон ИИ повлияет на сдерживание и эскалацию конфликта.

СЦЕНАРИЙ игры вполне реалистичный (подобное может случиться в любой момент).
• Китай попытался установить больший контроль в регионе, а США и Япония решили этому помешать.
• Сначала произошло несколько бескровных инцидентов с беспилотниками, а затем в результате очередного инцидента были убиты китайские и американские военнослужащие.
• Это было как преднамеренно, так и непреднамеренно. США и Япония участвовали в совместных учениях и сознательно стремились спровоцировать китайцев. Китай не испугался и пошел на эскалацию, потопив беспилотный японский грузовой корабль. Тогда США и Япония своими противолодочными средствами потопили пилотируемую китайскую подлодку. И это были первые человеческие жертвы в игре.
• Дальше все покатилось. США и Япония не смогли деэскалировать ситуацию на начальном этапе. Китай принял ответные меры с ракетной атакой против американского и японского флота, что также привело к человеческим жертвам. После еще нескольких этапов эскалации, игру закончили на том, что кризис только все более обострялся.

ВЫВОДЫ по результатам игры.
✔️ Как автономные, так и гибридные (ИИ+люди) военные системы могут привести к непреднамеренной эскалации и кризисной нестабильности, в корне меняя эскалационную логику и динамику.
✔️ Традиционное сдерживание завязано на людях, пытающихся понять намерения других людей (противника). Но люди плохо или вообще не понимают намерений ИИ и наоборот. В результате возникает лавина неадекватных ответных действий на неадекватные действия противника.
✔️ В результате, сдерживание перестает работать, а эскалация конфликта выходит из под контроля просто из-за невозможности сторон адекватно понимать намерения друг друга.

По завершению игры началось самое интересное – анализ мирового устройства при наличии военных ИИ-систем в 5 сценариях:
- В мире один ИИ-лидер: США
- В мире один ИИ-лидер: Китай
- В мире два ИИ-лидера: США и Китай
- В мире много государств ИИ-лидеров
- Коллапс государственных систем в результате развития ИИ
Во всех сценариях рассматривались: автономные военные ИИ системы и гибридные (машины и люди).
Рассматривались возможности применения ИИ-систем разной продвинутости: экспертные и статистические алгоритмы, разные виды машинного обучения, супер-ИИ.

Сценарии написали интересные. Но анализ только начали. Хотя результаты уже сейчас просматриваются поганые. Нужно продолжать моделирование, а также:
✔️ разрабатывать новую концепцию сдерживания;
✔️ проводить анализ и оценку эскалационного потенциала новых ИИ-систем и влекомых ими новых операционных концепций.

Отчет исследования "Deterrence in the Age of Thinking Machines" будет продаваться с 29 февраля за $22 на Амазоне.

Желающие прочесть 105 стр. отчета сейчас и задаром могут получить его здесь.

#ИИ  #БольшаяВойна

Почему вредно читать новости.

Эволюция отфильтровывала тревожных и осторожных ребят, которые пугались каждому шороху в кустах, случайному движению на периферии зрения. Если твои нейронки умели среди камней распознавать змею или паука, естественный отбор ставил лайк и шерил твой днк в следующее поколение.

Сначала про механизм реакции на угрозу

Амигдалы [миндалевидные тела, миндалины]—крошечные части мозга, отвечающие в том числе за быструю реакцию на угрозы. Находятся в центре мозга, прямо за глазами, есть в левом и правом полушарии.

Сигналы от органов чувств до амигдалы доходят быстрее, чем до коры головного мозга. Эвристики амигдалы работают быстрее, чем обработка и анализ сигналов от cortical columns в коре головного мозга. Это приводит к последовательности реакций [очень грубо]:
1. Амигдала распознаёт угрозу и отправляет сигнал гипоталамусу «аларм!»
2. параллельно, амигдала отправляет в гиппокамп информацию с органов чувств «сохрани на будущее вот эту инфу, чтобы мы знали чего бояться»
3. гипоталамус отправляет сигнал надпочечникам вырабатывать кортизол, адреналин/норадреналин
4. Кора головного мозга [если раньше не осознала угрозу] считывает информацию с тела, видит, что тело в панике. На всякий случай тоже пугается.

Этот механизм приводит к следующим интересным последствиям:
∙ мы сначала пугаемся, потом осознаём почему испугались
∙ часть психологических травм мы не помним или не осознаём, что это воспоминание травматично, так как связи «воспоминание+реакция» нет у коры головного мозга [но было у амигдалы]

Теперь к новостям.

Медиа-чуваки поняли, что кровавый контент классно заходит и выработали правило: «If it bleeds, it leads» [перевод: если контент кровоточит—он привлекает внимание].

Когда мы читаем тревожные новости [массовая стрельба в школе, поднимут налоги, перепишут конституцию..], амигдала видит угрозу и отправляет сигналы на всякий случай впрыснуть кортизол и нор-адреналин/адреналин. У нас учащается пульс, случается небольшой приход. Но при этом, мы не осознаём, что мы под кайфом и что нам тревожно. Ну новости и новости. Интересно что там в мире.

Зайдите на любой новостной сайт для широкой аудитории [не про бизнес] и посмотрите какой % новостей потенциально может вызвать страх и тревогу. Вангую, что >50%. Если вы смотрите телевизор, ради интереса, посчитайте какой % сюжетов про страх и тревогу. Скорее всего будет сильно выше 50%.

Главная проблема в том, что паразитируя на этом механизме, долгосрочно, чтение новостей вредит нашему здоровью [study: https://www.researchgate.net/publication/247898920_If_It_Bleeds_It_Leads_The_Clinical_Implications_of_Fear-Based_Programming_in_News_Media]:
увеличивается вероятность развития тревожного растройства, депрессии и пост-травматических стрессовых расстройств.

И из этого же исследования—долгосрочно, чтение новостей меняет наши бессознательные установки и мы начинаем смотреть на мир через призму постоянной опасности.