Size: a a a

2019 October 23
Quantum Quintum
Извините, что про еду, хотя... в Москве обеденное время. :) Мир никогда не будет прежним, если вот эта штука пойдет в полный roll out. Конец эпохи!

Pizza Hut экспериментирует с экологически чистой упаковкой для пиццы. И вот эта упаковка... 🥁 круглая. Круглая упаковка для пиццы!

Казалось бы, коробка, но проектирование заняло два года. И это уже цифровой заход с выбором материалов и снижением их количества, проектированием функциональных ребер жесткости, чтобы тарелочки можно было ставить друг на друга, и при этом было удобно отрезать кусочки, созданием механизма сцепки крышки и дна + удобными крылышками для открытия коробки, продумыванием системы вентиляции для поддержания правильного вкуса пиццы.

https://www.washingtonpost.com/news/voraciously/wp/2019/10/22/the-pizza-box-hasnt-evolved-in-decades-but-now-pizza-hut-is-trying-out-a-new-round-design/
источник
2019 October 24
Quantum Quintum
Про использование больших данных для минимизации предвзятости и неожиданные откровения эволюции. Ученых давно волнует вопрос, каким образом не связанные друг с другом животные приобретают схожие уникальные способности. В данном случае исследователи из Стэнфорда анализировали происхождение эхолокации у летучих мышей и китовых. Работа крута как результатом, так и самим подходом, ну и попутно подливает масла в огонь креационистов при поверхностной интерпретации.

🦇Суть исследования. Известно, что не все летучие мыши и не все китовые способны к эхолокации, в том числе часть из них потеряла такую способность в ходе эволюции. Ученые задались поиском таких фрагментов генома, которые бы отличались у близких видов, но были бы схожими или одинаковыми у сильно дальних. Принципиальный момент — это попытка избежать предубеждений, где именно искать, поэтому алгоритмы поиска работали по полным геномам (в этом смысле техника переносима и на другие сочетания видов).

🦇 Результат. Анализ привел исследователей в зону улиткового ганглия, как единственный наиболее близкий участок генома среди эхолоцирующих млекопитающих. Если точнее, то они нашли 25 схожих изменений амино-кислот в 18 генах, ответственных за улитковый ганглий. Причем только 2 из этих изменений отмечались в других исследованиях эхолокации. Феноменальность результата заключается в двух вещах: уникальная изолированность изменений (25 из более 4000 возможных наборов генов) и само наличие этой близости на генетическом уровне.

🦇 Вывод. 1) Анализ данных в данном случае не просто подтвердил интуицию ученых, но и существенно расширил ее, попутно дав инструмент для поиска новых совпадений. 2) Исследование показывает, что геном, как программа живого существа, имеет ограниченную вариативность, в этом смысле кажется неудивительным (постфактум), что проистранство генетических изменений для реализации конкретного механизма оказывается ограниченным и в результате даже у дальних видов изменения оказываются очень близкими, 3) Ученые целенаправленно начали искать подходы к снижению влияния собственных предубеждений, это радует.

http://med.stanford.edu/news/all-news/2019/10/stanford-scientists-uncover-genetic-similarities-among-species-t.html
источник
2019 October 25
Quantum Quintum
Каждый новый кейс про bias в медицинский алгоритмах — это прямо красный флаг, почему медицинский AI должен быть 1) с национальными алгоритмами  и данными, 2) но и этого самого по себе недостаточно.

Очередное исследование на тему "алгоритм, понял, что черных лечить не надо, потому что они меньше платят".

Алгоритм, попавший под раздачу, предсказывает, каким пациентам американских клиник может потребоваться экстра уход, дополнительные визиты доктора, лекарства и т.п. Со стороны клиники интерес понятен: снизить свои интегральные расходы, при этом фокусирая ресурсы на тех, кому они наиболее необходимы.

Все бы ничего, но алгоритм строится на исторических данных, показывающих, сколько стоило лечение того или иного пациента в том или ином случае. А это "стоило" напрямую завист от "сколько пациент заплатил". Нетрудно догадаться, какие категории населения платили меньше.

https://www.theverge.com/2019/10/24/20929337/care-algorithm-study-race-bias-health
источник
2019 October 28
Quantum Quintum
Кратко про ботов. Примерно вот так выглядит падение с кривой хайпа:

Andy Pflaum, глава платформы Slack: "Боты продолжат существовать и играть свою роль в Slack. Но исследования компании показали, что обычным пользователям боты не комфортны, они забывают, как использовать эти методы. Тестирование других вариантов интерфейса показало более позитивные варианты (речь о модальных окнах и мини-приложениях).

https://onezero.medium.com/slack-and-the-decline-of-bots-34119c6698b4
источник
2019 October 29
Quantum Quintum
О конспирологии. На The Verge крутейший рассказ об упражнении в проектировании реальности — национальном месяце создания теорий заговора NaСoWriMo (National Conspiracy Writing Month), ответвлении другого челенджа NaNoWriMo (No = Novel), в котором от авторов требуют за месяц написать повесть в 50000 слов.

В новом соревновании нужно написать глубокую, убедительную и полную конспирологическую теорию. Tim Hwang, автор NaСoWriMo, надеется, что соревнование поможет участникам и читателям понять на практике, как формируются теории заговора. Идея исходит из восприятия теорий заговора как проявления творческой среды, уникального и мощного вида фантазий о реальности, поклонники которой могут существенно на нее влиять. И лучший способ понять, как это работает -- попробовать создать свою теорию.

Каждый участник NaСoWriMo должен создать набор:
🧶 Откровение — документ в 10000 слов, объясняющий основы теории и ее влияние на общество;
🧶 Схему — визуальный гайд, представляющий теорию столь убедительной, что странно, что это никто не понял раньше, и
🧶 Следы — набор фактов, поддерживающих теорию.

https://www.theverge.com/2019/10/25/20926980/national-conspiracy-writing-month-nacowrimo-nanowrimo-challenge-tim-hwang

Подробнее о соревновании: https://medium.com/@timhwang/november-is-national-conspiracy-writers-month-nacowrimo-c01770621761
источник
2019 October 30
Quantum Quintum
Советы инженерам.  Marianne Bellotti (Auth0) делится жизненным опытом и раскрывает 5 крутых советов, которые она получила от нетехнарей:

1. Люди вроде нас получают деньги за работу в зоне между процессами. Контекст: разговор между высокопоставленными чиновниками служб безопасности США. Суть: ключевые проблемы в безопасности и надежности происходят не внутри компонент, а между ними, особенно, если они находятся в разных организациях. Это зоны, в которых никто по умолчанию не несет ответственности, нет мониторинга.

2. Важно знать, в чем именно вас просят быть экспертом. Контекст: подготовка профессионалов в разных областях к сертификации по английскому языку. Суть: надо уважать экспертность собеседника и четко понимать, какой экспертности они ожидают от тебя ("не учи меня быть медиком, научи меня быть медиком на английском").

Дополнение: не обманывайте себя, мы знаем, кого наняли. Контекст: сомнения менеджера в своей инженерной экспертности. Суть: иногда неплохо придержать язык за зубами и дать возможность высказаться тем, кого вы наняли быть экспертом в соответствующем деле.

3. Прежде, чем делать что-то лучше, перестаньте делать это хуже. Контекст: групповая терапия. Суть: очень часто, сами того не понимая, мы усугубляем состояние вещей, например, усиливая зависимости. Одна из ключевых задач менеджера — вовремя остановить сотрудников на фразе "я могу это сделать сам(а) на выходных", отрезающей их от помощи и понимания коллег.

4. Чтобы идти налево, поверни направо. Контекст: обучение битве на мечах и даосизму. Суть: люди часть склоняются к дуальному выбору, — черное или белое, плохое или хорошее, и т.п., — а природа не имеет таких различий. Поэтому надо практиковать противоположное, чтобы достичь баланса. Прежде, чем идти по очевидному пути, посмотрите, не могут ли противоположные действия снять проблему?

5. Думать — это тоже работа. Контекст: умная женщина из Бронкса, совет чужака. Суть: часто для совершения действий требуется потратить время на размышления, анализ, упорядочивание мыслей, рефлексию и т. п., но почему-то мы не считаем это работой. Накопление энергии для работы — это тоже работа. Если вы сделали свою работу к двум часам дня — идите домой, проведите время в семье, отдохните и т. п.. Если так не делать, откуда вы возьмете энергию и понимание в следующий раз работать до трех ночи?

https://medium.com/@bellmar/all-the-best-engineering-advice-i-stole-from-non-technical-people-eb7f90ca2f5f
источник
2019 November 01
Quantum Quintum
Фундаментальный вопрос для пятницы. Можно ли думать без Google? "Можно, но трудно", — пишет Jacqueline Detwiler в издании Forge на медиуме. Небольшой ликбез, почему нашему "мясному мозгу" так трудно отказаться от подсказок из интернета и мобильного телефона.

https://forge.medium.com/how-to-think-without-the-internet-again-308da944139d
источник
2019 November 11
Quantum Quintum
Про абстрактное мышление. Есть такое расхожее мнение, что человеки обладают уникальной мыслительной возможностью: конструировать абстрактные концепции, не привязанные к физическому миру.

В новом исследовании из Carnegie Mellon University проливают немного света на эту тему по результатам анализа сканов мозга с использованием машинного обучения.

Ученые выделили три измерения, к которым привязываются абстрактные концепции (это также можно воспринимать как внутреннюю систему координат или индексации):
Языковое, близкое к регионам обрабатывающим языковые конструкции. Тут проявляется связь понятий, например, "этика" связана с "правилами" и "моралью". Сначало надо понять связность слова, чтобы дальше выводить новые значения этики.
Относительности к себе. Абстрактные понятия привязываются к источникам: внутренним или внешним. Например, "духовность" - относится к "себе", а "причинность" находится снаружи.
Социальное. Большой блок понятий увязывается на социальные связи, например, "гордость" и "слухи".

Наличие измерений означает, что когда один человек думает о "духовности", в его мозгу происходит паттерн активации схожий с другими людими, независимо от того, как каждый из них испытывает "духовность".

https://www.futurity.org/abstract-concepts-brain-regions-2201232/
источник
2019 November 12
Quantum Quintum
Про ресурсы, требуемые для AI. Тут OpenAI обновило свою прошлогоднюю статью про вычислительные мощности для решения AI-задач (обучения сеточек), добавив исторические данные, начиная с первых моделей перцептронов.

Очень хорошо виден экспоненциальный рост в целом, который в последние годы еще больше ускорился. Граница проходит примерно по 2012 году, причем если предыдущий отрезок с 1959 по 2012 соответствует закону Мура, то современная "эра" с 2012 по настоящее время сильно опережает скорость роста вычислительных мощностей в 7 раз. (Фактически, это означает, что рост ИИ обеспечивается не столько ростом мощности чипсетов, сколько их количеством.)

Интересен вывод: правительства должны увеличить финансирование ИИ-исследований, потому что они тупо требуют все больше вычислительных ресурсов = денег на инфраструктуру.

https://openai.com/blog/ai-and-compute/#addendum
источник
2019 November 13
Quantum Quintum
Астрологи предсказывают месяц прогнозов на 2020. Одним из первых заряжает Gartner - топ 10 стратегических технологических трендов (отмечу, что без словообразования, -- а как еще подать то, что было, -- снова не обошлось):

1️⃣ Гиперавтоматизация. Фарш из машинного обучения, пакетов софта и средств автоматизации. В отличие от RPA, говорят эксперты, тут важна комбинация инструментов в широком спектре процессов вокруг автоматизации.

2️⃣ Мультиопыт. Разговорные платформы и разные реальности вместе грозятся сделать большой сдвиг в моделях восприятия и взаимодействия, последовательно продвигая нас к мультименсорному и мультимодальному опыту (к 2028 году), в котором технологии понимают нас лучше, чем мы их.

3️⃣ Демократизация экспертности. Радикальное снижение входного барьера и доступа к знаниям, в том числе контекстным, за счет обработки данных, машинного обучения и т. п. К 2023, говорят эксперты, станет еще проще быть экспертом в анализе данных, разработке, проектировании и вообще знании.

4️⃣ Улучшение человеков. Тут мы столкнемся с попытками использования технологий для улучшения наших физических и когнитивных способностей за счет интеграции имплантов или носимых устройств. В течение 10 лет аналитики ожидают бум консьюмеризации улучшательства.

5️⃣ Прозрачность и отслеживаемость. Консьюмеры все больше думают, что понимают ценность своей персональной информации и требуют контроля. Организации осознают риски работы с персональными данными, а правительства вводят новые требования, чтобы убедиться, что те действительно осознают. С поиском баланса между этикой, регулированием, програчностью и интерпретацией столкнется все, что касается ИИ и машинного обучения.

6️⃣ Мощности на границе. Спрос на реализацию топологии вычислений на конечных устройствах будет расти: вычислительный процесс продолжит тяготение к истонику данных. Кажется, edge computing будут вспоминать везде, где раньше говорили про IoT.

7️⃣ Распределенные облака. [Тут мой мозг сломался, потому что Gartner говорит, что модель публичных облаков гигантов, в которой облаком по умолчанию называют распределенную совокупность датацентров, станет новой нормой для облачных вычислений. Ну типа Gartner признал, что все остальные облака -- булшит.]

8️⃣ Автономные вещи. Это класс физических устройств, использующих ИИ, чтобы автоматизировать функции, которые раньше делали люди. Похоже, это новый обобщающий термин для роботов, дронов, машинок, корабликов и т.п. Разница только в более продвинутом ИИ и возможности взаимодействия роя.

9️⃣ Практичный блокчейн. Блокчейн по-прежнему имеет амбиции переписать историю, изменить индустрии и т.п., обеспечивая прозрачность, доверие и возможность обмена ценностями. Gartner, в общем, верит, что вот-вот оно начнется, несмотря на то, что у сурового энтерпрайза все еще есть ограничения технического характера.

1️⃣0️⃣ Безопасность ИИ. Наконец-то нас начнет массово накрывать проблемами безопасности ИИ, открывая новые вектора атаки на IoT, облачные вычисления, микросервисные архитектуры (и любые другие баззвордные штуки, с которыми связан ИИ). Настоящие лидеры должны сосредоточиться на трех вещах: защите ИИ-систем, использовании ИИ для защиты и предупреждении использования ИИ атакующими. Ну вы поняли. ;)

https://www.gartner.com/en/newsroom/press-releases/2019-10-21-gartner-identifies-the-top-10-strategic-technology-trends-for-2020
источник
2019 November 20
Quantum Quintum
Про визуальное мышление. Исследователи из Сеульского национального университета предлагают описывать векторные и тензорные операции графически, переводя индексные преобразования и дифференциалы в визуальную работу с узлами, петлями и соединяющими нитями.

Никаких научных открытий тут нет, просто мощная визуальная метафора для абстрактной математики.

Обзор: https://www.technologyreview.com/s/614704/how-to-turn-the-complex-mathematics-of-vector-calculus-into-simple-pictures/
Пубилкация: https://arxiv.org/pdf/1911.00892.pdf
источник
2019 November 21
Quantum Quintum
Про алгоритмы государства и "силу бюрократии". Потрясающая история из Нью-Йорка.

В 2017 году под громкие фанфары в славном городе Нью-Йорке издали локальный закон, запустивший процесс проверки алгоритмов, управляющих жизнью города. Соответственно, под это дело собрали комиссию из локальных энтузиастов, адвокатов и т. п., которые должны были проанализировать существующие инструменты автоматизации принятия решений и выдать рекомендации на благо жителей города.

Спустя два года вышел отчет, но не такой, какого все ожидали. Комиссия расписалась в беспомощности в попытках выяснить, как все на самом деле, и усомнилась в готовности аднимистрации города к прозрачности.

В частности, на свои запросы в разные отделы и департаменты с просьбой предоставить описания инструментов и алгоритмов, они получали в основном презентации, которые скорее походили на питчи стартапов, чем описания реальных алгоритмов. Все попытки изменить отношение и внедрить культуру информационных карт алгоритмов также провалились.

Итоговый отчет в итоге фокусируются на необходимости организационных изменений, чтобы поменять в целом подходы правительства к использованию алгоритмов и внедрению формальных процедур по отчетности о подобных системах. Критики отчета, впрочем, отмечают, что это и так было понятно без всяких комиссий. Но мэр города сделал вид, что прислушался, и выделил целую роль - офицера по политике и управлению алгоритмами.

https://www.theverge.com/2019/11/20/20974379/nyc-algorithm-task-force-report-de-blasio
источник
2019 November 22
Quantum Quintum
Поколенческое. В Gen (Medium) пишут, что поколение Z (digital-born и вот это все) уже не верх айсберга, и все больше на них надо смотреть как поколение S (Generation Surveillance), которое с самого своего рождения находится под присмотром камер, соцсетей, датчиков, слежки корпораций, государства и т.п.

Когда каждый аспект их жизни оцифрован, задокументирован, пошарен в соцсеточке и т.п., возникает большой вопрос, что с этим делать: скрываться, забить или использовать. Авторы пишут, что все больше Z склоняется к гиперпрозрачности, само выставляя себя на показ. И внезапно этот поток флуда позволяет приобрести новые черты свободы, воспринимая экспозицию, как способ показать наружу разных себя.

https://gen.medium.com/forget-gen-z-this-is-generation-surveillance-d537139e5c0e
источник
2019 November 25
Quantum Quintum
Стратегия нулевого доверия. У отдела кибербезопасности Microsoft вышла отличная статья и подборка ресурсов об их стратегии безопасности, развиваемой последние несколько лет.

Компания пишет, что нулевое доверие (Zero Trust) — это не какая-то специфичная технология, а именно подход, которые требует реализации на всех уровнях: от архитектуры самой организации до операционной деятельности, от культуры компании до выбора конкретных технологий.

Предпосылки к новой стратегии:
🔥 Усложнение IT-ландшафта: устройства, пользователи и средства связи уходят за периметр организации с атрибутом "принеси свое".
🔥 Сдвиг вектора атаки: от сетевых к персональным профилям.

Ключевые принципы:
🛡Явные проверки. Всегда аутентифицируйте и авторизуйте, основываясь на всех доступных данных, включая профиль, локацию, состояние устройства, сервис или службу, класс данных, аномалии.
🛡Наименьший необходимый уровень доступа. Ограничивайте пользователей временными (just-in-time) и минимально достаточными (just-enough-access) правами, используя адаптивные политики, учитывающие риски, и защиту данных.
🛡Предполагайте худшее. Исходите из наличия бреши: сокращайте радиус поражения и прудупреждайте распространение, сегментируя доступ по сети, пользователям, устройства и другим сведениям. Проверяйте, что все сессии зашифрованы целиком. Прокачивайте аналитику, обнаружение угроз и улучшайте защиту.

Статья: https://www.microsoft.com/security/blog/2019/11/11/zero-trust-strategy-what-good-looks-like/
источник
2019 December 02
Quantum Quintum
Важный пост-приглашение для всех тех, кто про технологические платформы, сообщества и экосистемы и нуждается в оцифровке отношений, выходе на новый уровень понимания и стратегического планирования и вот это все.

Мы тут провели методологическую и экспериментальную работу, и в сочетании с нашими планами на 2020 подготовили небольшой White Paper на эту тему. Коллеги говорят, что документ сложный и заходит не сразу, и там еще периодически нужно разбираться в грибах и читать между строк недосказанное, но это все детали и драфт. И еще: он хотя и про НТИ, но как бы и совсем нет. В общем, качайте, читайте, перечитывайте, спрашивайте, уточняйте, комментируйте и подписывайтесь на обновления.

Если начало заходить:
🏖 Давайте встречаться на Зимнем острове в Сочи, я тут с 1 по 5 декабря.
🏙 Давайте встречаться в Москве с 9 декабря: приезжайте в Точку на Баррикадной или зовите в гости к себе. :)

Пишите лично или через GitHub, будем сотрудничать.

Whipe Paper: https://github.com/2035-Platform/franchise-mycorrhiza
источник
2019 December 09
Quantum Quintum
Про доверие к технологиям. Неожиданный разрез (хоть и не очень глубокий пока) про восприятие новых технологий и доверие к ним со стороны детей. MIT Technology Review пишет про скептицизм детей по отношению к источникам информации и перенос тестирования осведомленности на голосовые ассистенты.

Вопрос между строк: мы (люди из IT и около) прекрасно понимаем ограниченность Алексы, Гугла, Сири, Алисы и т. п. и воспринимаем их как просто еще один интерфейс; но для детей это естественный по доступу, но не очень осведомленный источник знаний. Какова вероятность, что этот шаблон у текущего поколения детей закрепится? А те, кто слушает сказки Алисы, когда вырастет, будет воспринимать ее как игрушку из детства?

https://www.technologyreview.com/s/614863/why-kids-dont-trust-alexa/
источник
2019 December 10
Quantum Quintum
Про трезвость взгляда. В Engadget важная заметка про антимилитаристский популизм IT-компаний США. С одной стороны, мы слышим возгласы: "фу-фу, нельзя связываться с военными контрактами, мы же IT-компания, донтбиивел и вот это все" и "мы же не Китай, где каждый первый хуавей сотрудничает со спецслужбами".

А с другой, вот вам Джефф Безос, глава Amazon и один из богатейших людей мира, говорящий весьма откровенно (и местами вопреки давлению администрации и лично Трампа): "У США будут проблемы, если крупнейшие технологические компании отвернутся. Мы будем поддерживать Министерство обороны, нам важна наша страна."

https://www.engadget.com/2019/12/08/amazon-jeff-bezos-on-tech-military-contracts/
источник
Quantum Quintum
Про язык современности. Не понятно, смеяться или плакать. То ли постучались снизу, то ли письма сумасшедших, то ли глобализм аукнулся.

Ученые из UK предлагают отказаться от названия Quantum Supremacy (квантовое превосходство) в пользу Quantum Advantage (квантовое преимущество) из-за рассового подтекста у слова Supremacy.

https://www.nature.com/articles/d41586-019-03781-0
источник
2019 December 11
Quantum Quintum
Про экологию, потепление и тундру. Если вам не хватило лекций Зимина в точке кипения и на Острове 10-22 или вы ее не видели (в конце ссылка), то вот вам свежая статья в Washington Post по результатам федерального отчета о ситуации в Арктике.

По ту сторону океанов тоже подтверждают, что мы прошли точку невозврата.

❄️ За прошедший сезон была вторая самая теплая средняя температура поверхности (за 100+ лет наблюдения);
❄️ Тундра активно зеленеет от Аляски и Канады до Сибири;
❄️ Температура морей в Арктике была на 1-7 градусов теплее, чем средняя за последние 40 лет;
❄️ Зимой лед в морях продолжает нарастать рекордно минимальными темпами второй год к ряду;
❄️ Таяние ледников только в одной Гренландии, каждый год вносит вклад в 0.7мм к повышению уровня океана;
❄️ Текущая оценка эмиссии углерода от таяния вечной мерзлоты - 1.2-2.2 миллиарда тонн в год (для сравнения, глобальная человеческая деятельность дает 33.8 млрд т. в год);
❄️ В Арктике США снежный покров в мае был 5 минимальным за 59 лет наблюдений, в июне — 3 минимальным.

Статья: https://www.washingtonpost.com/weather/2019/12/10/arctic-may-have-crossed-key-threshold-emitting-billions-tons-carbon-into-air-long-dreaded-climate-feedback/

Отчет: https://arctic.noaa.gov/Report-Card

Лекция Зимина: https://www.youtube.com/watch?v=jfNVl573Jpw
источник
2019 December 18
Quantum Quintum
Про ИИ и символьные вычисления. Внезапно, сразу две крупные компании, Facebook и Microsoft, разразились исследованиями на тему применения нейронных сетей для символьных вычислений.

__
Facebook, говорят, научился считать интегралы и производные. Внутри классическое представление выражений деревьями с записью в последовательное представление. После чего работает сеточка seq2seq, генерирующая последовательность для соответствующего преобразования.

Для обучения сеточки нужна обширная база данных, которую относительно легко сгенерировать и дополнить расчетами от систем символьной математики, умеющих брать производные и интегралы. Выражения, с которыми они не справляются, отсеиваются. В итоге получается база в несколько десятков миллионов выражений.

Итоговая сетка на тестовой базе существенно обходит математические пакеты Mathematica, Matlab и Maple, давая при этом альтернативные варианты выражений.

Самое интересное теперь -- это задаться вопросом от интерпретации этих результатов. Чтобы настроить себя на правильный лад, рекомендую посмотреть фильм: "Человек, который познал бесконечность" об индийском математике Сринивасе Рамануджане.


Исследователи из Microsoft также занялись изучением вопросов связи символьных и нейронных представлений об объектах. И, как можно догодаться, строят для этого нейросимвольные модели ИИ.

Данная работа исходит из математических теорий о кодировании и декодировании символов в мозге и, соответственно, строится вокруг создания архитектуры сети, в которую такие [де]-шифроваторы были бы встроены.

Фактически, получаемые нейронные символы описываются через TPR (Tensor Product Representation) -- представления тензорных произведений, описывающих паттерны активации, распространяемые в большой сети нейронов. В отличие от классических нейронных сетей, такие паттерны имеют специальную внутреннюю структуру, позволяющую использовать аналоги символьных вычислений.

Практический фокус здесь также на математике: решении уравнений из алгебры, матанализа, теории вероятности и теории чисел. Соответствующий датасет открыт и содержит несколько миллионов задач.

Пример задачи:
Suppose 0 = 2*a + 3*a − 150. Let p = 106 − 101. Suppose −3*b + w + 544 = 3*w, −p*b − 5*w = −910. What is the greatest common factor of b and a?

Результирующая архитектура с обученной сеточкой также дают заметный прирост относительно предыдущего уровня достижений в аналогичных задачах (с 59% до 72%).


К чем я все это?

Есть подозрение (пока скорее надежда), что мы на пороге новой вехи в машинном/глубоком обучении. По всем признакам, эпоха классического Deep Learning заканчивается, и один из прогнозов -- это интеграция символьных и нейронных архитектур.

И если вы инвестируете в чистый deep learning, и надеетесь, что он там сам достигнет вершин, лишь бы данные были, вы инвестируете в 2010е.


Про Facebook: https://www.technologyreview.com/s/614929/facebook-has-a-neural-network-that-can-do-advanced-math/

Про Microsoft: https://www.microsoft.com/en-us/research/blog/next-generation-architectures-bridge-gap-between-neural-and-symbolic-representations-with-neural-symbols/
источник