Помню года полтора назад мы с коллегами обсуждали эволюцию транспортной задачи. Приземленно это выглядело так: представьте себе, что вы едете из Москвы в Питер на Сапсане (или летите, не важно). И вот анализ динамики этой ситуации подсказывал, что мы все больше переходим от схемы перемещения из точки A в точку B, к схеме нахождения в коридоре между точками в течение времени t. И эта смена парадигмы не столько математическая, сколько психологическая.

В одной из вариаций развития сценария, задача перемещения схлопывалась через t=0 в задачу присутствия. То есть вопрос не в том, как вас переместить в точку B, а в том, как вам позволить действовать в точке B. Отсюда задача телеприсутствия, суррогаты и т. п.

К чему это я? Японское аэрокосмическое агентство и компания GITAI всерьез занимаются вопросом отправки в космос роботов с удаленным управлением с земли. Ключевая проблема тут уже не столько функциональность робота (хотя и это тоже), сколько кардинальное снижение задержки прохождения сигнала между двумя точками (включая видео-картинку). И вот тут вырастет запрос на новый класс технологических решений: от коммуникации (например, квантовой) до восстановления (генерации) изображения на лету вместо его передачи.

https://spectrum.ieee.org/automaton/robotics/space-robots/gitai-partners-with-jaxa-to-send-telepresence-robots-to-space

Wired рассказывает о том, как данные с трекеров движения глаз используются для обучения ИИ выделять важные элементы в тексте.

В своих исследованиях Nora Hollenstein (ETH Zurich) и коллеги исходят из гипотезы, что движения глаз (и как следствие, проекция взгляда) являются отображением мыслительных процессов в мозге (в том числе, неосознаваемых явно). Соответственно, места, на которых взгляд, задерживается, по тем или иным причинам важнее других. Например, они могут быть просто ключевыми или вызывать в голове наибольшие сомнения, противоречия и т.п.

В экспериментах это позволяет обойти проблему отсутствия явно размеченных данных: достаточно просто отслеживать, на чем фокусируется "эксперт". Тонкость также в том, что в отличие от ручной разметки с привлечением массового низкоквалифицированного труда, новый способ по идее можно накладывать именно на реальных экспертов и, как следствие, получить "экспертный" сканер текста.

Я сразу вспомнил об одной веселой задачке, которую мы обсуждали на одном параходе: как сделать автоматическую оценку заявок стартапов на гранты, не сильно снижая качество оценки. Если эксперт просматривает сотню заявок методом чтения по диагонали, то, возможно, можно обучить компьютер делать то же самое, оставляя на прицельный разбор только работы со всплесками "внимания". Это так, гипотеза.

https://www.wired.com/story/tracking-readers-eye-movements-can-help-computers-learn/

Про теорию ошибок! MIT Technology Review рассказывает о работе Yian Yin и коллег из Northwestern University в Эванстоне (США) по исследованию природы ошибки.

Это в некотором роде уникальная работа, потому что обычно, говоря о стартапах, например, пытаются определить характерные признаки успешности. Здесь же ученые взяли за основу три больших датасета: 1) по судьбе различных стартапов, 2) попыткам ученых получить финансирование и 3) террористическим атакам.

Ключевой предмет исследования: как попытки одних и тех же людей (или их групп) меняются со времени и как на успех влияют такие показатели как случайность (шанс) и обучаемость.

Например, если ключевой фактор случайность, то упорством подачи заявок можно добиться успеха, и это должно приводить к экспоненциальному распределению. Но это не соответствует данным. Сравнение последовательных успешных "заявок" также показывает, что они отличаются заметно больше, чем было бы достаточно для чисто "случайной" модели успеха.

Но и модель "обучаемости", которая должна приводить к более узкому распределению полос неудачи, также не наблюдается.

Итоговая модель, которая показывает наибольшую близость к эмпирическим данным, сочетает агентов с разной обучаемостью. Когда уровень обучаемости из прошлого опыта ниже некоторого порога, оказывается будущие попытки будут почти наверняка неуспешными и, более того, качество работ может даже снижаться (агент уходит в стагнацию и деградацию). Когда обучаемость выше этого порога, каждая новая попытка становится лучше предыдущей и со временем приводит к успеху (агент прогрессирует).

Отмечу, что хотя вывод может показаться интуитивно понятным, и сама собой напрашивается рекомендация инвестировать в способность учиться на своих ошибках (это ключевой параметр модели), интересно именно поведение массы. Например, к режиму стагнации также приводят несвязанные попытки (когда агент делает много разных задач, ни одна из которых не приводит у улучшению опыта в других -- сильное распыление фокуса).

При этом у двух агентов могут быть одинаковыми изначальные стартовые позиции, и все решает именно динамика ошибок и качества последующих улучшений. Вопреки расхожему мнению, не все ошибки приводят к прогрессу, а разница между успешными и неуспешными далеко не только в количестве попыток.

Более того, эту разницу можно обнаружить уже в начале траектории и она устойчива. Помните картинки про копателя-неудачника, сдавшегося перед самым выходом? И общую историю "пробуй -- и у тебя получится"? Данные говорят об обратном. Два агента, один из которых стал успешным на 11 попытку после 10 неудачных и второй из которых сдался после 10й, отличались уже на ранних стадиях.

Обзор: https://www.technologyreview.com/s/613229/data-mining-reveals-the-hidden-secret-of-human-failure-and-how-to-turn-it-into-success/
Публикация: https://arxiv.org/pdf/1903.07562.pdf

В Visual Capitalist недавно выложили классную инфографику про 5 больших компаний: Apple, Alphabet, Amazon, Facebook и Microsoft с разбивкой их источников дохода.

Весьма наглядно, если вы хотите быстро разобраться, кто как на вас пытается заработать: https://www.visualcapitalist.com/how-tech-giants-make-billions/

Постепенно прочерчивается еще одна линия фронта в борьбе за технологическое лидерство. Американский комитет по иностранным инвестициям в США (CFIUS) все пристальнее смотрит за покупками стартапов (или вхождение в их капитал) иностранными игроками (особенно китайскими).

Вслед за недавним скандалом вокруг сервиса Grindr, развивается история вокруг медицинского сервиса PatientsLikeMe. CFIUS требует от китайских инвесторов выйти из проекта, аргументируя это угрозой национальной безопасности. Тут надо отметить, что в пуле PatientsLikeMe имеются миллионы записей о заболеваниях американцев, которые через уже работу китайских регуляторов могут попасть в китайские же госструктуры.

В целом, TechCrunch отмечает, что работа фокус комитета сильно поменялся: теперь он все пристальнее смотрит на компании с богатой историей вокруг данных. Примечательно также, что сами стартапы в погоне за инвестициями явно обходят комитет стороной. Инвесторы в свою очередь беспоятся, как бы подобная практика не расширилась и на другие (дружественные) страны (сейчас в фокусе внимания Китай).

https://techcrunch.com/2019/04/15/another-day-another-u-s-company-forced-to-divest-of-chinese-investors/

The Verge рассказывает о красивой в своей разрушительности истории прихода AI в музыкальное пространство, начиненное лицензированием, лейблами и т.п.

Вопрос, кто является автором композиции, сочиненной искусственным интеллектом, кажется цветочком на фоне огромного букета, следующего дальше. Например, если алгоритм натренирован на музыке Beyoncé и создает новую композицию, звучащую похоже, это нарушает чьи-то права?

Один из тонких моментов заключается в том, что вся система лицензирования и авторских прав строилась вокруг людей. Животное или машина тем же американским законодательством в этой плоскости никак не регулируются.

И дальше мнения сильно расходятся. В примере выше с композициями Beyonce часть экспертов говорит, что ничего не нарушено — это новая композиция. А другая часть пытается проводить аналогию между сэмплированием и работой ИИ-алгоритма: если он не использовал ничего больше, кроме композиций конкретного исполнителя, то результат как бы тоже просто рекомбинация, то есть ничего нового, а посему права нарушены.

После технической плоскости вруг резко просыпаются защитники копирайтов, пытающиеся наскрести по сусекам масла на свой хлеб:
1) если вы в продвижении своей новой AI-композиции ссылаетесь на обучение на композициях условной Beyonce, то вы как бы посягаете на ее честное имя и т.п..
2) если ваша композиция слишком похожа "по звучанию", то тут тоже есть предмет для разбирательства в суде.
3) наконец, давайте посмотрим, не надо ли пересмотреть лицензионные соглашения, которые идут вместе с композицией, которую вы приобрели перед обучением (возможно, там явно надо оговаривать такие сценарии?)

Но при этом, я как автор AI-композиции, никому не обязан объяснять, как я сделал свою сеточку, это моя коммерческая тайна (trade secret), поэтому все кыш.

https://www.theverge.com/2019/4/17/18299563/ai-algorithm-music-law-copyright-human

Так, прежде, чем вы из разных углов начнете слышать, что Microsoft предложила новый язык программирования...

Microsoft Research выложили документацию и реализацию экспериментального языка программирования Bosque, напоминающего одновременно TypeScript, ML и конструкции Node.js. Задача исследования — понять, как можно снизить вероятность случайного возникновения сложности (например, ухудшения читаемости и непреднамеренных ошибок) кода за счет особенностей самого языка.

Несколько особенностей:
1. Immutable Values — неизменяемые значения (типично для функциональных языков)
2. Block Scoping — ограничения и структуризация на уровне блоков
3. Reference Parameter Threading — передача параметров по ссылке
4. Typed Strings — типизированные строки (специальные типы, которые можно распарсить)
5. Flexible Invocations — помимо именнованных параметров также поддерживаются конструкции rest и spread из JS.vNext и TS.
6. Bulk Algebraic Data Operations — поддержка множественных (одновременных) операций над полями данных (вместо атомарных операций).
7. None Processing — упрощенные операции для обработки случаев с отсутствие значений (похоже на конструкции с ?. из C#).
8. Iterative Processing — вместо циклов используются высокоуровневые операции вроде filter/map/reduce.
9. Recursion — введение специальных модификаторов для описания рекурсивных операций.
10. Determinacy — исключение любых неопределенностей (вроде неопределенных переменных).
11. Equality and Representation — отсутствие равенства по ссылке, вместо этого равенство определяется через примитивы или композитный ключ.
12. Errors and Checks — встроенные конструкции для проверки инвариантов, санитарных и диагностических проверок.
13. Atomic Constructors and Factories — инициализация значений в конструкторах и специальные фабричные методы для кноструирования объектов.

Обзор языка: https://github.com/Microsoft/BosqueLanguage/blob/master/docs/language/overview.md
Репозиторий: https://github.com/Microsoft/BosqueLanguage
Научная публикация: https://www.microsoft.com/en-us/research/uploads/prod/2019/04/beyond_structured_report_v2.pdf

Давно ничего не писал про блокчейн. Тут наконец-то большой группе компаний и организаций удалось договориться о едином заходе на именование типов токенов.

Хотя может показаться, что это всего лишь названия, на самом деле, это большой сдвиг в сторону стандартизации и разнесения различных типов сценариев в головах пользователей, заказчиков и т.п.

Например, базовый уровень делит токены на три типа:
- Fungible (взаимозаменяемые), например, физические деньги и баллы лояльности
- Non-fungible (незаменяемые), например, названия объектов или владение конкретным объектом искусства
- Hybrid (смешанные), например, билет в театр на конкретное представление + секции зала со свободной посадкой.

https://azure.microsoft.com/en-us/blog/microsoft-driving-standards-for-the-token-economy-with-the-token-taxonomy-framework/

Помните истории про маски для лица, которые позволяли обмануть систему распознавания лиц? Исследователи из бельгийского KU Leuven научились делать что-то похожее в полный рост: добавив на себя специальный принт (например, на одежде) можно вообще исчезнуть из системы распознавания.

Обзор: https://www.technologyreview.com/f/613409/how-to-hide-from-the-ai-surveillance-state-with-a-color-printout/
Публикация: https://arxiv.org/pdf/1904.08653.pdf

Замечательный рассказ об использовании PowerBI и готовых сервисов для анализа текста в задаче анализа художественного произведения, отслеживания динамики персонажей, эмоциональности текста и т.п. (хотя не все еще подвластно умным машинам). Например, знали ли вы что эмоциональный диапазон Ромео оказался шире, чем у Джульетты?

Отличная тема для уроков литературы и статистики. Я помню во времена до ЕГЭ был даже такой тип работ — "анализ литературного произведения".

https://news.microsoft.com/en-gb/2019/04/23/breaking-bard-using-microsoft-ai-to-unlock-shakespeares-greatest-works/

Важная тема: LEGO представили набор кубиков для слепых и слабовидящих с нанесенными на кубики в виде пупырышков алфавитом Брайля и другими символами (всего 250 разных блоков). Вообще такое решение напрашивалось давно, поэтому не удивительно, что ассоциации слепых обхаживали LEGO с этой идеей уже 8 лет.

Обзор: https://www.designboom.com/design/lego-braille-bricks-for-visually-impaired-children-04-25-2019/
Анонс: https://www.lego.com/en-us/aboutus/news-room/2019/april/lego-braille-bricks

Понедельничное чтение: Wired рассказывает, что современные заявления, взгляды и действия технологических лидеров очень созвучны движению футуризма в начале прошлого века. Футуристы 1910-1930х были художниками и поэтами, воспевающими "культ будущего и дискриминацию прошлого вместе с настоящим".

И во всем этом есть одна важная деталь, о которой предупреждает издание: основатели итальянского футуризма были одними из основателей итальянского фашизма. [Но сам футуризм, конечно, был сильно шире и между ними нельзя ставить равенство.]

Статья: https://www.wired.com/story/italy-futurist-movement-techno-utopians/
Вики про футуризм: https://en.wikipedia.org/wiki/Futurism

Как пишет ряд изданий, коллеги из Microsoft продвигают новый термин в тематике искусственного интеллекта — "machine teaching", или обучение машин. Под этим термином понимаются инструменты, позволяющие экспертам в любой области самостоятельно обучать систему ИИ.

В отличие от традиционного подхода "машинного обучения", требующего огромных массивов данных, "обучение машин" исходит из итерационного подхода с участием носителя знаний. Философски, это взгляд на задачу обучения с позиции учителя, который может объяснить, скорректировать, направить и проверить понимание. Это все кажется естественным в отношениях людей, но чтобы это работало с машинами, нужны новые инструменты.

Ключевые требования и преимущества таких решений:

— Отсутствие необходимости глубоких знаний в области ИИ со стороны экспертов. Информация для обучения абстрагирована от самого алгоритма.

— Быстрое создание собственных моделей: за счет использования экспертных знаний снижается потребность в размеченных данных. Можно начать вообще без размеченных данных.

— Легкое обновление моделей. Декомпозиция, присущая экспертному обучению, упрощает отладку, внесение корректив в данные и добавление новых фич.

— Повторное использование: легкая комбинация (чужих) моделей за счет декомпозиции, возможность заточки под конкретный домен.

В качестве примера готового сервиса Microsoft называет LUIS — облачный сервис для анализа текстов, и платформу Bonsai (куплена Microsoft в прошлом году), позволяющую экспертам описывать свои знания на языке высокого уровня (Inkling) и самостоятельно подбирающую модель на основании описания и обучающую ее в симуляции реальных условий.

Страница исследовательской группы: https://www.microsoft.com/en-us/research/group/machine-teaching-group/

Анонс новой темы в блоке Microsoft Research: https://blogs.microsoft.com/ai/machine-teaching

Обзор от Fast Company: https://www.fastcompany.com/90338498/machine-teaching-is-a-thing-and-microsoft-wants-to-own-it

Краткая версия Keynote F8. Марк: будущее Facebook — телеграмм.

У меня есть несколько любимых тем внутри AR/MR/VR-истории, которые часто обходятся стороной масс-медиа и общим хайпом. Одна из таких тем — это все, что касается haptic-experience, или физического опыта взаимодействия с цифровыми объектами. Кстати, пару лет назад Алекс Кипман (один из создателей Hololens) назвал эту область следующим направлением для прорыва.

Но... до прорыва, применимого в консьюмерском или, хотя бы, узких коммерческих сегментах, еще далековато. А вот смотреть за развитием мысли можно практически в реальном времени. TORC — новая исследовательская работа Microsoft Research, позволяющая воссоздать в VR опыт точного взаимодействия пальцами с цифровыми объектами.

TORC — это компактный манипулятор, поддерживающий захват объектов тремя пальцами, с физической отдачей и вибрацией. Сама технология при этом может быть встроена в другие манипуляторы.

https://www.microsoft.com/en-us/research/blog/introducing-torc-a-rigid-haptic-controller-that-renders-elastic-objects/

На всякий случай, сегодня мой последний день в Microsoft. Это не означает, что я буду меньше или больше писать про одни или другие компании, технологии и т. п. 😊

Про вчерашний Build от Microsoft. Много новостей самой разной важности и направленности, и, как обычно, сложно за всем уследить. Во времена евангелизма, помню, приходилось открывать параллельно все официальные блоги и собирать анонсы по крупицам, ведь каждая группа пишет самостоятельный пост для своего блога! 🤦‍♂️

Но все поменялось и теперь Microsoft сделала гениальную штуку: выпустила по следам конференции "Book of News" на 60+ страниц со всеми анонсами. https://aka.ms/Build2019BookofNews. Там все.

Отмечу несколько историй, которые лично мне показались стратегически важными:
1. Анонс выхода Minecraft в дополненной реальности. Пока не понятно, удастся ли Microsoft потеснить PocemonGo и т.п., или это что-то другое. Но идея вынести игру в реальный мир - крутая, особенно, если они будут это сочетать с якорями для Mixed Reality.

2. Fluid Framework - некий новый SDK для веб-разработчиков, заточенный под сценарии коллаборации. Пока не понятно, что под капотом, ждем дальнейших новостей.

3. Концептуальный заход на новое поколение Conversational AI с мульти-агентами, мульти-ходами и т.п. У компании есть свои и купленные наработки в этом направлении, осталось собрать в какое-то решение для разработчиков. Сюда же интеграция с Кортаной и расширение в корпоративной редакции.

4. Conversation Transcriptions как готовый сервис. Его в превью показывали еще на прошлом Build, но тут есть существенный концептуальный скачок: для создания массива микрофонов используются просто микрофоны доступных устройств, объединяемые в облаке. Причем каждое устройство может при этом ссылаться на голосовой профиль своего владельца, упрощая расшифровку речи. Сюда же улучшения в распознавании доменов.

5. React Native для Windows. Компания продолжает инвестировать в веб-стек и популярные технологии. Я думаю, тут целый клубок оптимизаций под капотом.

6. Вторая версия Windows Subsystem for Linux, которая теперь означает полноценное Linux-ядро в составе Windows. Это очередная наработка, перекочующая из облака на десктоп. Внутри существенная оптимизация работы с файловой системой, возможность запуска Docker-контейнеров на Linux и т. п.

7. Расширяемость и встраиваемость PowerApps. Для классических разработчиков (не бизнес-приложений) эта тема как-то обходится стороной, а между тем внутри на нее смотрят как на современный Basic для бизнес-приложений. Не зря Сатья отметил, что бизнес-приложения — это ой как важно в условиях, когда не-IT компании нанимают уже больше разработчиков, чем IT-компании.

8. Autonomous AI как технологическое направление создания автономных умных решений. Сюда как технологии симуляции (для генерации данных для AI), так и Machine Teaching, о котором я недавно писал.

9. Azure Blockchain Service — сервия для разворачивания блокчейн-сетей. Я думаю, об этом надо будет отдельно разобраться и написать.

10. Azure IoT Edge & Co. — последовательные доработки, улучшения, интеграции и т. п. для развития темы интеллектуальности на клиенте: от Azure SQL Database Edge для обработки данных до новых модулей для Azure Sphere. Тут еще важно отметить, что Microsoft (внезапно) к этому блоку начала относить картографические решения, которые важны для логистики (и в целом ориентации в пространстве).

11. Microsoft Quantum (набор SDK, компилятор для Q# и т. п.) будут выложены в открытом коде для повышения прозрачности и развития вместе с сообществом. Хочется думать, что это означает достижение определенного уровня качества и стабильности.

12. .NET 5.0 будет в ноябре 2020. Новое великое объединение всея .NET. :)

13. Решения для защиты выборов. 🥁

Про управленческий учет (и другие взрослые практики) для стартапов. Исследователи из Karlsruhe Institute of Technology (Германия) решили системно и дотошно посмотреть, что на эту тему пишут другие исследователи в важных и уважаемых журналах.

Большинство исследований:

1) Находят управленческий учет полезным для молодых и малых компаний (потому что "помогает преодолеть болезни роста, снизить информационный дисбаланс с внешней средой" и т.п.).

2) Изобилуют теоретическими конструкциями плохого качества.

3) Не объясняют, как именно управленческий учет помогает тем самым компаниям (планировать классно, но как именно оно уменьшает неопределенность никто не рассказывает).


При этом исследования противоречат друг другу (планировать хорошо, но импровизация тоже; больше информации = лучшие решения, но отвлекает внимание от важных вещей; план = четко, но больше бюрократии и меньше гибкости). Одни исследования находят связь между планированием и выживанием, а другие нет.  

Часть практик навязывается внешними партнерами (инвесторы, акселераторы и т.п.) как стимуляция роста и развития (и повышение прозрачности). Но некоторые наблюдения показывают, что  дополнительная организационная нагрузка (время, деньги) при этом превышает плюсы.

🤦‍♂️



Ключевые выводы:

1️⃣ Для малых и новых компаний нужны другие конструкции (определения, процессы), отвечающие их организационной структуре, инновационности и т.п.

2️⃣ Из ключевых типов управленческого учета (1. управленческий учет, использующий разные фреймворки; 2. бизнес-планирование; 3. свободное управление (собственный стиль); 4. управление человеческими ресурсами; 5. финансовый учет; 6. управление ликвидностью) стартапы обычно ориентируются на три: 1, 2 и 5. (Либо большинство исследователей игнорируют остальные практики.)

3️⃣ Хотя в целом практики управленческого учета кажутся полезными, часть из них остаются в "парадоксальной" зоне, не находя статистически значимых подтверждений. Например, к таковым относится бизнес-планирование. Исследования этой практики редко уходят в глубину и не могут объяснить, как именно оно помогает стартапу справиться с неопределенностью. Большинство исследований игнорируют влияние времени и отмечают только факт создания бизнес-плана, но не рассматривают реальное использование планов.

4️⃣ Теоретикам не хватает дисциплины в формулировке и использовании терминов, построении гипотез и других конструкций. При этом они запаздывают в анализе популярных среди стартапов идей (вроде lean startup), которые в свою очередь исходят из примеров и практик, но также не несут статистической достоверности.

5️⃣ Отдельный вопрос, который выпадает из фокуса внимания исследователей, -- это свободные (freestyle) практики управления и учета. Свободный управленческий учет означает, что основатели ведут учет бизнес-активностей и целей с учетом измерений, отношений, метрик или количественной информации. Но при этом свободно решают, какие именно показатели они используют как ключевые. Обычно, они привязаны к специфике деятельности компании и при этом более гибкие, чем традиционные системы, применяемые в больших компаниях.

https://onlinelibrary.wiley.com/doi/pdf/10.1111/ijmr.12197

Про Google IO. Лично для меня самый крутой анонс — это прикладное использования federated learning на Android-устройствах. Google об этом подходе говорит уже года два (в основном, в разрезе Tensor Flow), но вот теперь в реальных устройствах.

В целом, это красивая тема с дообучением глобальной модели через локальные субмодели, работающие на локальных данных. То есть вместо отсылки в центральный хаб исходных данных (например, картинок с тегами, местом и т.п.) можно локально прогнать упрощенную модель и уже эту локальную модель отправить в центральный хаб, где она будет встроена в федеральную модель. Внезапно, последняя начинает понимать ваши локальные данные, никогда не видя их в живую.

Так вот, помимо того, что это само по себе красиво с математической и инженерной точек зрения, внезапно... это становится мощным решением в контексте всеобщей обеспокоенностью приватностью, защитой персональных данных и т.п. Своего рода технологический хак. И пока не понятно, является ли это нарушением этики или нет.

https://federated.withgoogle.com/