Интересный "консьюмерский" заход от Intel в области железа для ИИ. Компания запустила продажи Neural Compute Stick 2, второй версии ускорителя для обсчета сеточек, который вы можете просто воткнуть в USB 3.0 порт на своем компьютере. Позиционируется это как альтернатива мощному серверу под столом, за стенкой или в облаке, а также как способ ускорения расчетов на конечных устройствах (роботы, дроны и т.п.).

Устройство завязано на Intel® Distribution of OpenVINO™ toolkit (меня каждый раз радуют эти символы в названиях), позволяющий оптимизировать модели в популярных форматах под устройства от Intel.

Не знаю, как дальше будет развиваться эта тема, но в целом направление кажется правильным. Давно пора от использования GPU перейти к специализированным чипсетам, которые будут компактнее и энергоэффективнее.

Обзор в Engadget: https://www.engadget.com/2018/11/14/intel-neural-compute-stick-2/
OpenVINO: https://01.org/openvinotoolkit

Чтиво выходного дня: в начале ноября на Re:code вышло добротное интервью с Илоном Маском практически про все: от твиттера и саудитов до велосипедов Теслы. https://www.recode.net/2018/11/2/18053424/elon-musk-tesla-spacex-boring-company-self-driving-cars-saudi-twitter-kara-swisher-decode-podcast

Залежалось в закладках, наконец-то добрался написать короткую заметку про Eye Control.

Одна из малоизвестных в силу своей нишевости возможностей Windows 10 — это управление устройством с помощью глаз. Изначально Eye Control был сделан для людей с нарушениями подвижности, для некоторых из которых движение глаз — чуть ли ни единственный способ связи с миром. Для работы Eye Control к компьютеру надо подключить специальный трекер глаз.

Так вот, помимо самого интерфейса управления, в десятке добавили также соответствующий API, который разработчики могут интегрировать в свои приложения.

Пример такой интеграции — это библиотека Eye Drive, эмулирующая движения джойстика через отслеживание движения глаз. В истории по ссылке ниже приводятся примеры использования библиотеки для управления инвалидным креслом и дистанционного контроля машинки на радио-управлении.

В видео Сатья Наделла и Джон Кэмпбелл также вскользь обсуждают, что данная технология постепенно переходит от абсолютно нишевой к чему-то что может быть полезным для всех людей. Я обычно в этом контексте всегда вспоминаю VR, который тоже полон ограниченного опыта.

Обзорная статья: https://www.microsoft.com/en-us/research/blog/encouraging-developers-and-manufacturers-to-innovate-with-eye-control/
Eye Drive Library: https://github.com/Microsoft/EyeDrive

Про плоскую землю. Потрясающий репортаж в Daily Beast с конференции плоскоземельцев.

Удивительно, как легко люди поддаются пропаганде, противоречащей здравому смыслу, как легко смешиваются тролли, сумасшедшие и просто не уверенные в себе люди, как кто-то на всем этом умудряется делать деньги.

Но что меня больше всего поразило — это насколько усиливающим эффектом оказывается алгоритм ранжирования социальных сетей, Youtube, в частности. Алгоритм, который подсовывает тебе еще спекуляционных видосиков, набирающих обороты, вместо грамотного ролика про астрофизику.

https://www.thedailybeast.com/inside-the-flat-earth-conference-where-the-worlds-oldest-conspiracy-theory-is-hot-again

Хороший обзор национальных стратегий разных стран в области ИИ: https://medium.com/politics-ai/an-overview-of-national-ai-strategies-2a70ec6edfd

В начале следующего года Andrew Ng запускает на Coursera новый курс - "AI for Everyone".

Важно, что это нетехнический курс, ориентированный как раз на тех, кто принимает решение о внедрении соответствующих технологий (СxO и менеджмент), и кому критично понимать, что происходит вокруг них и внутри их инструментов (от маркетологов до финансистов).

Грубо говоря, если вы занимаетесь разработкой AI-решений, то это тот курс, который будет полезен вашему менеджеру, вице-президенту и даже CEO.

https://medium.com/@andrewng/announcing-ai-for-everyone-a-new-course-from-deeplearning-ai-44b609c042f

В продолжение темы противоборства США и Китая в области технологий. MIT Technology Review пишет, что американский Департамент коммерции предложил рассмотреть ограничения на экспорт технологий, связанных с искусственным интеллектом (там список шире, но MIT TR делает акцент именно на ИИ). Это не означает автоматического запрета, но означает, что каждый подобный продукт должен будет получить экспортную лицензию. Фактически, США начинает рассматривать ИИ как технологию двойного назначения (то есть военного применения).  Причем MIT TR явно указывает, что основной удар ограничений ляжет на Китай.

Косвенно от этого могут пострадать коммерческие компании с глобальным бизнесом (например, на рынок Китая приходится 20% продаж NVidia) и университеты, ведущие совместные исследования.

Анонс US Department of Commerce: https://www.gpo.gov/fdsys/pkg/FR-2018-11-19/pdf/2018-25221.pdf

Узкое про ИИ. Одна из проблем создания алгоритмов Reinforcement Learning — скудность симуляционного окружения, используемого в большинстве работ. Симуляции, в отличие от естественного окружения и данных из реального мира, характеризуются повторяемыми условиями с минимальными отклонениями (вспомните хотя бы игры Atari, часто используемые в качестве бенчмарка). В результате, алгоритм обладает маленькой гибкостью. Стоит вам слегка поменять правила работы блоков в игре Марио, как алгоритм перестает работать.

Исследователи из Facebook показывают, как можно использовать данные из реального мира в комбинации с RL. В своей работе они приводят три подхода для создания бенчмарков:
— Навигация агента для классификации изображений (с использованием популярных датасетов вроде MNIST, CIFAR10 и CIFAT100.
— Навигация агента для локализации объектов (с использованием датасета Cityscapes).
— Интеграция естественных видео в существующие RL-бенчмарки (на базе задач для OpenAI gym).

Первые два подхода показывают, что используемые сегодня подходы в RL плохо подходят для задач распознавания реальных изображений. Третье семейство бенчмарков также показывает, что применяемые в RL алгоритмы существенно падают в эффективности при добавлении естественного видео-ряда.

Авторы надеются, что новые типы бенчмарков приведут к созданию новых алгоритмов с использованием обучения с подкреплением.

https://arxiv.org/pdf/1811.06032.pdf

В продолжение темы симуляций, но с другой стороны. Около года назад Microsoft Research выложила в open source проект AirSim для обучения автономного транспорта (машины, дроны и т.п.) в симуляционном окружении. Базовая версия была сделана на UnrealEngine, но теперь также доступна экспериментальная версия под Unity (мне кажется это очень круто, учитывая популярность фреймворка и огромный маркетплейс готовых объектов).

Анонс в блоге Unity: https://blogs.unity3d.com/ru/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
AirSim на Github: https://github.com/Microsoft/AirSim

Очередная гаражная разработка Microsoft -- приложение Sketch 360, позволяющее быстро (от руки) никидать сцену для VR/360 и протестировать ее с экрана или устройства. В основе лежит классический шаблон с разверткой 360 на двухмерную плоскость.

Кстати, экспортируемые картинки поддерживаются фейсбуком как 360-панорамы.

https://www.microsoft.com/en-us/garage/blog/2018/11/finally-a-way-to-sketch-360-degree-vr-scenes/

Делюсь анонсом от коллег из Microsoft Research: книга "Patter Recognition and Machine Learning" от Christopher Bishop (Microsoft Technical Fellow и директорор лаборатории MSR в UK) теперь доступна бесплатно в PDF-формате.

https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/

На странице книге также можно найди дополнительные матерталы - презентации и подсказки для решения задач: https://www.microsoft.com/en-us/research/people/cmbishop/#!prml-book

Продолжая тему инструментов прототипирования для VR/MR — Microsoft делает еще один инструмент, но уже для работы в шлемах (Windows Mixed Reality, Oculus, HTC Vive), Microsoft Maquette.

Созданные сцены можно экспортировать в Unity через соответстующий плагин.

Записаться в бету можно тут: https://www.maquette.ms/

В тему цифровой трансформации — интересный кейс из администрации Washington DC. Они начали использовать Github как место хранения исходников законодательной базы в некотором стандартизированном формате. То есть фактически пошли по пути IT-компаний, использующих Github как место для первичного хранения исходников документации (мы, например, так делаем на docs.microsoft.com). Мало того, что это дает почву для единообразного анализа специальными инструментами, это также позволяет желающим вносить правки и предложения и иметь прозрачное обсуждение (для этого есть отдельный процесс).

При этом конечный пользователь получает уже не XML, а форматированный доумент в виде веб-сайта, причем максимально оперативно после принятия акта или закона.

https://arstechnica.com/tech-policy/2018/11/how-i-changed-the-law-with-a-github-pull-request/

Еще один классный кейс от австралийских коллег про использование машинного обучения в деле исследования окружающего мира.

Ученые из Northern Territory следят за состоянием популяций рыб в заливах вдоль побережья Австралии, но помимо того, что это просто огромный объем работы, участие людей осложнено также наличием в районе опасных хищников.

Спасение, конечно, в автоматизации подсчета и распознавании видов рыб с помощью компьютерного зрения.

https://news.microsoft.com/en-au/features/fishy-business-putting-ai-to-work-in-australias-darwin-harbour/

Продолжаем пробивать тему "закон Мура живее всех живых". MIT TR пишет про стартап Lightelligence из Бостона, который работает над созданием оптических чипов для ускорения обсчета нейронных сетей. При всех сложностях работы со светом (фотонами), оказывается, что они отлично подходят для матричных операций и линейных вычислений. И те, и другие — основа глубокого обучения с вычислительной точки зрения.

https://www.technologyreview.com/s/612449/making-ai-algorithms-crazy-fast-using-chips-powered-by-light/

Сменим немножко тему, поговорим о квантовых вычислениях. По ссылке ниже — рассказ от квантовой команды Microsoft о том, почему для квантовых вычислений нужен отдельный язык и каким требованиям он должен отвечать.

Я для себя отметил три момента:
1. "Квантовые программы" как расширение классических, соответственно, квантовый компьютер — это скорее QPU (Quantum Processing Unit), акселлератор для специфичных вычислений. Отсюда абстракция от физических деталей вроде коррекции ошибок, работа с абстрактными кубитами, а не тысячей физических.
2. Новый язык для поддержки специфичных конструкций. Причем это как сужение возможностей языка (по сравнению с уже существующими распространенными), что критично для упрощения, так и добавление типичных для квантовых вычислений конструкций, которые в обычных языках требуют сложных манипуляций флагами и т.п.
3. Итерационная эволюция языка на базе отзывов пользователей. Выдержанный баланс между возможностями самого языка, использованием сторонних библиотек и поддержанием чистоты кода для облегчения работы back-end, транслирующего код в симулятор или физические системы.

https://blogs.msdn.microsoft.com/visualstudio/2018/11/15/why-do-we-need-q/

Я обычно не пишу про Windows, но не могу пройти мимо. Microsoft объявила, что WPF, Windows Forms и WinUI стали Open Source (MIT-лицензия).

Анонс: https://blogs.windows.com/buildingapps/2018/12/04/announcing-open-source-of-wpf-windows-forms-and-winui-at-microsoft-connect-2018/

WPF: https://github.com/dotnet/wpf
WinForms: https://github.com/dotnet/winforms
WinUI: https://github.com/Microsoft/microsoft-ui-xaml

Продолжим тему открытого кода, еще один анонс со вчерашней конференции Connect — это доступность исходного кода ONNX Runtime от Microsoft.

Напомню, что ONNX — это открытый формат представления моделей глубокого обучения, разрабатываемый совместно Microsoft, Facebook и Amazon (AWS). Идея в том, чтобы независимо от инструментария разработки моделей обеспечить конечную совместимость. Поэтому уже сейчас для всех популярных фреймворков сделана либо встроенная поддержка, либо инструменты экспорта (конвертации).

Следующий шаг — это выполнение (расчет) таких моделей. ONNX Runtime — это кросс-платформенное решение от MSFT, используемое, в частности, в Windows ML и ML.net. Решение делается при поддержке производителей железа, так как одна из ключевых задач — это максимальное повышение эффективности.

Соответственно, открытость ONNX Runtime — это большой шаг в сторону того, чтобы сам формат ONNX приобрел дополнительную индустриальную поддержку, особенно, со стороны производителей специализированных чипсетов вроде NVIdia и NPX.

https://azure.microsoft.com/en-us/blog/onnx-runtime-is-now-open-source/

В продолжение квантовой темы, в блоге VS продолжают рассказывать про Q#. Небольшая заметка по ссылке ниже посвявещена кубитам, точнее их представлению в разных языках/системах.

Что меня очень сильно удивило (то есть я раньше об этом в таком ракурсе никогда не задумывался), так это фундаментальное различие между квантовым и классическим программированием, идущее от природы программируемых объектов. Если в классическом программировании побочные эффекты (side-effects) считаются плохими и подлежащими искоренению (например, кому понравится, что кто-то ненароком повлиял без спроса на ваши переменные), то квантовое построено на побочных эффектах.

То есть программирование изменения состояния кубитов — это создание побочных эффектов, которые влияют на это состояние без возможности напрямую изменить сам объект. Например, описывая гейты, вы описываете некоторые действия, которые некоторым образом (статистически) могут повлиять на состояние спутанных частиц. Другой мир. :)

https://blogs.msdn.microsoft.com/visualstudio/2018/12/01/qubits-in-qsharp/

И еще в продолжение. MIT TR со ссылкой на исследование национальной академии США (аналог нашей РАН) пишет о необходимости ускориться в переводе криптографии на квантово-устойчивые алгоритмы.

Проблема в том, что анализ возможностей перехода показывает, что это будет долгий и мучительный процесс, который может растянуться на 20 с лишним лет. Это включает естественную инертность людей и систем, необходимость физического обновления оборудования там, где алгоритмы зашиты в железо и т.п.

MIT RT, конечно, немного нагнетает тему с хакерами, мол если у кого-то из них появится соответствующее квантовое оборудование, то будет сильно больно. Под угрозой будут ваши банковские аккаунты и вот это все. Мне же кажется, что проблема круче, потому что первым такое оборудование появится у государств. А там да здравствует Enigma-moment для всех и каждого, от любой мелкой сошки до целых государств.

Академики США пишут, что этот момент настанет до того, как мы будем готовы.

https://www.technologyreview.com/s/612509/quantum-computers-encryption-threat