Про инвестиции в космос. Хотя в сознании российского обывателя тема "космоса" сегодня флуктуирует преимущественно между Маском, Гагариным и Рогозиным, и несмотря на кажущуюся нишевость, сегодня она бурлит в инвестиционном смысле.

TechCrunch сделал подборку инвестиционных фондов, делающих одну из ставок на околокосмическую тематику: следующее поколение GPS, наблюдения из космоса и сбор/управление/анализ данных, собираемых текущей космической инфраструктурой.

Три ключевые вывода из общения с инвесторами:
🚀 Космические технологии — это про большие и долгосрочные изменения. Классический пример такого фундаментального сдвига - это вся система позиционирования (GPS как пример). Инвесторы активно ищут, что станет следующей трансформационной космической технологией, сопоставимой по масштабу с GPS (объем дохода, размер инфраструктуры и влияние на другие отрасли).
🛸 Инвестиции в оборону не исчезнут. Несмотря на падение экономики из-за COVID-19, инвесторы не ожидают существенных сокращений государственных трат на оборонные заказы и смежные технологии. Поэтому "космические" компании с большой вероятностью останутся на плаву.
🛰 Сенсоры, доступ к данным и безопасность — ключевой источник возможностей. Одна из базовых ставок — это запуск и управление малыми спутниками. Здесь существенно ниже цена доступа к космосу, а за счет уменьшения в размерах и роста мощности оборудования можно поддерживать новые линии бизнеса. Вторая ставка — это упрощение доступа к данным, уже собираемых орбитальной группировкой спутников, и превращение их в ценную информацию для различных отраслей.

https://techcrunch.com/2020/06/11/9-top-space-tech-vcs-on-the-markets-opportunities-and-challenges/

👾 Про компьютерные игры. The Verge пишет о знаковом событии в истории "принятия" полезности игр.

Американское управление по еде и лекарствам, FDA, выдающее, в частности, лицензии на применение чего-либо в медицинских целях, одобрило первую "рецептурную" компьютерную игру для детей с СДВГ - EndeavorRX. На проведение клинических испытаний и получение лицензии ушло семь лет.

Издание предупреждает, что игра не является заменой другим медицинским средствам, и это же отмечают медики, нанятые разработчиком игры для проведения исследований.

Тем не менее, мы точно вступили в будущее, в котором можно официально использовать термин "игра как лекарство".

https://www.theverge.com/2020/6/15/21292267/fda-adhd-video-game-prescription-endeavor-rx-akl-t01-project-evo

p.s. Кажется, уже пора, по аналогии с XaaS - as a Service, вводить конструкцию XaaM - as a Medicine. F(ood)aaM , G(ame)aaM, S(port)aaM.

Про консьюмерский провал AR. Провал, конечно, громко сказано, но веха значимая:

1. Bose сворачивает свой проект с очками дополненного звука. Кажется, последним гвоздем в слабую экосистему и отсутствие киллер-сценария стала стагнация в городских перемещениях и туризме на фоне коронакризиса.
2. The Verge поет заупокойную по еще живому MagicLeap, обращая внимание не только на недавние сокращения и смену позиционирования от консьюмеров к бизнес-сценариям, но и выход из компании ряда ключевых людей, и как следствие, предрекая возможность распродажи портфеля разработок и патентов, как это ранее случилось с рядом других компаний.

Первому игроку еще придется подождать.

Про технологические экосистемы. По ссылке — запись моей лекции про модель технологических экосистем, их многообразие, пересечение и взаимодействие; для всех тех, кто хочет системно смотреть на происходящий вокруг бум развития платформ, экосистем и т. п.

https://www.youtube.com/watch?v=OAuXYrU6MmM

День вчерашний был прекрасен на новости, укладывающиеся в народные мудрости "всему свое время" и "в ушедший поезд не впрыгнуть". :)
1. Apple переводит macOS и соответствующие устройства на собственные процессоры. Компания к этому шла десять лет, постепенно наращивая мощность, обвязывая функциональность, улучшая энергоэффективность и, — самое главное, — наращивая экосистему приложений, уже работающих на как бы новой (но не новой) архитектуре. Можно говорить, что компания идет по пути Microsoft, но нет. Microsoft эту затею с ARM-архитектурой провалила дважды, пытаясь быть слишком умными и заменить выращивание экосистемы умными инженерами, у которых вот-вот еще немного и получится нормально переносить x86/64 на ARM, или вот-вот и будут универсальные приложения, работающие везде. Я почему-то уверен, что у Apple с переходом все получится и это будет, прежде всего, стратегическая победа, а не инженерная, хотя инженеры молодцы.

Ну и как бы еще одна ложка дегтя: виджеты в iOS почти как живые плитки из Windows Phone. Но, как верно пишут даже бывшие коллеги из Microsoft, дело в том, что редмондцы в свое время ставили на плиточки, а Apple на развитие экосистемы. "Плиточки" можно и через десять лет добавить.

2.  Microsoft закрывает Mixer. Вы, возможно, даже и не слышали про такой сервис, — ну и хорошо тогда. Microsoft несколько лет назад на фоне бешенного успеха twitch и youtube попыталась впрыгнуть в уходящий поезд с сервисами стриминга игр, прикупила стартап beam, переименовала, поддержала деньгами, привлекла несколько топых стриммеров в надежде, что за ними придет аудитория, но не пришла. Маркетологи забыли посчитать экономику длинного хвоста, а менеджеры забыли, что нужно вкладываться в ценность пользователей.

Сейчас всем предлагают за месяц перейти к Марку на трансляции в Facebook, что преподносится как стратегичеcкая кооперационная сделка. Почему-то уверен, что эта партия будет проиграна. Никому не нужен стриминговый сервис номер 4.

3. Microsoft добавляет в Teams функции для персонального использования с семьей и друзьями. Идея в том, чтобы общаться с друзьями и семьей из того же приложения, что вы общаетесь с коллегами, и аналогично иметь не просто чат, а сервис с документами, планированием и т.п. Не понятно, что происходит с пользовательскими сценариями у редмондцев, но я с трудом себе представляю потребность в обмене презенташками, эксельками и т.п. с семьей или друзьями. Точнее так: я вижу по параллельным попыткам, что Microsoft все еще верит, что управление семейным бюджетом из Excel — это всем необходимая фича. Но спасибо, нет. Поезд давно ушел.

Может показаться, что я тут попинываю тень Microsoft. Но нет, я рад, что акции MSFT пробили вчера $200.

Про будущее, которое не наступило. Откопал тут в закромах несколько прогнозов на 2020 год, сделанных в Microsoft 10-15 лет назад с целевым горизонтом - 2020 годом. Это прямо такой археологический смак, почитать, каким день сегодняшний видели исследователи и ученые в прошлом.

Начну с дорожной карты Towards 2020 Science, сделанной в далеком 2006 году. Microsoft Research тогда праздновала 15-летие и собрала для составления прогноза на 15 лет вперед ученых со всего мира на месячный воркшоп.

Саму карту не пересказываю — ее надо просто поизучать. Отмечу лишь, что найти в интернете документ 14-летней давности — тот еще вызов. :)

Towards 2020 Science

Про важность, эммм, установления стандартов. Три несвязанных примера:
1. В далеких 197х Национальный институт охраны труда и Бюро шахт США разработали новый стандарт защиты органов дыхания - N95. В 1972 году 3M сделала первую маску, удовлетворяющую требованиям. Через 20 лет оказалось, что эти маски подходят не только для шахт, горной добычи и т.п., но и для здравоохранения. Еще через 10 лет азиатские производители научились массово производить маски и потеснили с рынка почти всех американских производителей. В Европе, Китае и других странах появились свои аналоги этого стандарта. В 2020 о стандарте N95 и его аналогах узнал весь мир, отмеряя ими, какую маску брать, а какую нет. А 3M судится с партнером Amazon за продажу на его поляне поддельных масок в разгар эпидемии.

2. Logitech начала на коробках своей продукции указывать данные об углеродном следе. Это не столько утвержденный стандарт, сколько визуализация одного конкретного параметра, про который компания думает, что он будет аналогичен числу калорий в пищевой продукции. Ставка простая: экологический кризис будет разворачиваться, осведомленность населения будет расти и "экологичность" продукции будет важной составляющей при принятии решения потребителем. И здесь оказывается важным застолбить в голове потребителя, что такое "хорошо".

3. Ребята из Abbyy проделали титанический труд и упаковали свои наработки в виде open-source библиотеки NeoML. Чтобы "вписаться" в мировую экосистему, библиотеку сделали ONNX-совместимой. Что такое ONNX? Это ответ Microsoft, Facebook и ряда других компаний на доминирование в ML/AI-среде TensorFlow от Google, компании договорились, как им быть совместимыми друг с другом [, чтобы бороться вместе]. И теперь это преподносится как единая экосистема, собранная вокруг общего промежуточного фреймворка.

Пара локальных новостей про искусственный интеллект:
1. Коллеги из Университета 20.35 подготовили новый профессиональный стандарт по машинному обучению. На первый взгляд, ничего такого: подумаешь очередной какой-то гос-документ, предписывающий, как и чему надо учить специалистов.

На самом деле "шутка" момента в том, что само наполнение стандарта составлено с использованием машинного обучения — на базе автоматического анализа открытых источников, и уже результаты этого анализа перекладывались в документ специалистами.

Важность этого обстоятельства в двух моментах: 1) полученная модель компетенций и далее профстандарт актуальнее и полнее мнения любой небольшой группы экспертов (читай, соответствует рынку, а не мнениям), 2) подход позволяет обновлять профстандарт со скоростью изменения рынка, а не раз в 3-5 лет.

2. Коллеги из лаборатории машинного интеллекта МФТИ и технопарка Сколково попросили рассказать об их серии online-митапов Machine Learning Wednesday. Делюсь ссылками:
— 8 июля:  https://mfti1.events.sk.ru/
— 15 июля: https://mfti2.events.sk.ru/

Подозреваю, что в связи с COVID-19 и необходимостью дистанционно призывать в свои ряды новых абитуриентов, это не единственный пример активизации университетов с полезным контентом. :) Если хотите что-то такое полезное подсветить в рамках тематики моего канала, пишите.

Про эволюцию научных идей и случайный поиск. Многие со школы знают про броуновское движение, описывающее случайное перемещение частиц. Многие из университетов знают про методы случайного поиска, например, из задач  оптимизации. Но вот важный вопрос: а какую поисковую стратегию используют живые организмы?

Около 80 лет назад, в 1937 г., Поль Леви описал новый тип случайных перемещений, в которых случайный локальных поиск на короткие дистанции перемежался "длинными прыжками". Спустя 45 лет его студент Бенуа Мандельброт, которого многие знают за одноименный фрактал, назовет такой тип движения леви-перемещениями.

За это время и впоследствии ученые докажут теоретически, что в определенных условиях, например, при разреженности пищи в пространстве и движении хищника быстрее жертвы, леви-перемещения являются оптимальной стратегией слепого поиска. Однако биологический мир все время требовал натурных подтверждений.

Quanta Magazine описывает историю "борьбы" за по поиск подтверждений: от отслеживания движений альбатросов и акул (еще до распространения GPS!) до анализа движений личинок плодовых мушек в состоянии "выключенных" мозга и сенсоров.

Последнее — прямо отдельная баталия: даже если живые организмы используют стратегию леви-перемещений, является ли это врожденным свойством или приобретенным? И вот уже последние исследования  нейроученых показывают, что этот паттерн генерируется врожденными инстинктами. Но исследователей же не остановить! Следующий вопрос на повестке: а как именно это все происходит?

Внимание, современный микс средств у ученых, исследующих поведение животных:
1. Генно-модифицированные личинки, нервная сеть которых подсвечивается при активации (можно наблюдать в микроскоп)
2. Компьютерная модель нервной системы плодовой мушки
3. Наблюдения за студентами, которых попросили поискать на пляже что-нибудь интересное. 🙃

https://www.quantamagazine.org/random-search-wired-into-animals-may-help-them-hunt-20200611/

p.s. Я это все к чему, биология подсказывает: если вы застряли в движении локально, вам нужен длинный прыжок в новое место.

Продолжаю серию статей для абитуриентов, их родителей и сочувствующих после почти ежегодного выступления в МАИ. О том, чему и как учиться, и о чем бы я хотел, чтобы мне сказали 15-20 лет назад. Надеюсь, вам это поможет правильно выбрать вуз.

https://outofline.ru/%D0%BF%D1%80%D0%BE-%D0%B1%D1%83%D0%B4%D1%83%D1%89%D0%B5%D0%B5-%D1%87%D0%B5%D0%BC%D1%83-%D1%83%D1%87%D0%B8%D1%82%D1%8C-%D0%B4%D0%B5%D1%82%D0%B5%D0%B9-%D0%B2-it-v-3-10-%D0%BD%D0%B0%D0%B2%D1%8B%D0%BA%D0%BE%D0%B2-%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-202x-dbae500d74a9

Про будущее AI. Gary Fowler из OpenAI рассказывает об их прогрессе и движке "генерации языков" GPT-3. По сравнению с предыдущей версией уровень абстракции (или даже гибкости) повысился, теперь это уже не просто генерация текстов, но и генерация гитарных табулатур и даже программного кода.

За всей мощностью, тем не менее, исследователи задают несколько очень важных вопросов:
1. Как ограничить использование алгоритма в зловредных целях (например,  генерации fake news)? В GPT-2 они отказались от публичного обнародования алгоритмов и датасетов и работали только с отдельными заявками. + делают обертку в виде API, но никогда не отдают целиком наработки.
2. Очевидно, что алгоритм, нацеленный на решение человеческих задач и натренированный на материалах, созданными людьми, наследует их предубеждения. До какой степени это допустимо? Например, в GPT-3, хотя и сделан существенный скачок, все равно могут проскакивать элементы расизма и сексизма, тянущиеся из исходных материалов.

https://medium.com/@gary_78666/the-future-of-ai-gpt-3-ebd9dd62f3ee

Про развитие e-sport. Во-первых, производители консолей не справляются с диванным спросом (к слову, за время пандемии, по исследованиям IDC и Esports Charts, время просмотров трансляций на твиче и киберспортивных турниров удвоилось). Во-вторых, на фоне падения возможностей организовывать спорт классический, рекламно-инвестиционный интерес смещается в сторону электрического, который уже в этом году должен преодолеть планку доходов в $1млрд.

На этом фоне не удивительно, что появляются специализированные комплексы для тренировки кибер-спортсменов (вспомнить хотя бы Gosu.ai!). Компания Mobalytics, работающая в этой нише, сделала следующий логичный шаг — запартнерилась с одним из ключевых производителей трекеров глаз, Tobii, чтобы добавить к собираемой телеметрии зрение киберспортменов.

Думаю, через пару лет такие решения обрастут еще и нейроинтерфейсами. :)

https://techcrunch.com/2020/07/22/mobalytics-raises-11m-and-adds-eye-tracking-metrics-to-its-automated-gaming-coach/

Про инвестиции ранних стадий. Techcrunch рассказывает о подходе Ann Miura-Ko из Floodgate о анализу стартапов и их стратегий. Многие идеи, внезапно, перекликаются с методологией Rapid Foresight и ее адаптацией, которую мы делаем под запуск новых рынков НТИ.

Анна говорит о двух прорывах, которые должны случиться на пути стартапа: один во время поиска модели ценности, второй во время поиска модели роста.

🚀 Инсайт о перегибе (inflection insight)
Перегиб — это отсылка к экспоненциальной кривой, позволяющей бизнесу устойчиво расти и масштабироваться.  Перегиб описывается двумя составляющими: причиной и воздействием. Причины обычно относятся к технологическим, регуляторным или социальным. Воздействие описывает что-то, что ранее было невозможным или недоступным (стало быстрее, дешевле и т.п.).

Просто найти точку перегиба недостаточно. Важно, иметь неконсенсусное подтверждение. Если все согласны с перегибом, то у вас нет никакого преимущества, скорее всего, оно есть у тех, у кого намного больше ресурсов, чем у вас. Если консенсуса нет, и ваш инсайт правильный, то на него можно ставить.

Инсайт перегиба должен подсказывать, почему воздействие будет экспоненциальным и длительным. Если инсайт заканчивается, как только его поймет ваш сосед, преимущество растает.

🚀 Соответствие продукта рынку
Следующий шаг после того, как предприниматель нащупал точку перегиба, — это построение минимальной жизнеспособной компании (minimum viable company). Это комбинация из трех составляющих: ценность продукта, сильная бизнес-модель и понимание, как это вписывается в соответствующую экосистему.

Ценность продукта — это не набор крутых фич. Это обещание клиенту, которое вы реализуете, позиционирование ценности. Оно прилипает, создает яркие моменты, сбалансировано по цене (усилию клиента, чтобы получить пользу). Продукт делает работу, на которую его нанимает покупатель.

Экосистема шире, чем покупатель или пользователь. Она включает цепи поставщиков и дистрибьюторов, а также регуляторов. Частая проблема основателя — игнорирование частей экосистемы, вне своего прямого контура. Без этого ваша стратегия выхода на рынок может легко провалиться.

Бизнес модель описывает цены, прибыль, затраты на привлечение, поддержку и обучение клиентов. Часто о цене думают в конце, когда продукт создан. Но это два связанных параметра.

===
https://techcrunch.com/2020/07/23/ann-miura-kos-framework-for-building-a-startup/

Про провал перехода образования в online. После 10 лет рассуждений про муки (MOOC), 5 лет перетерок про цифровую трансформацию и полугода под ковидом, мы все еще не запустили ни одного online-университета. При этом мы постоянно подменяем понятия, делая вид, что online-курсы (правильные, интерактивные, качественные и какие угодно еще) — это и есть будущее образования, нужно только правильно по ним снавигировать.

В сущности, online-курсы — это замена книгам. Та же роль, другой формат. Поэтому когда университеты соревнуются по качеству якобы online-образования, они соревнуются библиотеками: у кого больше ресурсов, тот и паблишер номер один. Разговоры о том, что региональные университеты не нужны, потому что контент лучше у топ-20, — отсюда же.

Но в реальности этот тест на адекватность провалили абсолютно все. Удалите из классического университета библиотеку и скажите: что из оставшегося мы смогли действительно перенести и обновить с цифровыми технологиями? Правильно, ничего. :)

https://medium.com/humanspectrum/why-allmost-all-universities-failed-to-go-online-aa5a20ea4d2b?source=friends_link&sk=7d42d30e3a45b01ca9c397835c658ed8

В продолжение темы образования. Как пишут в Dialogue & Discourse на медиуме, Google анонсировал профессиональную сертификацию по анализу данных, управлению проектами и дизайну UX через курсы на Coursera. Тонкость момента не в том, что это курсы от Google, а в том, что колледж (университет) больше не нужен: "В нашем найме мы будем рассматривать эту карьерную сертификацию как эквивалент четырех-летнему образованию на соответствующие роли."

Сигнал очень простой: хотите зарабатывать до $93k/year в Google? Тогда к черту 4 года сидения попой в колледже. Для самих курсов при этом не требуется предварительный опыт или наличие высшего образования.

Что еще важно отметить:
1) на такие шаги идет и пойдет не только Google, но и постепенно многие другие IT-компании, отменяющие требование высшего образования при найме;
2) Google, а ранее Microsoft и другие компании, инвестируют в продвижение такой сертификации, субсидируя стоимость или выдавая гранты через благотворительные организации, тем самым ускоряя процесс;
3) дело, конечно, не только в том, что это все дистанционно за 3-6 месяцев (против 4 лет!), но и в контенте, точнее готовности компаний за свой контент отвечать наймом. Google говорит, что сертификат за $300 эквивалентен диплому.

И это все возвращает нас к моему прошлому посту о ценности университетского образования и его провале в переходе к online:
1) Авторы пишут, что IT-компании отдают предпочтение скорости найма и ускорению выхода на рынок массы специалистов, жертвуя адаптивностью контента под конкретных студентов или работодателей, что обычно делает университет. Фактически, мы наблюдаем перекраивание воронки.
2) Даже до пандемии поступление в университеты и колледжи находилось на спаде и осенью ожидалось падение до 20% (в США). Соответствующим образом падают и доходы, один только Harvard в этом году, по прогнозам, потеряет $415m, и $715m в следующем.
3) Все это происходит на фоне разговоров о равенстве и выравнивании доступа к образованию и, как следствие, к профессии. В отличие от колледжа, online-платформа не смотрит на цвет кожи. Интересно, что аналогичная проблема наблюдается и внутри самих IT-компаний.
4) Online-образование сразу комбинируется с рыночными данными в реальном времени: открытые позиции, требования к навыкам и т. п. Отсутствие такой коррекции на день сегодня — одна из самых больших претензий к высшему образованию, ориентированному на день вчера.
5) Похожие сдвиги будут происходить не только в IT-образовании. :)

Про зарплаты и ковид. В издании The Startup на Medium пишут (на примере Facebook) о том, как эпидемия ковида вскрывает важный общественный нарыв: оседлость зарплат.

Во многих компаниях, работающих на несколько стран или регионов, есть практика коррекции зарплат на "уровень жизни" в соответствующей местности. Условно, за одну и ту же работу в Москве и Хабаровске могут платить существенно разные деньги.

Ну и тут наш любимый Марк Цукерберг заявил на фоне продолжения дистанционного характера работы, что сотрудников, которые уедут из Bay Area (область залива в Сан-Франциско), ждет коррекция зарплаты с учетом уровня жизни в новой местности.

В ответ David Heinemeier Hannson, сооснователь Basecamp и соавтор Remote, пишет, что это чистой воды варварство. А ребята из Zapier даже дают денег на релокацию из залива.

В общем, в тусовке появился еще один повод ненавидеть Facebook.

https://medium.com/swlh/facebooks-new-remote-salary-policy-is-barbaric-1fca3f451e67

Почему растения зеленые? Простой и, как оказалось, очень сложный вопрос. Quanta Magazine рассказывает о свежих изысканиях физиков и биологов на эту тему.

Простой ответ физиков: потому что растения отражают часть зеленого спектра, поглощая при этом остальные. Но почему? Особенно учитывая, что большая часть излучаемой Солнцем энергии приходится на зеленую часть спектра.

Чуть более сложный ответ биологов: возможно, зеленый свет слишком мощный и может повредить растениям, если его поглощать целиком (кстати, в этом случае растения были бы черными). Но долгое время ученые не могли объяснить, почему это опасно.

И вот свежий ответ от физиков и ботаников, основанный на моделировании идеальных условий для фотоэлектрической клетки, регулирующей поток энергии: природа отдает предпочтение стабильности, нежели эффективности.

Если бы клетки растений были рассчитаны на максимизацию потребления солнечного излучения, им бы пришлось столкнуться со слишком сильными колебаниями шума в излучении, постоянно происходящими из-за смены освещенности (ветер, облака и т.п.). Чтобы дать стабильный выход энергии, пигменты фотосистемы поглощают свет с разной частотой. А лучше всего для этого подходят красная и синяя части спектра.

Фактически эволюция настроила растения не на максимальную эффективность поглощения, а на оптимальную гладкость и надежность отдачи энергии.

https://www.quantamagazine.org/why-are-plants-green-to-reduce-the-noise-in-photosynthesis-20200730/

Про адаптацию технологий. Andrea Gagliano, глава DS в фотостоковой площадке Getty Images, размышляет в TechCrunch о том, что алгоритмы и датасеты для ИИ не поспевают за изменениями общества в 2020.

Из-за эпидемии, пишет Андреа, у нас поменялись социальные и культурные нормы. В части зрительного ИИ многое из того, в чем мы натренировали алгоритмы, устарело. Категории (теги) претерпели сдвиги. Например, изображение отца, работающего из дома, пока его сын играет. Оно по-прежнему классифицируется как отдых, хотя число таких кейсов на самом деле выросло. Очистка может теперь относиться в том числе к поверхностям, которые визуально выглядят чистыми. И очевидный кейс — это распознавание лиц в масках. Многие алгоритмы "видят" только верхнюю часть лица или даже два лица.

Очевидный подход к исправлению ситуации — это развитие датасетов, обновление классов и переобучение алгоритмов. Но, отмечает Андреа, многие открытые датасеты, используемые для тренировки, с большой вероятностью обновлены не будут. И вместе с их устаревшими данными мы наследуем старую "нормальность". А вместе с новыми фотографиями мы получим новую пачку предубеждений.

https://techcrunch.com/2020/08/02/ai-is-struggling-to-adjust-to-2020/

И в продолжение темы про ИИ. Jesse Dunietz из Elemental Cognition и MIT пишет в MIT Technology Review о фундаментальной проблеме сообщества, сформировавшегося вокруг машинного обучения. И, в какой-то мере, то, о чем пишет Джесси, противоречит предложениям Андреа из предыдущей ссылки.

Джесси говорит, что сообщество впало в SOTA-горячку. SOTA — это state of the art достижение, когда очередной коллектив или отдельный исследователь показывает "более лучшие" результаты в каком-то очередном бенчмарке на базе какого-то очередного датасета. Огромное количество научных и инженерных работ направлено на достижение результата лучшего на единицы и доли процентов, чем у предыдущих работ.

Каждый новый такой алгоритм, фактически, просто еще чуть лучше понимаем скрытые сложные паттерны в данных. Это не означает автоматом, что алгоритм помогает лучше решать человеческие проблемы.

В области NLP, которой занимается Джесси, погони за решением квестов по преодолению сложных бенчмарков, увели исследователей от истинных целей: конкретных прикладных приложений. Мы получили NLP-исследователей, ставших спринтерами, которые "тусят вокруг качалки и берутся за любое упражнение, которое кажется сложным".

Ключевая проблема же — отсутствие в алгоритмах NLP модели мира. Соответственно, бредлагаемые бенчмарки не тестируют понимание мира, они тестируют попадание в ответы. В качестве альтернативы существующим бенчмаркам Джесси и коллеги предлают двигаться в сторону "шаблонов для понимания".

Например, для можно взять выдуманные истории, которые нельзя погуглить, и в качестве теста задать такой шаблон:
— Пространство: где все происходит и как локации меняются по ходу истории?
— Время: какие события происходят и когда?
— Причины: как одни события (механически) приводят к другим событиям?
— Мотивация: почему герои предпринимают совершаемые ими действия?

Подобные вопросы могут помочь принципиально иначе настроить системы скоринга для NLP-исследователей.

p.s. Почему я говорю, что это противоречит идеям Андреа? Потому что ее предложение не меняет парадигмы: давайте просто обновим данные и обучим заново. Система от этого не начнет лучше "понимать" мир.

https://www.technologyreview.com/2020/07/31/1005876/natural-language-processing-evaluation-ai-opinion/