Пока мы тут торчим в этих наших интернетах, исследователи из Бэйханского университета (Китай) посчитали, как связано использование интернета с академической успеваемостью. Смотрели на продолжительность сессий, частоту подключений и интернет-трафик 4000 студентов.

Сеточка показала, что
1. Дисциплина играет ключевую роль в академической успеваемости.
2. Частота подключений коррелирует положительно.
3. Размер трафика коррелирует отрицательно.
4. Длительность сессий ведет себя по-разному в разных датасетах, то есть по ней нельзя судить.

Не уверен, что хотел бы быть студентом в Китае. 🐲

https://www.sciencedirect.com/science/article/pii/S0747563219301554

Еще немножко про академическую тему. В подкасте Working Scientist от Nature рассказывают о технологиях, которые используют исследователи в своей работе и большое внимание отводится технологиям коллаборации внутри маленьких ячеек (11 аспирантов и 4 студента под научным руководителям). Здесь делается акцент на Slack, хотя из моего опыта все сказанное релеванто и для других инструментов (привет Teams от MSFT).

Почему вдруг инструменты online-коллаборации стали важными:
— Для научной группы важен рост каждого и активный обмент ситуативной информацией (успехи, провалы, материалы, вопросы и т.п.). С точки зрения научного руководителя это важный микроменеджмент, который можно сделать более прозрачным и гибким внутри коллектива.
— Если научная группа децентрализована, или участники эпизодически выпадают из-за региональных или международных поездок (а многие исследования требуют этого), то online-связность позволяет быть в курсе и реагировать на ситуации.
— В отличие от просто почты (которой всегда много), это изолированное пространство, которое включает не только чатики, звонки и общие документы, но и интеграцию внешних инструментов. Классика — уведомления, когда что-то посчиталось.

Но я это не к тому, что Slack/Teams классные, используйте их. А к тому, что внезапно это становится новым элементом академической культуры. А теперь поднимите руку, у кого что-то похожее было/есть во время вашей учебы или научной работы.

https://www.nature.com/articles/d41586-019-01375-4#MO0

Заканчивая академическую тему на этой неделе... Фонд Билла и Мелинды Гейтсов, обнаружил гендерное различие между заявками на гранты, ведущее к существенным последствиям.
1. При оценке заявок от рецензентов скрывали пол заявителей. Тем не менее, анализ показал, что преимущество в одобрении получают заявки, поданные мужчинами.
2. Дальнейший лингвистический анализ заявок показал, что мужские заявки изобилуют большим количеством "размытых" терминов, допускающих широкое трактование и позитивно влияющих на оценку. Например, в области здравоохранения и медицины к таким терминам относятся "определение", "контроль", "бактерия". В "женских" заявках наоборот повышенное количество четких и узких формулировок вроде "мозг", "сообщество" и "оральный".
3. При этом анализ истории заявителей показал, что заявки с "широкими терминами" на самом деле не приводят к большему количеству последующих публикаций и получений грантов. В то время как женщины, получившие грант по своим "узким темам", как правило наоборот показывают лучшие результаты.
4. Исследователи рекомендуют два захода на коррекцию: обучение ревьюверов языковым различиям и увеличение числа ревьюверов-женщин.

https://www.nature.com/articles/d41586-019-01402-4

Про прогресс в вычислительных мощностях. Я уже как-то писал, что существенную роль играет не только железо, но и применяемые алгоритмы. Вроде бы, очевидный факт, но часто выходящий из фокуса внимания.

Исследователи из MIT рассказывают, как уменьшить размер обучаемой сеточки в 10-100 раз, заодно снижая требования не только к месту, но и вычислениям. Базовая идея нового алгоритма исходит из следующих наблюдений:
— Традиционный подход с первичной инициализацией сетки перед тренировкой случайными значениями на самом деле уже предопределяет ее поведение. Поэтому частый обходной маневр — это либо запустить процесс заново с другими значениями (до тех пор, пока не подберется модель нужного качества), либо увеличивать размер сети, чтобы компенсация случайных предпочтений происходила автоматически.
— Часто получается, что итоговая сеточка — значительно больше, чем "идеальная": многие связи в ней идут с малыми весами, и если их убрать, то качество остается в допустимом коридоре. Это также традиционный подход для сжатия уже обученной модели.

Вопрос, который задают исследователи: можно ли сжать модель до обучения?

Предложенный алгоритм работает итерационно: обученная излишне большая модель сжимается удалением "лишних связей" (победный билет), новая конфигурация сети снова проходит обучение (на тех же или других данных), обученная сжатая модель снова сжимается и т. д. Сегодня алгоритм поиска победного билета работает перебором, а его формальное теоретическое описание — предмет дальнейших исследований.

Обзор: https://www.technologyreview.com/s/613514/a-new-way-to-build-tiny-neural-networks-could-create-powerful-ai-on-your-phone/
Публикация: https://openreview.net/pdf?id=rJl-b3RcF7

Тема с оживлением портретов и переносом стилей продалжается. На этот раз заряжают исследователи из российского крыла Samsung AI Center и Сколтеха, поэтому не удивляйтесь ожившему портрету Достоевского ;)

Обзор: https://techcrunch.com/2019/05/22/mona-lisa-frown-machine-learning-brings-old-paintings-and-photos-to-life/
Публикация: https://arxiv.org/abs/1905.08233

Про AI при написании кода. Я уже как-то рассказывал про проект IntelliCode от Microsoft, делающий контекстные подсказки по мере написания кода. Facebook тоже движется в сторону расширения возможностей разработчиков писать более совершенный код.

Проект Aroma дает рекомендации по улучшению кода, используя структурированный поиск сниппетов (фрагментов) кода, применяемых другими разработчиками. Другими словами, "в ответ" на ваш код система показывает, как аналогичную задачу решают другие разработчики. И это, по идее, может, например, подсказать популярные паттерны, настройки, фиксы безопасности и т. п.

Обзор: https://towardsdatascience.com/facebook-uses-machine-learning-to-help-developers-write-code-faster-577f38008847
Публикация: https://arxiv.org/pdf/1812.01158.pdf

⁠MIT вместе с локальными сообществами и школами тут занялось важной темой: переосмыслением школы будущего.

Несколько интересных деталей:

👩‍🔬 Профиль выпускника. Заход строится на создании ценностного образа: характеристик ученика на выходе, которые признаются опорными при формировании образовательной программы. Это может быть как то, что он умеет делать, так и что-то про систему ценностей. [Условно: 100 лет назад было важно, чтобы школьник умел разборчиво писать (пропись), сейчас это кажется атавизмом. Есть ли что-то, что будет важно в будущем? И как расставить приоритеты, потому что все в программу не впихнешь.]

🙇‍♂️‍ Инклюзивность. Подход с созданием профиля исходит из того, что такой профиль нельзя придумать в министрерствах, вывести из стратегий или прогнозов. Это заведомо ложный посыл. В формирование профиля нужно вовлечь сообщество: детей, выпускников, родителей, преподавателей и т. п. Именно они могут не только сказать, что важно, но и будут принимать участие в реализации и ощущать изменения на себе. Более того, у каждой школы может быть свой уникальный профиль выпускника -- и это правильно.

🎓MOOC как со-творчество. Тема с профилями - новая, но уже есть и первые эксперименты, и лидирующие школы. Параллельно MIT-сотоварищи активно вовлекают в ее со-разработку внешнее сообщество. Для этого был запущен online-курс на EdX (https://www.edx.org/course/envisioning-the-graduate-of-the-future-0). Это одновременно обкатка материалов, сбор отзывов, накопление базы профилей, выявление активистов. Картинка к посту -- это пример такого профиля, созданный мной в рамках курса. Вообще заход на использование площадок online-курсов для вовлечения в разработку мне кажется классным.

Подробнее про движуху с переосмыслением американских школ можно почитать тут:https://xqsuperschool.org/

Коротенечко, но важно: на Brilliant совместно с Microsoft и Google запущен вводный курс по квантовым вычислениям (все в online или с мобильного телефона через приложение). Курс хороший: внятный, на английском, разбит на маленькие кусочки, которые удобно потреблять в свободных паузах, в транспорте и т.п., с интерактивными вставками (симуляторами) и микро-тестами с понятными объяснениями.

На всходе требуется общее понимание математики, статистики, теории информации и хорошо бы быть в курсе про квантовые эффекты.

https://brilliant.org/courses/quantum-computing/

Про культуру работы над данными сообщества с сообществом:

— StackOverflow сделал очередное исследование разработчиков, собственно, опрашивая пользователей своего сайта и прочих неравнодушных (около 90000 человек): https://insights.stackoverflow.com/survey/2019. Исследование полезно уже само по себе.
— Результаты выставлены в виде готовой аналитики с диаграммами для быстрого считывания (с минимальным интерактивом).
— Все исходные данные в обезличенной форме доступны назад сообществу: https://insights.stackoverflow.com/survey, причем под открытой лицензией Open Database License (ODbL). (Подскажу, что вы можете, например, сделать срез по России и получить около 1200 заполненных анкет для анализа.)
— В партнерстве с Glitch те же данные выставлены в виде приложений, которые разработчики могут "замиксовать" (переписать) под себя и свои задачи.
— Часть данных сразу оформляется в виде мини-приложений, например, калькулятор зарплаты: https://stackoverflow.com/jobs/salary
— Параллельно выходят аналитические статьи по отдельным срезам, помогающие разобраться, что стоит за данными: https://meta.stackoverflow.com/questions/382721/data-science-time-april-2019-and-salary-with-experience.

🏭 Про корпоративные инновации и стартапы. Одна из хайповых сегодня тем — это что корпоратам нужно срочно погрузиться в мир "открытых инноваций", впустить в себя свежую кровь стартапов, начать работать с коммьюнити и краудсорсить... Потому что весь сок — там, если не так, то смерть через дисрапшн и вот это все.

Как пишет Futurity, эта линия тянется в литературе с 1940х годов, когда начался разговор о том, что по мере роста организации все больше тратят на инновации, но все меньше и меньше от них получают прибыли.

Традиционный академический взгляд: R&D больших компаний тяготеет к процессным инновациям (как нам лучше делать то, что мы делаем) и инкрементальным улучшениям, а не производству новых продуктов и радикальным прорывам.

Анна-Мари Кнотт и другие исследователи из Вашингтонского университета (США), задались вопросом: действительно ли собственные инвестиции корпораций столь уж иррациональны на фоне малых окрыленных стартапов, не скованных узами корпоративных бюрократии и инерции?

Чтобы копнуть глубже, ученые проанализировали данные с 2008 года, накапливаемые в опросниках по инновациям и R&D в бизнесе от National Science Foundation (США). Выяснилось, что малые компании занимались скорее разработкой (а не исследованиями), радикальными инновациями (а не инкрементальным улучшением) и новыми продуктами (а не улучшением процессов). Это совпадает с общим мнением на рынке.

Но вместе с этим, ученые не нашли подтверждений, что этот фокус делает малые компании более эффективными или что подобная стратегия как-то теряет в эффективности по мере роста. Почему же считается, что малые фирмы более продуктивны? Потому что исследователи считали патенты или продукты, а не отдачу от R&D.

Второй заход команды Кнотт заключался в анализе метрики RQ (research quotient, коэффициент исследований), показывающей ценность инвестиций в R&D: процентное изменение прибыли от процентного изменения затрат на R&D. Здесь учитываются только финансовые показатели. И здесь оказывается, что у больших компаний показатель RQ выше, независимо от того, какую форму R&D они выбирают. Фактически, большая компания может эксплуатировать свой размер, ускоряя отдачу от инноваций.

"Идея, что большие компании могут купить маленькие, чтобы заменить свой собственный R&D-процесс, разрушительная. Невозможно перестроить механизм R&D с нуля. Большие компании не должны пытаться оперировать как маленькие, чтобы стать более продуктивными. Они уже более продуктивны."

https://www.futurity.org/crest-whitestrips-innovation-2078702-2/

Про состояние мировой и российской экосистем по искусственному интеллекту. Физтеховский центр компетенций по ИИ (при участии многих партнеров) подготовил первый выпуск альманаха по ИИ, посвященный обзору ключевых инициатив, компаний, стартапов, университетов, ученых и т.п. Кажется, это самый лучший способ сегодня понять, что у нас тут на Руси творится.

http://aireport.ru/

Adobe вместе со специалистами из Калифорнийского университет в Беркли делают своего рода "антифотошоп": учат сеточку распознавать картинки (в частности, лица), которые были зафотошоплены. Это особенно интересно в двух контекстах:
1) Исследование частично спонсировано DAPRA, развивающим направлением медийной криминалистики (вскрытия фактов поддерлки медиа-документов, артефактов, и т.п.)
2) Общий поворот Adobe от фокуса на инструментах работы с медиа-контентом к инструментам управления жизненным циклом медиа-кампаний (включая создание контента). И вот тут, кажется, инструменты обнаружения фейков и изменений оригинального контента могут быть чрезвычайно полезными. Классический сегодня кейс: какой-нибудь подрядчик или внутренний исполнитель переделал чужую фотку в фотошопе и передал в медиа-кампанию, хорошо бы этот факт словить до того, как общественность обнаружит манипуляцию или плагиат.

p.s. Я смотря на фотографию в заголовке статьи вспоминаю умельцев из народных фото-мастерских, делающих фотографии на паспорт, которые почти всегда что-нибудь пытаются поправить в фотошопе: осветлить, замазать и т. п. Тут прямо напрашивается готовый сервис для органов.

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

Тут все выходные западные IT-медиа обсуждают, что Microsoft запрещает сотрудникам использовать внутри сторонние облачные продукты: от всех базовых версий Slack до Google Docs и AWS, и даже прекрасного Grammarly.

Ключевой мотив в общем-то один и тот же: риск непреднамеренной утечки секретных данных через слабозащищённые решения (то есть суперзащищённый, но дорогой Enterprise Slack - - OK).

Подозреваю, что в фоне, помимо очевидной прямой продуктовой конкуренции, также витают и побочные истории: 1) давайте не будем кормить чужие модели нашими данными, 2) [для стартапов] никогда не знаешь, кто их купит (вместе с данными).

Что важно отметить: в таких компаниях как MSFT и так действуют запреты на использование (даже пробование) продуктов конкурентов непосредственно инженерами (чтобы не копировали решения) . То есть речь идет об остальных сотрудниках, имеющих дело с корпоративной тайной.

Но при этом не во всех нишах есть альтернативы: даже MSFT приходится пользоваться тем, что есть на рынке (например, online-инструментами для дизайнеров, которые не факт, что защищённее слака).

Выводы все делайте сами. :)

https://www.theverge.com/2019/6/22/18713270/microsoft-slack-ban-aws-google-docs-prohibited-list-details

Про неочевидные хаки. Помните манекен-челлендж, когда все застывали на месте, а между ними "пролетала" камера? Развлеклись и все.

А вот команда из Google AI вдруг поняла, что это прям-таки отличный материал для обучения ИИ восстановлению 3D-сцен из двумерных картинок. Благо, все лежит на Youtube, а лицензия, наверняка, помогает делать такие штуки. Датасет публично доступен, хотя вопрос этичности остается открытым.

Новость: https://www.technologyreview.com/f/613888/if-you-did-the-mannequin-challenge-you-are-now-advancing-robotics-research/

Публикация: https://arxiv.org/abs/1904.11111

Про хорошую визуализацию данных. Шесть принципов дизайна данных от Google:

1. Будьте честными. Точность и целостность данных — основа всего. Не меняйте и не смешивайте информацию для украшения или демонстрации своей позиции. Напирайте на ясность и прозрачность. Движение может подкрепить связи, но не должно искажать данные. Прямо указывайте на источник данных, откуда они пришли, как собирались и как обрабатывались.

2. Протяните руку. Покажите контекст и помогите зрителю понять данные. Создайте условия, позволяющие исследовать и сравнивать данные. Используйте понятные подписи, аккуратные оси и базовые линии. Учитывайте ментальную модель зрителей, планируйте легкое погружение с возможность использования широко распространенных инструментов: выбора, масштабирования, перемещения и фильтрации.

3. Удивляйте зрителей. Всегда превосходите ожидания. Подумайте, как вы можете улучшить производительность, отполировать представление, удивить и показать что-то новое? Создавайте динамичный, быстры и четкий опыт. Создав отличную визуализацию, развивайте ее в необычные стороны. Где релевантно, добавляйте знаковые возможности и маленькие моменты удивления. Скорость также важна, как графическое восприятие. Подумайте о хореографии движения и времени, чтобы система была отзывчивой.

4. Обеспечьте четкость фокуса. Уменьшайте когнитивную нагрузку, фокусируя внимание на важных вещах. Каждое действие, цвет или визуальный элемент поддерживают понимание данных. Опирайтесь на задачи зрителей, дайте им основную информацию как можно быстрее. Максимизируйте соотношение данных к чернилам, избегайте посторонних графических элементов. Применяйте цвет системно через подсказки, группировку, подсветку или измерения. Ограниченно используйте движение, чтобы помочь понять иерархию, ориентацию или связи.

5. Управляйте масштабом. Позвольте системе расширяться и адаптироваться под любой контекст. Уважайте разные потребности зрителей в глубине погружения, сложности и модальности. Каждая диаграмма должна быть максимально доступной: подумайте, как каждый элемент (от палитры до осей и интерактивных механизмов) может масштабироваться под разные потребности (размеры экрана, типы данных, каналы восприятия). Используйте интерактив, чтобы снизить сложность, позволяя постепенное раскрытие, смену перспективы и связывание разных срезов.

6. Обеспечьте структуру. Используйте визуальные атрибуты, чтобы показать иерархию, структуру и улучшить связность. Опыт должен быть интуитивным и легким в использовании. Консистентность создает узнавание. Используйте единые графические подходы и паттерны взаимодействия. Движение должно ощущаться управляемым, создавая ощущение стабильности и протяженности. Поддержите визуализацию четкими навигационными подсказками, чтобы зрители понимали, как вернуться назад.

  https://medium.com/google-design/redefining-data-visualization-at-google-9bdcf2e447c6

Интересно наблюдать, как технологии развиваются на параллельных, в чем-то встречных, трендах.

Вот, с одной стороны, MIT Technology Review в очередной раз пишет о том, как нас всех накроет большой брат -- в том числе за счет постоянного улучшения спутникового наблюдения: от качества картинки в реальном времени до трекинга по GPS. Причем там, где необходимое разрешение (вплоть до 25 см) оказывается излишне дорогим, на помощь уже начинают приходить дроны. И это все, конечно, бьет веслом по всей теме приватности частной жизни. Но тут же мы вспоминаем про отслеживание зарослей конопли (запрещена в России для гражданского оборота) на заднем дворе и ловле преступников, что хорошо.

https://www.technologyreview.com/s/613748/satellites-threaten-privacy

С другой стороны, Boring в мае выиграла контракт в Los Angeles, и теперь активно набирает людей. Это, конечно, еще не про скрытие от "летающего" большого брата, но определенно движение в сторону подземных городов. (Понятно, что там будет свое наблюдение.) А общее удешевление технологии потенциально может приводить к массивным скрытым от наблюдателя пространствам.

https://techcrunch.com/2019/07/01/elon-musks-boring-company-is-cranking-up-its-hiring-machine/

С третьей стороны, раз уж речь зашла про частные огородики. Hyatt тестирует в своем отеле в Тринидад и Тобаго гидропонные фермы. Там, конечно, речь про капусту, помидорки, перец и всякие салаты -- и все это на благо постояльцев иметь всегда свежие продукты. Но в конечном счете вопрос в том, что технологии выращивания в закрытых помещениях становятся все доступнее. Отсюда снова автономность и потенциал скрытия того, что хочется скрыть.

https://www.caribjournal.com/2019/07/01/the-hyatt-regency-trinidad-has-a-new-hydroponic-garden/

Тот странный момент, когда читаешь статью про распознавание DeepFake-видео и видишь в ней указания на следующие рубежи в генерации фейков. Futurity пишет об исследовании из UC Berkeley и их наработках в цифровых криминалистических инструментах. В частности, они говорят, что сегодня фейковые видео страдают внутренними нестыковками, которые можно анализировать, в том числе автоматически: натянуть портрет Трампа на Болдуина не означает заставить лицо последнего вести себя как Трамп во всех деталях. У каждого человека есть личные особенности мимики: микро-движений лица, связанные с эмоциями, словами и т.п.. И если составить такую модель для того же Трампа, можно по ней выявлять фейковые видео, которые не вписываются.

Ну то есть следующий этап — это генерация точечных моделей под конкретных людей.

https://www.futurity.org/deepfake-videos-openface-2097842/

Оцените момент: ученые из Рокфеллеровского университета (США, Нью-Йорк) используют цифровую 3D-симуляцию клеток эмбриона для изучения эволюции клеток под воздействием разных белков. И вот эта "цифровая модель 14-дневнего человеческого эмбриона" помогла найти-таки белок, который отвечает за нарушение симметрии, позволяя симметричному телу начать специализироваться.

ПОПРАВКА. Мне тут подсказали, что я неправильно из новости воспринял слова про 3D-модель и симуляцию, приписав ей цифровые своейства. Это реальная модель из стволовых клеток, "симулирующая" настоящий эмбрион.

https://www.futurity.org/3d-model-embryo-stem-cells-2097012-2/

Про настоящие нейронные сети. Вдохновение на выходные для всех, кто занимается нейронками — большая группа ученых из США закончила картирование нейронных связей нематоды Caenorhabditis elegans для обоих полов (это популярный объект для исследования, так именно C.elegans была первым многоклеточным животным, чей геном был полностью секвенирован; впервые полный набор нейронов для гермафродитной особи был описан аж 30 лет назад).

По сравнению с сеточками в Deep Learning, там всего 302 нейрона у гермафродитной особи и 385 у мужской.

Обзор: https://www.scientificamerican.com/article/worm-wiring-diagram-may-help-us-understand-our-own-nervous-system/

Публикация: https://nature.com/articles/s41586-019-1352-7

Про квантовые вычисления и не только. В Scientific American вышло интервью с Питером Шором, известным, в частности, как автор квантового алгоритма факторизации (алгоритм Шора). Несколько интересных выдержек в моем пересказе:

— Про машинные доказательства в математике. Работает удовлетворительно, чтобы подтвердить сформулированные гипотезы. Не работают, чтобы лучше понять математику.

— Про самый популярный миф. Квантовые компьютеры — это примерно как классические, только быстрее. Нет, сравнивать их — это примерно, как сравнивать машину и катер.

— Про практический квантовый компьютер. Да, кажется мы все еще не можем объективно предсказать, когда же появятся первые компьютеры, пригодные для практических задач. Но и оснований для пессимизма пока нет.

— Про связь квантовых вычислений и гравитации. Да, есть весомые основания думать, что они связаны и есть хорошие работы на эту тему. Но часть физиков, кажется, имеет весьма поверхностное представление о квантовой теории информации.

— Про "it from bit" (выражение Джона Уилера о том, что все мире происходит от информации). Работы многих исследователей были плодотворны в этом направлении, но кажется не сильно помогло в объяснении реальности. Это работа для философов, а не физиков.

— Про погоню за красотой в физике. Да, физики сбиты с пути, но не красотой, а тем, что теоретики оторвались от практики экспериментов. Математики научились использовать доказательства там, где нет экспериментов.

— Про интерпретации квантовой механики. Лучше быть агностиком и использовать обе интерпретации (копенгагенскую и многих миров), выбирая ту, что лучше интуитивно объясняет конкретный кейс.

— Про человеческое сознание. Не факт, что оно принципиально "квантовое".

— Про суперинтеллект в науке. Если суперумные машины смогут решать задачи, с которыми не справляются люди, но мы не сможем интерпретировать их результат, навряд ли мы это будем называть наукой.

— Про утопию. Было бы здорово, если бы большие инвестиции перестали идти на дискредитацию науки. Сначала "табак не вызывает рак", "уголь не вызывает глобальное потепление", а потом еще креационизм спровоцировали стихийные явления вроде антивакцинации.

https://blogs.scientificamerican.com/cross-check/quantum-computing-for-english-majors/