👹🤖 Продолжаем пугать проблемой #ИИ
Дмитрий Шефтелович, эксперт РСМД и один из авторов
@vatfor, рассказал о дискуссиях, проходивших на конференции SIPRI, посвященной
оценке влияния автономных систем и прогресса в области машинного обучения на стратегическую стабильность и риски ядерной войны.
Эксперт выделил три основных вопроса, интересующих все стороны:
Предсказуемость. Будет ли машина действовать именно так, как её запрограммировали вне зависимости от внешних данных? Тем более, если она самообучается в процессе боевых действий?
Ответственность. Кто будет отвечать за действия автономной боевой техники? Кто должен нести ответственность за неисполнение приказа или военные преступления?
Ускорение конфликта. Если реагировать и отдавать приказы будет машина, то человек не только будет отставать в скорости принятия решений, но и лишится возможности контролировать эскалацию конфликта. Вероятна ситуация, в которой локальное столкновение низкой интенсивности из-за ошибки обработки данных перерастёт в полноценные боевые действия, чего не хочет никто.
Вообще говоря, автоматы уже среди нас: они упрощают жизнь военному лётчику, обрабатывая входящую информацию, используются в беспилотниках при поиске целей, измеряют поведение по постам в «Фейсбуке» и не только, влияют на порядок выдачи в лентах новостей. Что делать с риском взлома таких систем? Не получится ли так, что поколение, выросшее со смартфонами, будет излишне доверять автомату, даже если он будет давать советы, а не принимать решения? Понравятся ли нам решения, рассчитанные машиной?
Для уменьшения рисков эксперты обсуждали следующие шаги:
1. В политической плоскости: многостороннее заявление на уровне глав государств или надгосударственных органов о том, что:
в ядерной войне победителей не будет; контроль за решением на применение оружия, в особенности ядерного, должен оставаться у человека.
2. В институциональной плоскости: меры по внедрению «здорового скепсиса» по отношению к новым технологиям. Вряд ли получится ограничить распространение идей и алгоритмов обучения, но можно задуматься об ограничении сбора и распространения сенсоров «военного» назначения и данных, требуемых для машинного обучения. Можно перенять успешный опыт контроля за химическим и биологическим оружием, не ограничивающий мирные исследования в области химии и фармацевтики.
3. На будущее: стоит озаботиться вопросом контроля за вычислительными ресурсами и увеличением взаимозависимости, в том числе и в цифровой сфере. Последнее, правда, крайне проблематично: современные компьютерные сети проектировались как системы, не отказывающие даже в случае ядерной войны.
http://russiancouncil.ru/analytics-and-comments/columns/military-and-security/mini-konferentsiya-sipri-ii-i-risk-yadernoy-voyny/