большой материал BuzzFeed о системе Gaggle - это такой Старший Брат американских студентов и школьников, который заявляет, что обеспечивает их безопасность в режиме реального времени с помощью "проактивного подхода к предотвращению самоубийства" и "раннего предупреждения насильственных угроз"
https://www.buzzfeednews.com/article/carolinehaskins1/gaggle-school-surveillance-technology-educationна практике это выглядит так: используя собственную систему фильтрации на основе ИИ, Gaggle контролирует все, что школьник или ученик производит, пишет, копирует, отправляет после подключения к своей школьной или студенческой учетной записи, в том числе в пакетах Google Suits или Microsoft 365. Gaggle сканирует электронные письма, документы, чаты и календари, выявляя там изображения или ссылки на материалы, связанные с насилием, издевательствами, самоубийствами, наркотиками, порнографией и т.п.
сайт компании
https://www.gaggle.net/кроме того, система выявляет "стоп-слова" из утвержденного и пополняемого списка (kill, suicide, fuck, cut myself, call the police, hang, end my life и прочие в таблице), в том числе с учетом "языка, который используют дети и подростки в течение последних десяти лет"
если система выявляет слова из стоп-листа, она тут же уведомляет "представителей безопасности 1-го уровня" - таких в Gaggle 125 человек, получающих $10 в час. если безопасник 1-го уровня считает, что угроза реальна, он уведомляет представителей 2-го уровня - таких 25. они должны принимать окончательное решение, достойна ли угроза того, чтобы уведомить администрацию учебного заведений, а если она недоступны - местную полицию
в школах (всего их 17, по данным BuzzFeed) действует система выявления ненормативной лексики Gaggle: на такие алерты приходится 80% всех, отправленных системой в течение учебного года. в Gaggle на этот счет есть "правило трех ошибок" (three strike rule) - если школьник написал слово "fuck" три раза, система уведомит об этом школьную администрацию и автоматически лишит эту учетную запись привилегий (каких, в статье не уточняется), вернуть которые потом могут только представители школы
иногда учащиеся вообще не в курсе работы этой системы. Gaggle говорит, что "рекомендует" (но не обязывает) получать согласие от учеников и родителей на всю эту слежку. компания также говорит, что ученики могут отказаться от пользования школьными учетками и пользоваться личной почтой и чатами, которые система не проверяет. правда, ученикам часто необходимо использовать электронные ресурсы школ и колледжей, и нет другого способа делать это, кроме как путем авторизации в официальной учетной записи
BuzzFeed также задается вопросом - ок, а все этого стоит того, система выполняет те функции, о которых она заявляет, например, в области предотвращения самоубийств? Gaggle говорит, что да, конечно: в учебном 2018-2019 году система выявила 52 000 упоминаний о самоубийстве и причинении себе вреда, из них 6 000 были признаны серьезными и достойными уведомления школьных администраций, а 772 из этих были "настолько конкретными, что мы идентифицируем их как спасенную жизнь", сообщает Gaggle. как проверить эти утверждения компании - не ясно совсем.
в зависимости от количества учащихся и прочих факторов, годовая абонентская плата за пользование услугами Gaggle составляет от $12 000 до $60 000 и более за учебный год
#paranoia