ИТ-гиганты часто создают алгоритмы, которые работают «для всех» — не учитывая ваши жизненные обстоятельства, но учитывая ваши интересы. Иногда это становится проблемой. Мое мнение таково, что с одной стороны, большинство алгоритмов в соцсеточках делают довольно молодые и веселые ребята, которые не думают о каких-то негативных последствиях или исходах у конкретных пользователей, а с другой, почти всегда потом в бизнес приходит большая ИТ-компания и просто забивает на тех несчастных до того момента, пока их не наберется критическая масса.
Наткнулся сейчас в Твиттере на открытое письмо девушки, которая потеряла ребенка во время беременности — тяжелое и трогательное письмо, с личной драмой, суть которой сводится к тому, что алгоритмы Амазона, Твиттера, Фейсбука и т.п. смогли понять, что девушка беременна. Все связанные рекламные баннеры, которую сопровождали девушку, предложения купить товары, что угодно, все было на тему того, что она вот-вот станет матерью. Алгоритмы поняли это по поведению женщины, по тому, что она писала и что добавляла в корзину.
Теперь она буквально не может пользоваться интернетом, потому что «выныривая» из текущего состояния в интернет, чтобы отвлечься, ей постоянно показывают рекламу товаров для беременных.
Самое плохое в этом то, что нажимая «Мне это не интересно» у каждой рекламы, алгоритмы начинают думать, что ей не интересно, потому что она успешно родила, и начинают рекомендовать товары на основе этого предположения.
Получается, вся интернет-жизнь человека, все эти сотни рекламных трекеров теперь постоянно ей напоминают о том, что она пытается пережить и забыть.
Я знаю, что канал читают ИТ-менеджеры, ML-инженеры и разработчики из разных сфер, поэтому чувствую, что важно по-дружески тут написать, чтобы вы всегда понимали разные грани решений, которые вы выкатываете в продакшн, потому что об этой теме мало кто говорит в целом, но за каждой такой ошибкой рекомендательной системы скрывается действительно несчастный, страдающий пользователь.
Открытое письмо:
https://twitter.com/gbrockell/status/1072589687489998848