Интересное исследование
опубликовали учёные из Тулузского университета и исследователь из Яндекса Александр Магазинов, показывающее, что использование управляемых AI текстовых генераторы, таких как GPT-3, вводит так называемый “
искалеченный язык” (это мой перевод, в оригинале –
tortured language). Беспокоит то, что статьи, сгенерированные AI неточны с научной точки зрения, цитируют несуществующую литературу и вообще это не то, на что можно опираться.
Особое внимание в исследовании уделяется росту бессмысленных научных публикаций, созданных искусственным интеллектом в журнале Elsevier Journal Microprocessors and Microsystems. Например, та же GPT-3 обучается на больших объёмах данных, перефразирует и обобщает их, после чего уже интерпретирует и составляет текст. И даже для хорошо зарекомендовавших себя фраз она ищет синонимы. Исследователи обнаружили невероятное количество попыток создания таких синонимов, искажающих саму суть публикаций. Вот вам яркий пример:
deep neural network: ‘profound neural organization’
artificial neural network: ‘(fake | counterfeit) neural organization’
Степень “загрязненных” материалов в издательстве Elsevier намного выше, чем в других научных журналах (72,1% против 13,6%). В общей сложности упало качество модерации и увеличилась её скорость. Например, в период с февраля 2018 года по июнь 2021 года, наблюдался резкий рост объёма научных статей, в особенности за последние 6-8 месяцев. И, что интересно, период, отведенный для модерации, сократился и составил менее 40 дней, что в 6 раз меньше стандартного. В отчете это объясняется нехваткой ресурсов в связи с растущим числом поступающих заявок (ну или их просто троллят псевдо-научными статьями сгенерированными нейронками).
Чтобы вы понимали, Elsevier это одни из четырёх самых крупных издетельских домов мира, основанный аж в 1880 году и выпускающий четрверть всех издаваемых научнх статей. Издетельсткй дом был не раз подвергнут критике, а так же учавствовал в скандале, связанным с фармацевтической компании Merck (мой бывший работодатель, хехе), когда он выпускал журналы полностью рекламирующие продукты Merck, просто перепечатывая или кратко излагая статьи, ранее опубликованные в других изданиях.
В общем, рано или поздно AI создаст нам альтернативную вселенную со своей физикой и сумасшедшими учёными. Пока исследователи призываю Elsevier и другие издания повысить стандарты и ввести более строгие процедуры модерации – вы можете сами почитать их полное
исследование с графиками и выводами.
_______
Источник | #denissexy
