Вопрос был о трансформерах, их для русского нет.

Представьте какая жесть, конкурс Тест Тьюринга от Наносемантики на человечных чатботов отменен организаторами.
https://www.turing-test.net

Причина: только 2 команды представили чатботов, достойных того, чтобы показывать их людям, это мы - Аватар Машина и ещё одна (не знаю от какой компании). Орги пишут мне, что до последнего ждали доработку ботов других участников, но им даже перенос на месяц не помог(изначально на май стояла дата проведения).
Скоро сделаем официальный пост об этом.
Блин, с одной стороны классно, что кроме нас почти никто не умеет делать(это при том, что якобы только ленивый не знает, что надо применять rugpt3), с другой стороны это плохо, тк они не дали нам победить, а там были денежные призы, 1е место 200тр.
Согласуем текст, может быть СМИ и отмену осветят в позитивном ключе 😎

обидно

Начать с анализа ошибок - почему на одних данных,  которые модель не видела,  работает приемлемо,  а на других - Нет? В чем разница между ними?
Сами по себе трансформеры вряд ли спасут от просадки, но может спасти предобучение на большем объеме неразмеченных данных, либо дообучение на большом количестве неразмеченных текстов из нужного домена (доменная адаптация).
Тексты соцсетей очень разные.  Сравните ЖЖ и Твиттер. Определитесь с вашим доменом!

Откуда вывод про изменение предметной области? Как-то по посту этого не понял.

Я так понял вопрошающего. Один датасет он сам разметил, а другой взял из доступных. Но даже, если оба набора это посты из соцсетей, то соцсети могут быть разными.

Глупый вопрос конечно...Вы - это кто? ))

Аватар Машина

в СМИ в позитивном ключе это как?.. "ИИ не способен заменить общение с человеком?"...

Гугл выдаёт только "Новый Mercedes-Benz VISION AVTR" по такому запросу.
Есть, где почитать, кто вы такие?)

похоже вот это http://graphgrail.com/

😁Мерс очень хорош!

Сайт выше уже нашли) вообще в фб моем новости и в нашем чате в тг https://t.me/newton_ai_chatbot

ну пока что я жалуюсь что мы не выиграли, а хочу, чтобы сми написали положительно: что вот мы крутые, а другие такие плохие что аж ничего не смогли, ну в общем в медиа плохое надо повернуть позитивным боком для аудитории и рассказать заодно о технологии, и пользу и хайп тогда нам)

надо потытать будет вашего бота

Люди изучают язык гибко и эффективно, используя композиционное обобщение (compositional generalization): способность понимать и создавать большое количество новых комбинаций из известных компонентов. Например, если человек знает, как «шагнуть», «шагнуть дважды» и «прыгнуть», то для него естественно знать, как «дважды прыгнуть».

Современные методы машинного обучения демонстрируют ограниченную способность к композиционному обобщению. Хуже того, даже реалистичные бенчмарки для полноценной измерения такой способности до самого недавнего времени отсутствовали.

На очередном научно-технический вебинаре НТР и HITS ТГУ, который состоится во вторник, 29 июня 2021, 12:00 МСК (16:00 по Томску) Дмитрий Царьков (Google, Цюрих) представит новый метод для систематического построения таких тестов и большой и реалистичный набор данных с ответами на вопросы на естественном языке, построенный с помощью этого метода.

Дмитрий использовал этот датасет для анализа способности к композиционному обобщению трех архитектур машинного обучения. Как он пишет: "Мы обнаружили, что они не могут обобщать композиционно и что существует сильная отрицательная корреляция между составной дивергенцией и точностью.”

регистрация: https://us02web.zoom.us/webinar/register/2816215991698/WN_2U1_vwmqTLalGFoKB8ZgKQ

задача поиска похожих названий книг  
в двух таблицах
ключ  автор+название+год+город
чем кроме трансформеров  можно similarity sentence попробовать ?

https://pypi.org/project/textdistance/

Возможно поможет. Я одну из метрик пакета использовал для спеллчекера на русском языке. Если названия книжек на английском, то что-то вроде подобия косинуса должно отлично срабатывать

Всё-таки эта модель для sentence эмбедингов. Как её использовать для поиска ответа на вопрос в контексте?

Если я правильно понял, её предлагают применять для предыдущего этапа - для поиска  предложения или абзаца, которое можно использовать как уместный контекст.