Я не претендую на ответ, но я тут читаю про трансформеры и механизм self-attention... Если я правильно понимаю, эти сети позволяют выбрать все другие слова, относящиеся к какому-то конкретному слову. Возможно, есть готовые решения, где создаётся список всех слов и слов, к ним относящиеся.

А вот подскажите, есть у меня сетка, которая классифицирует наименования товаров в чеке по нескольким категориям. Я хочу ей дать подсказку в виде того, и какого именно магазина этот товар. Как это можно сделать? Сетка построена на flair и просто ест строку с названием. Если я допустим к этому названию буду делать префикс с "названием магазина", польза будет?

Я бы начал с babi tasks от facebook, есть лидерборд по моделям, которые решают разного типа задачи, вот ссылка на пейпер, который описывает датасет и задачи https://arxiv.org/abs/1502.05698

К примеру, года 3 назад были memory networks, которые хорошо работали на первых 3 задачах

то есть например вместо "куба спешал" будет написано что-то вроде "кантата:куба спешал" и тогда более понятно, что это кофе, а не что-то другое.

🔫 FIORINI grilli кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@wadimiusz, FIORINI grilli, @aragaer, @ashatilov, @kazennikov
При поддержке Золота Бородача

Можно поискать по темам "fact-checking", "fake news detection"

Есть область задача Natural Language Inference (NLI): это как раз тип моделей, которые пытаются найти взаимодействие между гипотезой и утверждением. Отношения могут быть: поддерживает, опровергает или не имеет отношения. Больше можно почитать здесь: http://nlpprogress.com/english/natural_language_inference.html

Благодарю, ознакомлюсь 😌

Пост Лены Войты про transfer learning https://lena-voita.github.io/nlp_course/transfer_learning.html. Из всех постов курса https://lena-voita.github.io/nlp_course.html занимает второе место после конспекта про эмбеддинги https://lena-voita.github.io/nlp_course/word_embeddings.html. Понятнее чем у Рудера https://ruder.io/state-of-transfer-learning-in-nlp/
- Логичный переход word2vec -> Cove, Elmo -> GPT, BERT
- Статичные эмбеддинги -> контекстные эмбеддинги
- Под каждую задачу своя модель -> Модель одна, разный формат инпута CLS SENT1 SEP SENT2 END
- Конспекты про Cove, Elmo, GPT, BERT, понятно что откуда берётся, инкрементальные изменения, почему BERT такой какой есть
- Адаптеры, можно не файнтюнить весь BERT
- Бертология, визуализация атеншена, типа на первом слое морфология, потом синтаксис, наверху семантика
#voita

К сожалению, верстка под мобильные слабо адаптирована :(

Но итак ок

На Андроиде сойдет

Мне нравятся конспеты

Лена делает все сама, присылайте пулл реквест ))

Очень круто делает

Я уже репощу

Народ, кому то встречались мат-фильтры продвинутые? пока нашел только пару монструозных регулярок и работу со словарем. Но они неустойчивы транслитерационным заменам и другим трюкам. Как я понимаю, задача вообще не простая совсем.

А пополнять словарь посредством жалоб?

можно, конечно. Но это уже линия поддержки и соответствующий процесс. Я скорее за то, каким путем в принуипе идти - словарь или что-то хитрее.