Телеграмм чат группы natural_language

коллеги, всем привет.
есть задача парафразирования (создания набора вариаций на основе одной фразы), подскажите какие решения существуют для русского, английского и других языков?
заранее большое спасибо!

Для английского на huggingface ещё есть неплохие seq2seqи для перефразирования - потюненные T5.
Такого же русского или мультиязычного я пока не видел, но раз уж мультиязычный T5 выложили, то рано или поздно они должны тоже появиться.

источник

11:38пожаловаться #12

Alexander Kukushkin in Natural Language Processing

https://dyakonov.org/2020/11/09/text-augmentation/ про аугментации для русского

Анализ малых данных

Аугментация для текстов (Text Augmentation)

Похоже, на русском языке нет полного обзора по современным методам аугментации при работе с текстами, поэтому появился этот… На английском языке есть несколько очень хороших, но здесь удалось…

источник

11:39пожаловаться #13

Oleg Radchenko in Natural Language Processing

Alexander Kukushkin

https://dyakonov.org/2020/11/09/text-augmentation/ про аугментации для русского

Анализ малых данных

Аугментация для текстов (Text Augmentation)

Александр, спасибо!

источник

11:39пожаловаться #14

SМ

SancheZz Мов in Natural Language Processing

Alexander Kukushkin

https://dyakonov.org/2020/11/09/text-augmentation/ про аугментации для русского

Анализ малых данных

Аугментация для текстов (Text Augmentation)

Есть еще text fooler

источник

11:41пожаловаться #15

SМ

SancheZz Мов in Natural Language Processing

Он атакует тексты

источник

11:41пожаловаться #16

SМ

SancheZz Мов in Natural Language Processing

Заменяя слова на близкие по написанию склонению и тп но меняющие смысл и крашащую метрику качества модели

источник

11:42пожаловаться #17

SМ

SancheZz Мов in Natural Language Processing

Полезно для хард негатив примеров

источник

11:42пожаловаться #18

Sebastian Pereira in Natural Language Processing

David Dale

Я делал такое вот поделие, работающее для примерно любого языка, но выдающее довольно кривые фразы, пригодные разве что для аугментации обучающей выборки.
Я там кручу и прореживаю синтаксические деревья, и заменяю слова на похожие по эмбеддингам.
Синтаксические парсеры и вордтувеки можно подставлять любые.
https://github.com/avidale/dependency-paraphraser

Огонь, а я только собрался писать.

источник

11:42пожаловаться #19

Oleg Radchenko in Natural Language Processing

SancheZz Мов

Есть еще text fooler

о, шикарно, такое тоже надо

источник

11:42пожаловаться #20