OR
круто, посмотрим, спасибо
Size: a a a
2020 November 28
SМ
Советую его дополнить большим числом антонимов и синонимов при помощи морф анализаторов
SМ
Или ручками;)
DD
коллеги, всем привет.
есть задача парафразирования (создания набора вариаций на основе одной фразы), подскажите какие решения существуют для русского, английского и других языков?
заранее большое спасибо!
есть задача парафразирования (создания набора вариаций на основе одной фразы), подскажите какие решения существуют для русского, английского и других языков?
заранее большое спасибо!
Я делал такое вот поделие, работающее для примерно любого языка, но выдающее довольно кривые фразы, пригодные разве что для аугментации обучающей выборки.
Я там кручу и прореживаю синтаксические деревья, и заменяю слова на похожие по эмбеддингам.
Синтаксические парсеры и вордтувеки можно подставлять любые.
https://github.com/avidale/dependency-paraphraser
Я там кручу и прореживаю синтаксические деревья, и заменяю слова на похожие по эмбеддингам.
Синтаксические парсеры и вордтувеки можно подставлять любые.
https://github.com/avidale/dependency-paraphraser
SМ
Я делал такое вот поделие, работающее для примерно любого языка, но выдающее довольно кривые фразы, пригодные разве что для аугментации обучающей выборки.
Я там кручу и прореживаю синтаксические деревья, и заменяю слова на похожие по эмбеддингам.
Синтаксические парсеры и вордтувеки можно подставлять любые.
https://github.com/avidale/dependency-paraphraser
Я там кручу и прореживаю синтаксические деревья, и заменяю слова на похожие по эмбеддингам.
Синтаксические парсеры и вордтувеки можно подставлять любые.
https://github.com/avidale/dependency-paraphraser
Спасибо, Давид
DD
коллеги, всем привет.
есть задача парафразирования (создания набора вариаций на основе одной фразы), подскажите какие решения существуют для русского, английского и других языков?
заранее большое спасибо!
есть задача парафразирования (создания набора вариаций на основе одной фразы), подскажите какие решения существуют для русского, английского и других языков?
заранее большое спасибо!
Ну и ещё есть дефолтное приличное решение - гонять фразы через переводчик туда-обратно)
SМ
Я тоже в закладочку возьму)
SМ
Ну и ещё есть дефолтное приличное решение - гонять фразы через переводчик туда-обратно)
Ну бывает тоже криво
SМ
От переводчика зависит
SМ
Но согласен
SМ
Чет забыл об этом
OR
Я делал такое вот поделие, работающее для примерно любого языка, но выдающее довольно кривые фразы, пригодные разве что для аугментации обучающей выборки.
Я там кручу и прореживаю синтаксические деревья, и заменяю слова на похожие по эмбеддингам.
Синтаксические парсеры и вордтувеки можно подставлять любые.
https://github.com/avidale/dependency-paraphraser
Я там кручу и прореживаю синтаксические деревья, и заменяю слова на похожие по эмбеддингам.
Синтаксические парсеры и вордтувеки можно подставлять любые.
https://github.com/avidale/dependency-paraphraser
Давид, спасибо! ну в общем нам для аугментации выборки и нужно в первую очередь )
SМ
Давид, спасибо! ну в общем нам для аугментации выборки и нужно в первую очередь )
Добавляйте тогда еще простые ошибки
SМ
Составьте частотный словарь типовых ошибок и опечаток на нграммах
DD
Давид, спасибо! ну в общем нам для аугментации выборки и нужно в первую очередь )
Если подход покажется приемлемым, буду рад, если дашь фидбек и скажешь, как бы ещё хотелось дополнить)
SM
В natasha делаю print(doc.sents)
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 25-29: ordinal not in range(256)
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 25-29: ordinal not in range(256)
А на системе какая кодировка? import sys import locale print( sys.getfilesystemencoding(), lacale.getpreferredencoding()), и тогда настроить, ну или в try except обернуть,может,так как- нить
OR
Если подход покажется приемлемым, буду рад, если дашь фидбек и скажешь, как бы ещё хотелось дополнить)
договорились
SM
Ну и ещё есть дефолтное приличное решение - гонять фразы через переводчик туда-обратно)
Ахах остроумно
SМ
Sasha Marova
Ахах остроумно
Это старая тема с каггла)
SМ
Еще Паша Остяков писал о ней