Если скорость не в приоритете, то можно из предобученных моделей построить композицию алгоритмов с корректирующей операцией в виде линейной комбинации или просто объединить результаты трёх моделей логическими операторами.

Гугл забанит переводов через 60т

В Яндексе, только ключ меняй раз в недельку )

Если вдруг кому интересно, сделали форк группы AGIRussia для разговоров за general conversational intelligence, AGI для NLP и NLP в  AGI https://t.me/agibots

Подскажите, какие есть способы выявления соответствия 2х рус. предложений друг к другу по смыслу? Слова или небольшие фразы можно через эмбеддинги сравнивать, но длинные предложения даже схожие по смыслу раскидывает довольно сильно. Имеет ли смысл сравнивать эмбеддинги входящих в предложения слов или их N-gramm или может быть есть какая то библиотека по генерации синонимичных слов \ фраз? Или может есть уже какое то нормальное решение?

можно любые sentence encoders использовать, например отсюда: https://www.sbert.net/
либо просто известные USE/LaBSE
а по поводу опредления/написания парафраз есть куча статей даже для русского, гуглить по paraphrase detection/generation соответственно

можем такое сделать на трансформерах, задача тут тонкая и я  бы не сказал, что bow подойдет

что предложил бы вместо bow?

плюсую sbert там обратите внимание что его можно обучить под эту задачу. А из коробки там уже есть задача логического следствия у двух предложений - понятно, что похоже но надо обучать скорее всего под конкретный сеттинг-тему-стилистику

на первый взгляд надо ансамбль моделей классификаторов на bert чтобы ловить разные выскокоуровневые фичи стиля автора. Для этого надо иметь тексты каждого автора и задать так обучение и негативные сэмплы, чтобы сетка обобщила стиль. А bow спутается на длинных оборотах и на стилистике самого сми, а не автора, которые могут быть неявными от редакции

я нашел что берт использует 30к токенов, типа one hot encoding

а как он обрабатывает вход разной длины? не используя lstm

что используется для возможности обрабатывать за раз вход неизвестной заранее длинны? (обычно rnn/lstm)

количество токенов всего в модели и количество токенов на вход это разные вещи

я хочу знать вход

в BERT можно подать 512 токенов, максимум

если больше, то обрезается до этого значения

или вы сами выставляете, сколько токенов будет на входе

а если меньше?

можно меньше, конечно

если меньше, то остаток до указанной длины заполняется паддингом

токен не равно слово

вот, это хотел знать, спасибо