Усреднение векторов fasttext. Сложно найти что-то заметно быстрее.

самое быстрое это фасттекст

Есть требования к отсутствию  OOV?

Если нет то можно табличные эмбеддинги использовать, на ft всё равно нужно складывать и усреднять векторы нграмм

navec можно попробовать

Желательно что-то с очень большим корпусом/токены не в виде слов, а в виде нграмм букв, так как могут попадаться редкие слова

посчитать количество oov токенов

А ну тогда ft

А если заранее для каждого токена в словаре предпросчитать вектор с помощью чего-то трансформерного и ему сопоставить в таблице, то сильно упадёт в качестве? В случае, если токенам и будут Nграммы букв

Можно обучить свой fasttext и сжать его по этой статье https://habr.com/ru/post/489474/

Либо использовать уже готовый сжатый

Перед тем как доставать триплеты, желательно, например, поменять местоимения на существительные.
"Гагарин прибыл на космодром. Потом он полетел в космос."
Вместо (он, полетел, в космос) хотим (Гагарин, полетел, в космос). Деконтекстуализация делает второе предложение самодостаточным.

Если цель - ускорение, сжимать не надо. В моей статье цель сжатия - уменьшить расходы памяти, а по скорости fasttext лучше брать нежатый.

А его же получится адекватно применять при отсутствии видеокарт?

А ну да, прошу прощения, действительно у сжатого скорость меньше.

Да, я его вообще делал для применения на heroku со слабеньким CPU и 500мб памяти

Даа, теперь понял. Интересно для русского языка будет эффект?

всем привет 👋
я совсем не от мира nlp поэтому вопрос может быть очень по нубски составлен, но я попробую
пытаюсь определять "похожесть" двух статей, на русском
сейчас использую spaCy с их моделькой ru_core_news_lg
насколько я понимаю для определения похожести у них под капотом используется метод cosine similarity, поэтому важно использовать модель с векторами
но что-то точность на выходе совсем мне не нравится(
приемлемые результаты только если статьи совсем-совсем разные
попробовал проверить наличие векторов в модельке для каких-то ключевых слов, типа Белсат, Навальный, МОК, ФБК, а их нет
что посоветуете: использовать другие модели или лучше искать другие методы сравнения?

Для русского языка нужно тренировать другую модель. Там внутри T5, она не обучалась на русском.

Для длинных текстов часто TF-IDF (после лемматизации и при тренировке на 1000-2000 релевантных примеров) дажет самый лучший результат.