что-то новенькое вышло (якобы даже лучше stanza): https://github.com/nlp-uoregon/trankit

спасибо:)

жаль, что там нельзя gpu поставить..

Судя по исходникам ребята просто stanza допилили.

ну там в acknowledgements написано всё

Привет всем.

Подскажите, пожалуйста, какой библиотекой python решить задачу. Мне нужно превращать мультиязычные тексты неизвестной заранее длины в векторы одного размера. При этом:

1. Я не имею всех текстов заранее
2. Новые тексты могут сильно отличаться от уже известных
3. Я могу позволить на проде не сложную предобработку
4. Векторы будут использоваться для поиска похожих

Пока планирую использовать hnswlib, чтобы составлять, хранить и делать запросы к индексу.

Если это какая-то стандартизированная задача, то подскажите ее название, чтобы я мог погуглить бэйслайны.

для мультиязычности сейчас крутой mT5 трансформер выпустили на huggingface<3

Бери Universal Sentence Encoder multilingual - на выходе всегда вектор 512

Или Laser, он чутка устаревший, но качественный и ещё более мультилингвальный)
А вообще гуглить multilingual sentence embeddings.

Или labse

Спасибо, пошел сравнивать предоженные решения)

У Laser неожиданно хорошие метрики при поиске по косинусный близости из коробки.

Привет, а вот представьте себе, что у меня есть большое количество коротких строк (товарных названий), скажем 100К.

Среди них очень много близких по написанию, а я хочу выбрать семпл из наиболее разнообразных по некоторой метрике. Например по левенштейну или другой метрике попарной близости.

Есть ли какие-то существующие наработки для такой задачи? Или придется что-то самим выдумывать?

Character embeddings?

у меня нет наработок, просто первое что пришло в голову по аналогии со словами

Мне кажется, что левинштейн, либо жакар на символах можно попробовать как точку отправки

locality sensitive hashing на n-граммах для приближения жакара попробуйте, с достаточно большими бакетами, а дальше брать по примеру из бакета