В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

3198 membersпожаловаться на группу
2021 July 22

K

Kutuz4 in Natural Language Processing
Товарищи, а что лучше всего из вашего опыта подходит для получения эмбеддингов предложений на русском языке? Желательно из моделей huggingface
источник
12:39пожаловаться#1

DD

David Dale in Natural Language Processing
Labse топчик
(вот порезанная версия с только англо-русскими эмбеддингами)

А так вообще в моём посте есть сравнение эмбеддингов русских предлоений
https://habr.com/ru/post/562064/
источник
12:39пожаловаться#2

AE

Anton Eryomin in Natural Language Processing
А чем она лучше/хуже если взять какую-то модель, получающую эмбеддинг для слова и просто посчитать средне арифметическое для такого предложения?
источник
12:41пожаловаться#3

d

dePuff in Natural Language Processing
Даёт контекстные эмбеддинги
Это следующий уровень
источник
12:42пожаловаться#4

AE

Anton Eryomin in Natural Language Processing
Но тут требования возникают к самим прделожениям, т.е. они (предложения) должны находится в достаточно больших текстах верно?
источник
12:42пожаловаться#5

d

dePuff in Natural Language Processing
Нее
источник
12:42пожаловаться#6

DD

David Dale in Natural Language Processing
нет, под контекстом имеется в виду окружающие слова в рамках одного предложения
источник
12:43пожаловаться#7

AE

Anton Eryomin in Natural Language Processing
ааааа, понял.
источник
12:43пожаловаться#8

d

dePuff in Natural Language Processing
Мешок слов + обычные вектора последовательность слов не могут учесть.
А тут что-то ловится
источник
12:43пожаловаться#9

DD

David Dale in Natural Language Processing
Тем, что хороший sentence encoder умеет понимать антонимы, отрицания, и разницу между объектом и субъектом, в отличие от просто среднего вектора из fasttext или word2vec
источник
12:43пожаловаться#10

AE

Anton Eryomin in Natural Language Processing
Нужно будет попробовать для своих задачек, спасибо за наводку.
источник
12:44пожаловаться#11

d

dePuff in Natural Language Processing
Но. Если своих данных прямо много, то действительно можно запинать свои вектора, среднее которых с парой трюков будет решать задачу не хуже
источник
12:44пожаловаться#12

AZ

Andrey Zakharov in Natural Language Processing
лучше всего потестить на разных моделях, надо смотреть что за тексты и на каких текстах обучалась модель эмбеддингов - варианты fasttext/USE/Labse/Muse/bert/ у сбера куча моделей теперь еще на HF
источник
12:44пожаловаться#13

DD

David Dale in Natural Language Processing
Грубо говоря, если усреднить безконтекстные вектора слов, то (1) "мать любит дочь" и (2) "дочь любит мать" будут  идентичны, а (3) "мать не любит дочь" и  (4)"мать ненавидит дочь" будут очень на них похожи.
А sentence encoder поймёт, что (1), (2)  и (3,4) - это разные значения.
источник
12:45пожаловаться#14

AE

Anton Eryomin in Natural Language Processing
А можно ли такую модель заиспользовать просто к заголовкам? Например есть заголовки резюме/вакансий, то насколько хорошо/плохо искать похожие среди такого рода предложений/словосочетаний?
источник
12:46пожаловаться#15

d

dePuff in Natural Language Processing
Нужно пробовать.
Специфика домена может сказать: парень, тебе нужны свои вектора )
источник
12:49пожаловаться#16

KL

Kir L in Natural Language Processing
я правильно понимаю, что use в сравнении не участвовал, вместо него как бы ЛАБСЕ как более сильный вариант?
источник
12:49пожаловаться#17

DD

David Dale in Natural Language Processing
В этом сравнении не участвовал, но вообще надо бы запустить.
По моим частичным оценкам (на датасете по детекции парафраз на русском) Labse чуть-чуть лучше, чем USE. И Labse мне кажется более удобным, т.к. это чистый берт по архитектуре, и huggingface поддерживается.
источник
12:51пожаловаться#18

KL

Kir L in Natural Language Processing
понял, спасибо!
источник
12:53пожаловаться#19

d

dePuff in Natural Language Processing
Мне кажется, если человек запустил USE, его можно стажёром смело брать и не спрашивать про стрессоустойчивость.
Или мне всегда так не везло с ним :)

Готовый ноутбук, готовый хаб, готовая модель и... Всё идёт не так
источник
12:56пожаловаться#20