Size: a a a

Natural Language Processing

2021 July 22

KL

Kir L in Natural Language Processing
да ладно!? почему так?( ЮЗик же из коробки как описано на хабе работает нормально, одна была проблема - tensorflow_text не было под винду, то есть надо было станцевать, развернув ЮЗ на линукс машине как сервис, не более.
что именно не получалось?
источник

KL

Kir L in Natural Language Processing
вообще не верю, что у тебя что-то не получилось) по курсу НЛП какому-то помню, что ты очень упорный человек!
источник

d

dePuff in Natural Language Processing
Да каждый раз разное.
Чаще всего это работало под хитрыми версиями библиотек и этот набор версий нужно ещё вычислить
источник

d

dePuff in Natural Language Processing
Можно решения соревок каких-нибудь посмотреть из прошедших .
От ML Bootcamp помню что-то было с почти кластеризацией вакансий HH
источник

KL

Kir L in Natural Language Processing
понятно. Ну кстати я вспомнил еще один способ потерпеть крах с USE - macbook на m1 ((( просто крах, ниче не ставится
источник

K

Kutuz4 in Natural Language Processing
Попробовал Labse. Взял исходный короткий запрос, взял два длинных + один короткий, но совершенно не подходящий по смыслу. Посчитал расстояния между эмбеддингами. В итоге короткий неподходящий запрос оказался самым близким к "монтаж инженерных коммуникаций в доме" оказался "рыбный салат". Чем в нем инициализируются слова, которых нет в словаре? Они выкидываются?
источник

SancheZz Мов in Natural Language Processing
А какой выход взяли?)
источник

SancheZz Мов in Natural Language Processing
Cls?)
источник

SancheZz Мов in Natural Language Processing
Нужно mean pool выход
источник

DD

David Dale in Natural Language Processing
слова, которых нет в словаре, собираютс из wordpiece токенов
источник

DD

David Dale in Natural Language Processing
конкретно labse заточен под cls как раз
источник

d

dePuff in Natural Language Processing
Ну и на всякий случай. Там нормировать вектора (не обязательно) и @ им сделать
Больше чиселка, ближе тексты
источник

SancheZz Мов in Natural Language Processing
Уверен?) Это тот же сберт ток мультилингвальный
источник

SancheZz Мов in Natural Language Processing
С аддитив маржин лосс обученый параллельно млм таске
источник

SancheZz Мов in Natural Language Processing
Не думаю что слабоконтекстный cls там сближали удаляли
источник

DD

David Dale in Natural Language Processing
почитай статью, они обучали его на translation ranking по косинусному расстоянию cls эмбеддингов
https://arxiv.org/abs/2007.01852
источник

SancheZz Мов in Natural Language Processing
Нашел
источник

SancheZz Мов in Natural Language Processing
Жаль, cls слабый по контексту имхо чем маск пулинг
источник

d

dePuff in Natural Language Processing
Кинь тексты, что сравнивал
источник

K

Kutuz4 in Natural Language Processing
Момент. Перепроверю ещё раз
источник