AE
Добрый день! а какие сейчас самые самые SOTA эмбеддинги для русского языка? Нужно поиграться с текстами, хочется понять отправную точку.
Size: a a a
2021 July 19
SМ
Вам дистрибутивные модели или трансформеры?)
AE
хотелось бы конечно Трансформеры, но и дистрибутивные тоже хорошо
KL
если не нужно прям сота пересота, а достаточно гуд энаф из коробки, то для предложений или недлинных текстов посоветую USE.
t2
А какие сейчас самые популярные (sota/cheap tradeoff) подходы ддя получения эмбеддингов длинных текстов?
YA
Всем привет! Есть задача классификации интентов, но проблема в том, что в среднем 10-15 примеров для каждого интента и большое количество интентов. Есть ли какой нибудь способ получить нормальное качество на таком датасете или это гиблое дело?
KL
нет, это вполне нормальный датасет для такой задачи. Но по лучшему выбору подхода/модели не подскажу ((( наверно надо гуглить по запросу few-shot text classification
KL
сам собираюсь в ближайшее время делать модель по таким же данным, думаю начать с чего-то типа USE + классические алгоритмы
ДС
Эмбеддинги + knn
KL
поддержу
YA
Примерно такой пайплай используем, хотелось улучшить и пробовал файнтюнить трансформеры, но качество не радует
ДС
Вообще, few shot подходы есть специальные. Но я всего пару раз запускал.
ДС
Можно попробовать пофайнтюнить при помощи метрик ленинг или unsupervised (если самих текстов много). Но это все не факт, что заведётся.
ДС
Типо Prototypical Network
YA
Одна из главных проблем то, что модель даже если предсказывает правильно, но с очень маленьким конфиденсом
YA
Нормально ли такое при большом количестве классов?
KL
если суммарный конфиденс 1, то это очевидно так и будет(
KL
хотя нет, наверно я не совсем прав
A
отчасти потому что примеров мало, отчасти потому что интентов много.
лучше knn хз что придумать тут, модель поближе к домену поискать может стоит.
лучше knn хз что придумать тут, модель поближе к домену поискать может стоит.
d
Можно эмбединги свернуть в эмбединги меньшего размера полносвязной и триплет лоссом