У моих коллег недавно вышла статья по оценке неопределённости трансформерных моделей. Она больше ориентирована на NLU, нежели на генеративные задачи, но, возможно, вдохновит.
http://www.skoltech.ru/app/data/uploads/sites/19/2021/02/eacl-2021-uncertanty-estimation-for-nlp.pdf

я использую для обучения OpenNMT TF,  а для прода CTranslate2 - он сам выводит этот нормализированный счет вероятности по каждому предсказанию, думаю на score  можно положится

Ребят, всем привет! Подскажите, spacy ner для русского умеет доставать из текста названия компаний на английском. И, в связи с этим два вопроса:
1. Сильно ли варьируется способность извлекать NER между моделями разных языков?
2. Будет ли сильно варьироваться качество, если подать текст на английском?
У меня смесь текстов на Ru и En, имеет ли смысл использовать Language Detection и обрабатывать соответствующими моделями, если нужно только NER?

а кто-нибудь видел работающую speech emotion recognition систему? мб кто-то знает компании, у которые такое есть?

У сбер можешь потестить. Бесплатно.
SmartSpeech

а есть демка?

вроде чет нашел, ща надо зарегаться...

не все так просто...

Коллеги, Negative sampling, это когда мы считаем loss и back propagation не для всего словаря, а только для части слов? Настраиваем веса только для N слов у которых вероятность оказалась наиболее высокой и уменьшаем для M случайных слов?

loss мы будем считать только для того, что нам попалось в конкретном батче

Чтобы его посчитать нам нужны положительные примеры и отрицательные

Положительные у нас точно есть на момент формирования батча, а для отрицательных мы возьмём несколько случайных слов из нашего словаря, даже не заморачиваясь проверкой есть они в нашем батче или нет

И напрашивается, раз мы вытащили несколько отрицательных примеров, то заодно и им веса обновим )

То есть мы наш вектор w2v, стараемся пододвинуть к тем словам, которые попались в нашем батче(т.е. окружение для нашего слова) и одновременно хотим отдались его от части случайных слов?

Угумс

На степике есть курс самсунга по nlp и там реализация этого действа на pytorch гениальная.

Пошёл смотреть) 👍

А кроме Pullenti что то так тоже умеет? В наташе не нашел.

Извините за некоторое ханжество но меня почему то воротит от самой мысли конвертации либы из шарпа в питон. 😊

Сам хотел бы знать, у меня схожие эмоции.

@Forman, подскажи, пожалуйста, можно ли как-то ускорить загрузку?
wittenbell-3-big.asc более 3 минут грузит

К сожалению нет, это очень большой словарь с огромной языковой моделью. Там только 3 000 000 уникальных слов. Система в принципе не рассчитана на частую загрузку словаря, это должно выполнятся один раз при старте системы, а в дальнейшем только вызывать методы проверки или корректировки ошибок, тогда все работает быстро.