один из примеров

run_summarization.py. Главное префикс убрать

я поставил что-то вроде correct ASR:

у т5 вроде ж есть таска assembly. может в эту сторону глянуть?

А разница с/без префикса есть? Просто correct ASR: это достаточно много токенов для byt5

надо глянуть, спасибо!

не пробовал

всем привет! ссори за, возможно, глупый вопрос... я джун и еще только учусь....может, кто-то такую задачку уже решал, мне надо было предсказать, какой класс тот или иной текст, размеченных текстов у меня нет, но для каждого класса у меня  есть описания, поэтому я обучила на текстах и описаниях для классов ворд2век и фасттекст, через косинусную близость находила топ 5 предсказаний по классу.... а теперь мне шеф говорит сделай ансамбль из этих двух моделей...может подскажите, как это делается для неразмеченных текстов, возможно ссылочкка есть, я поискала в инете...не нашла...решила спросить

сложи расстояния этих моделей с весами и найди лучшее соотношение весов

А как веса искать линейной регрессией?

там всего два веса, можешь просто по сетке с маленьким шагом перебрать

их сумма = 1 должна быть всегда

А.  Поняла! Спасибо ) пойду перебирать ❤️

Кстати а выдаст ли какой то отличный от нулевого вектора предобученная русская модель BERTbase для опечаток и коверканий  ("сшастье", "любвь" ,"воренье" и тд.)?

Да, BERT (как и большинство трансформеров) разбивает незнакомые слова на subword tokens, и, если слово не исковеркано до неузнаваемости, вполне может угадать его идею.

Безусловно

супер, спасибо!

Любвь и воренье, что еще нужно для сшастья.

эта крткий пут к зрдовью

Подскажите пожалуйста, вот у самого модуля natasha есть NER и ещё отдельно есть модуль slovnet, в котором тоже есть NER. Они чем то различаются?