Видимо, речь шла о моей русской T5 (https://huggingface.co/cointegrated/rut5-base-multitask)
Статьи пока нет, но по смыслу там восстанавливались предложения из зашумлённой версии.
В качестве шума я переставлял/удалял слова и склонял их иначе, другие виды шума не вводились.

Если научиться генерировать шум, похожий на ошибки ASR, можно так же обучить T5 восстанавливать из зашумлённой версии предложения исходную.

Понял ))) а я уже перелопатил оригинальную статью на несколько раз.
Да, Давид, ты прав. Сейчас как раз занимаюсь созданием такой генерации шумных данных.

Всем привет!
На хакатоне "цифровой прорыв" есть кейс от Росатома, который выглядит типовой задачей NLP.

Суть кейса: по записи видеоконференции составить протокол встречи с важными замечаниями и принятыми решениями.

Предлагаю вам принять участие в хакатоне в команде со мной. Я бекэнд разработчик и готов реализовать инфраструктурную обвязку вокруг ml движка.

Пишите в личку - познакомимся ближе и обсудим проект.

Ссылка на кейс Росатома: https://leadersofdigital.ru/event/63009/case/806854#cases

да, выше @cointegrated ответил за меня. я именно эту модель и имел ввиду. миль пардон, если где-то ввел в заблуждение

Задача довольно сложная, она в разработке стоит от 1млн руб. интересно послушать согласился ли кто-то
Вангую тут 2 проблемы: с аудио в текст. а потом по тексту модели учить вытягивать решения. Время от 1 мес 2-3 разрабов

Аудио в текст не проблема

проблема, тк качество будет плохое и диаризация

Что такое диаризация?

Разделение по спикерам

А в чем принципиальное отличие в задаче извлечения фактов для одного спикера и нескольких?

разделить кто что говорит. есть модель от FB для 5ти голосов. sota вроде на момент

Если все обработать как речь одного спикера, факты выделить не удастся?

там есть еще требование про протокол

участвовать не собираюсь, просто вопрос. а есть что-либо для голоса векторизовать? ну там поиск ближайшего чтобы?

Я бы попробовал выступить с mvp, который формирует текстовый итог встречи, без фиксации кто что сказал.

нашел, pyannote-audio

Какую видюшку сейчас лучше присмотреть? Что-то типа Nvidia K80, или из геймерских?

3090 может оптимальнее в плане цены / качества

а есть реальный смысл покупать   GPU  ?
и она окупит себя в сравнении с облаками ?