d
А это может быть популярный суффикс
Size: a a a
2021 July 07
IG
Ну да, запретим кусочки, которых не было в оригинальном тексте
d
А... Понял
Забавный хак
Забавный хак
2021 July 08
GF
Как и все предыдущие с гпт, с семантикой проблемы у них
GF
Не слишком ли радикально?
d
NoBadWordsLogitsProcessor посмотреть и переписать под свои нужды)
d
Как я понимаю, там нужно -inf скор выставить тому, что не в списке разрешённых
DD
Что касается замены имён, можно попробовать генерировать несколько саммари, выделять все именованные сущности NER'ом, и понижать приоритет тех саммари, в которых появились сущности, не упомянутые в исходном тексте.
A
Какое ваше мнение по целесообразности дообучения модели byT5 на русском языке для исправления опечаток (в частности после ASR)?
Судя по опыту одной обученной сетки для немецкого языка - выглядит неплохо https://huggingface.co/flozi00/byt5-german-grammar. По информации он обучал на 600 000 текстах. Осталось научиться генерировать аналогичные ошибки для системы распознавания речи)))
Судя по опыту одной обученной сетки для немецкого языка - выглядит неплохо https://huggingface.co/flozi00/byt5-german-grammar. По информации он обучал на 600 000 текстах. Осталось научиться генерировать аналогичные ошибки для системы распознавания речи)))
AW
Да там я починил
AW
Все сильно прозен
СС
У меня не очень хорошо вышло. Было около 60к текстов на английском, делал два варианта: текст_с_ошибками -> правильный_ответ и наоборот. Хотя если взять модель и корпус побольше, то может и сработает.
A
small использовали? какой длины последовательность на входе была примерно? параметр генерации при обучении выставляли в max?
СС
Small, вроде по 256 на вход и выход. Насчет генерации: крутил все возможные генерации в huggingface, особо в качестве плюсов не давали
СС
(еще была идея вместо текстов подавать фонемы из cmudict, но я забил)
A
256 токенов?
там если использовать их trainer и параметр generate=True, то надо при загрузке базовой модели установить параметр max_len вручную
там если использовать их trainer и параметр generate=True, то надо при загрузке базовой модели установить параметр max_len вручную
A
автоматически он выставлен в 20 токенов
СС
Я через их скрипт делал, --max_source_length 256 --max_target_length 256
СС
Надо в общем еще эксперименты делать, раз в немецком получилось, то мб и с ASR сработает.
A
Через какой скрипт?
Я пока в ноутбуке тестил. В целом на небольшом датасете немного ошибок начал исправлять, но данных мало.
Я пока в ноутбуке тестил. В целом на небольшом датасете немного ошибок начал исправлять, но данных мало.