d
В лэйблах маст хэв EOS токен
Size: a a a
2021 August 18
BS
Так он там и есть, это </s>
d
И в generate есть максимум длины, минимум и пенальти за длину
При обучении всё это не нужно
При обучении всё это не нужно
BS
Да, generate я умею настраивать
Мне надо было обучение починить)
Мне надо было обучение починить)
d
Max length в токенизаторах, коллаторах и т.п., чтобы не обрезало случайно до смешного количества токенов
d
Ну месяц экспериментов на V100 в 32гб и ты мастер 😅
D
спасибо попробую)
d
Сразу скажу, что дефолтные параметры из HF бесконечно далеки от счастья для тюнинга T5
A
Ваши рекомендации?
BS
По результатам мне пока что нравится больше всего beam_search с динамическим diversity_penalty в зависимости от длины текста
BS
На GPT лучше семплинга
Но на Т5 все может быть иначе
Но на Т5 все может быть иначе
d
Страдать 😭 Нормальной инфы околонуля по тюнингу
BS
А, сорри, это про обучение
Я подумал про генерацию
Я подумал про генерацию
d
Было такое наблюдение. Потом выяснилось, что если модельку кормить хорошими данными на обучении в хорошем объёме, то она выкрутится достаточно хорошо и с очень жёстким пенальти на генерации.
То есть хак с динамическим пенальти хорош, когда моделька недостаточно умная
То есть хак с динамическим пенальти хорош, когда моделька недостаточно умная
AW
Поддерживаю
A
Печально )))
A
интересно можно заменить часть пайплайна моделью QA? Что думаете?
DD
