VF
Он просто берёт токен айдиз которые прилетают, предсказывает по ним лоджиты и считает кросс энтропию
Trainer из huggingfaceSize: a a a
2021 August 18
A
используется если брать
VF
а, тьфу
A
Там указывается параметр
Я уверен на 90% что взяли ruT5 от сбера? Там 20 стоит в стоке)
generated=True а длину нельзя передать, поэтому при загрузке модели необходимо сразу скорректировать этот параметр.Я уверен на 90% что взяли ruT5 от сбера? Там 20 стоит в стоке)
AW
Коллеги, а кто нибудь знает годные аналоги collab?
VF
У обычной т5 тоже по умолчанию 20
A
Но уверенности у меня уменьшилось из-за этого )))
BS
Действительно работает, спасибо! Меня смутило, что в доке T5 на huggingface нет max_length в T5Config + в конфиге сохраненных моделей нет значения
AN
Для обучения?
AN
Могу предложить поиспользовать Kaggle, еще слышал про Azure Notebooks
AW
Ясно, ничего нового нет(
AN
есть еще datalore от jetbrains, но это не про обучение вроде как
D
А Colab Pro в России можно получить?)
SD
да, добавь цифру к индексу просто
SD
или убери, я не помню уже
AN
Ммм, я через американский впн и виртуальную карточку все регал
AW
AW
Хз, у меня все с РФ завелось