Привет. Я абсолютный нуб. Поигрался с word2vec на корпусе ruscorpora - там вроде +- понятно что происходит. Пытаюсь поиграть с ruGPT от Сбера. И естественно вообще ничего не понимаю.
Например вот этот первый блокнот.
https://github.com/sberbank-ai/ru-gpts/blob/master/examples/Finetune_RuGPTs_with_HF.ipynb В нем скачиваются файлы train.txt и valid.txt
В обучение передаются оба. Как валидируется модель по данным из файла valid - вообще непонятно. Если я захочу сделать файнтюнинг на своих данных - как готовить train и valid?
Есть где-то такая информация?
Может быть я рано полез в gpt ? Тогда куда сначала?