Стиль будет таким, как в именно в обучающей выборке, можно тренировать вообще без validation, т.к. последнее - заточка нейросети под "численно правильные" ответы. Что к стилю и массивам текстов слабо применимо.
Я тренировал на Толстом. Чем дольше обучаешь, тем больше "первоисточника" в выдаваемом. Через 4000 шагов обучения начал вообще плотно сыпать прямыми цитатами из текста.
Забавным образом, сберовцы встроили в обучение проверку промежуточных результатов в виде генерации на основе своей (и OpenAI) любимой фразы "Бразильские ученые открыли редкий вид карликовых единорогов, обитающих на западе Ютландии". Она начинает записываться в лог кажется с момента когда оценочная функция (забыл название) меньше 3. Я сделал, чтобы писала сразу. Оцените, как "проступает Толстой".
step 0
Бразильские ученые открыли редкий вид карликовых единорогов, обитающих на западе Ютландии, — в граничащей с Данией области Хольстебро, сообщает сайт BBC News. Ранее единственным видом карликового единорога был обитающий на юге Исландии низкорослый единорог, он считается подвидом местного вида — Valatogelige Fjordogtsfjordelig. Ученые сумели обнаружить среди десятков обитателей региона еще один, ранее неизвестный вид, который так и не был описан в научных книгах. Единороги были обнаружены в дикой природе в 2013 году. Тогда трехмесячный детеныш одной из самок был найден на пляже возле деревни Одда, где и велись наблюдения. Двум мальчикам удалось поймать и доставить в зоопарк Дании мать малыша. В ходе изучения ДНК было установлено, что малыш является единственным потомком дикого единороги на земле.
step 1,400
Бразильские ученые открыли редкий вид карликовых единорогов, обитающих на западе Ютландии. Раза два в год они возбуждают удивление всего света своим необычайным ростом и силой, – так же, как и медведем, который раз в семь больше медведя, и который живет 30 лет.
Но эти единороги не только не угрожают существованию нынешнего человечества, но на угрожающие действия своей разрушительной деятельностью не способны.
Единственное средство против них есть строгое наблюдение над их половым сближением и исключительное внимание к их физиологическим особенностям.
Единственное средство против единорогов есть строгое наблюдение над условиями их жизни в неволе, и наблюдения эти должны быть непрерывны.
Берегитесь, чтобы не быть захваченным этими единорогами! Они – ваши ближайшие.pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad..pad
step 1,500
Бразильские ученые открыли редкий вид карликовых единорогов, обитающих на западе Ютландии, - огромных, плоских, игреневых, серых с белым лбом и гривой, грациозно-звенящих рогов. Этот вид был открыт случайно во время охоты одного из немецких охотников. Введенный в заблуждение этим открытием, немец, желая отделаться от преследования, предложил за 2 тысячи рублей пари охотнику, стоявшему на часах у его шалаша, что он, если найдет и съест хотя одну лошадь, то получит 2 тысячи. Охотник, взявший с собой собаку, поскакал. Немец выиграл пари, но только вследствие того, что, как оказалось впоследствии, он нашел не одну, а две лошади, которые, очевидно, и были те самые, которых он искал. В апреле месяце, граф
