A
Ага, спасибо 😊
Size: a a a
2021 June 11
NN
Установите английскую версию и познайте дзен на stackoverflow 😌
A
Не понял, в чем проблема
A
Правильная кросс-валидация делается не для высокого скора, а для корректной оценки скора на тесте
JS
надо ли делать внутри CV-итерации для трейн части - еще раз разбивку на фолды, что бы применить target-mean-encoding
проблема в том что если так делаю - скор хуже получается, как на CV так и на тесте (который модель не видела)
CV - честный, через пайплайны
проблема в том что если так делаю - скор хуже получается, как на CV так и на тесте (который модель не видела)
CV - честный, через пайплайны
A
А зачем mean target во вложенном ресемпле?
JS
правда это только на текущей задаче, там данным немного, и число строк в трейне и тесте одинаковое, может в этом дело
A
Для борьбы с чем его туда пихать?
JS
ну как бы что бы не было "target leakage", но думаю так надо делать если CV а ля у начинающих - когда данные заранее подготовленные, без пайплайнов
A
Это просто дополнительные обучаемые параметры
A
Так можно дойти до того, чтобы при гридсерче наворачивать дополнительный уровень вложенности для каждого гиперпараметра
JS
это понятно, вот и говорят - что обучать модель на енкоде от всего трейна - неправильно, модель переобучается, надо через фолды энкодить
JS
да, тоже верно...
A
Энкод же не от всего трейна, а от 4 из 5 фолдов или типа того
JS
ну да, но когда обучаем модель на всем трейне, перед финальным предиктом - там же енкод от всего трейна... а учат - через фолды
JS
но так скор меньше
A
Честно говоря, не понял, как можно учить энкод через фолды. Для 5-fold получить 5 энкодингов на 4 фолдах и каждым предсказать соответствующую 1/5 тестовую часть трейна?
A
Тогда скор меньше тупо из-за меньшего размера выборки для оценки параметров кодирования
A
Оценки менее точные, а лика тут никакого не будет в любом случае