АР
Во многих науках типа психологии об этом даже не мечтают обычно
Size: a a a
2021 June 16
АР
Да, я вспомнил о таком из книжки по ml и у меня теперь когнитивный диссонанс с книжками о статистике
АР
Потому что статистически понятно, что возможный профит много меньше возможных упущений
A
И там не сказано, что это надо делать внутри цикла кросс-валидации или на отдельной выборке?
АР
Где именно?
A
В книжке
АР
Какой книжке о чем? Я про разные книжки с разными советами писал
A
Вот тут какая-то одна книжка упоминается
A
Непонятно, какая. Может, там чего недоговаривают
АР
Тут упоминаются 2 книжки. Гвидо и Мюллер по мл писали про одномерный отбор, вспомнил
A
Как я помню, это у них в том числе не на всем трейне делается
A
А так, как я описал. Иначе лик и оверфит
A
То есть методика для богатых, у кого данных хватает
АР
2) из того, что я знаю о регресиии (Табачник, к примеру) явно следует, что так делать не надо, ибо теряются эффекты супрессоров и относительно слабых, порознь незначимых, но значимых после контроля других переменных предикторрв
АР
Лика здесь вообще не усматриваю
A
Почему? Это чистый тюнинг под метрику на трейне
АР
Оверфит возможен, но с этим надо регуляризацией бороться
A
Если сначала отобрать признаки на всем трейне, а потом мерять качество на кросс-валидации, то вот он лик
АР
Лик - это использование данных, которые ты не будешь знать при переносе модели на новые данные. Где здесь лик?
DP
Берем 1000 переменных случайных. Какое-то колво из них чисто случайно разделит наши данные хорошо. Берем их и строим на них модель. На тех же данных.