АР
Я, кстати, на дерьмовых данных получал в линейной регрессии ситуацию, что один из предикторов значим при незначимом F для модели в целом
Size: a a a
2021 June 16
АР
Именно за счёт набитости модели переменными
A
Надо бы вообще от значимостей уходить в сторону оценки предсказательной способности на новых данных
АР
Имхо, спорный тезис
АР
Не во всякой науке доступно так много новых данных, чтобы оценка воспроизводимость результатов на них была сколько-то устойчивой
A
Этот фреймворк (с р-значениями) хорошо работает в хорошо спланированных и контролируемых экспериментах, когда план анализа написан до сбора данных
A
Иначе неизбежен р-value-hunting
АР
Я бы сказал, надо переходить от значимостей отдельных гипотез к проверке целостных комплексных моделей
A
Тогда и оценки коэффициентов такие же!
АР
Оценки коэффициентов в теории считаются с учётом погрешности, вызванной размером выборки
АР
А у кросс-проверки нет стандартной ошибки
A
С учетом погрешности считаются доверительные интервалы, а точечная оценка - она точечная и есть
АР
Проблемы с фейковыми р, насколько я понимаю, растут прежде всего от нарушений случайности набора выборки, во-вторых, от сомнительных исследовательских практик
DP
А это у них в коде? Из описания я понял как: мы делаем регрессию на каждкю переменных по очереди и берем те, что значимы. Далее засовываем значимые в новую модель
DP
Тип результат по качеству тот же, но становится понятнее, куда значимости уплывают.
A
Ну, неслучайность выборки вообще что угодно сломает, а для недобросовестных исследователей самая благодать в этом консенсусе бомбить данные тестами до победного
АР
Р-значение и доверительный - это два ракурса на одно и то же
АР
Р - это 1- максимальная доверительная вероятность того, что интервал не захватит 0
АР
Мне казалось, что наоборот. Видимо, неправильно прочёл. Но описанное вами - столь же, если не менее осмысленная процедура
АР
На то и множественная регрессия, чтобы давать значимость предикторам, неспособным показать значимость порознь