K
Да. При регуляризации — это лосс плюс штраф
Size: a a a
2021 January 18
K
Разумеется, он не обязан быть MSE везде и всегда
ЕО
Но ведь функцию потерь можно выбирать исходя из нужд. От сюда и вопрос... используется всегда RSS или та, которую мы выбираем для задачи...? Например MAE.
K
Если «выбранный вами лосс + регуляризатор» можно/удобно оптимизировать, то пожалуйста
SS
для решения нам нужно смотреть метрики качества, но не все метрики качества аналитически поддерживаются в модели, поэтому вместо них для оптимизации используются дифферинцируемые функции потерь, причем их выбор на самом деле невелик
SS
мае, кстати, недиф
K
В принципе МАЕ же субградиентными методами можно оптимизировать напрямую
ЕО
То есть Если я выбрал функцию потерь(например MAE)... и использую регуляризацию, то она автоматически подхватывает эту функцию потерь и добавляет к ней регуляризационый параметр? Я запутался, так что мои слова могут казаться бредовыми. Извиняюсь за отнятое время и спасибо за помощь!
K
Если вам это удобно будет оптимизировать, то да. Просто МАЕ в мл зачастую напрямую не оптимизируют, а заменяют более «удобными» функционалами — по типу Хьюбера, например
ЕО
То есть если мы планируем использовать регуляризацию, то лучше выбрать дифференцируемую функцию потерь, верно? И от сюда вопрос, сам модуль регуляризации в sklearn'e... в нем вшита функция потерь, которую можем изменить или он подхватывает ранее выбранную функцию потерь?
SS
регуляризация - это не отдельный модуль, а часть функции потерь
K
В sklearn.linear_model вроде бы только мсе/логлосс доступны. Для других функционалов можно попробовать SGDRegressor/SGDClassifier
K
Sergey Salnikov
регуляризация - это не отдельный модуль, а часть функции потерь
+
ЕО
Спасибо большое!
ЕО
ЕО
Эта группа единственное место, где на банальные или глупые вопросы люди реагируют адекватно. Действительно помогаете!
AM
В sklearn.linear_model вроде бы только мсе/логлосс доступны. Для других функционалов можно попробовать SGDRegressor/SGDClassifier
Если я правильно понимаю, то градиентный спуск это SGDRegressor, а LinerRegressor считает через аналитическое решение.
K
Если я правильно понимаю, то градиентный спуск это SGDRegressor, а LinerRegressor считает через аналитическое решение.
ну в linear_model же может быть и логрег, а он аналитически не решается.
SS
там тоже какой-то итерационный