VA
что значит то же самое?
Size: a a a
2019 May 15
AC
Как минимум у тебя сила регуляризации от condition number зависит
A
В классификации картинок weight decay все еще используют, и он не эквивалентен L2 если оптимизатор с накоплением градиентов.
AC
Если ты правду говоришь
AC
В классификации картинок weight decay все еще используют, и он не эквивалентен L2 если оптимизатор с накоплением градиентов.
А, правда, я только сейчас заметил что в NLP разница
AC
Непонятно почему
VA
В классификации картинок weight decay все еще используют, и он не эквивалентен L2 если оптимизатор с накоплением градиентов.
Почему? Глянул сейчас реализацию adam-а в торче. Вроде бы WD до накопления добавляется
AC
Теоретических обоснований нет, насолько я понимаю
AC
На практике из соображений стабильности выгодно иметь веса вблизи нуля
A
weight decay — это отдельное уменьшение весов, не влияющее на градиенты, мы просто проходимся по ядрам сверток и полносвязных слоев и уменьшаем их.
Это реализовано в AdamW/SGDW
L2 — это слагаемое в лосс, оно повлияет на величину накоплений. Оказалось это вредно для Super-convergence (аля 1cycle)
Стандартный Adam — это L2
Это реализовано в AdamW/SGDW
L2 — это слагаемое в лосс, оно повлияет на величину накоплений. Оказалось это вредно для Super-convergence (аля 1cycle)
Стандартный Adam — это L2
AG
Из моих наблюдений, weight decay довольно вреден для RL. Adam без weight decay довольно быстро загонял норму некоторых слоёв в 100+ и соответствующая политика отлично работала. С добавлением weight decay стало учиться медленнее и асимптотически к худшей суммарной награде.
P
https://arxiv.org/abs/1812.02341 Тут вроде исползовали L2 weight penalty, кажется помогало
AG
Может у них там награды маленькие суммарно. У меня в cheetah они до 10000 могли доходить, что с дискаунтом 0.99 требовало Q-значения порядка 1000. Там точно некоторые веса должны были высоко уходить.
AG
L2 reg использовали в AlphaGo, но там и optimizer другой (SGD with momentum) и value function из [-1, 1]. Да и loss больше на supervised похож.
P
Если изменение f(s) = Q(s, -).mean() как функции по посещенным состояниям незначительно, то среднее Q должно бы уходить в bias и не сильно затрагивать градиенты.
AG
Разумно. Надо посмотреть на каких именно слоях у меня норма высоко улетала. Очень может быть что для biasов, я их тоже, кажется, рисовал :D
AZ
@rl_agent @norpadon @ipaulo Спасибо большое за ответы, мне был интересен именно MB RL когда обучается определенный environment dynamics типа robotics arm в виде s_{t+1} = f(s_t,a_t), по сути это вообще задача регрессии имеющая к Model-Free RL мало отношения. Вот поэтому я и удивился, что при решении supervised задачи регрессии не используется регуляризация.
SK
Разумно. Надо посмотреть на каких именно слоях у меня норма высоко улетала. Очень может быть что для biasов, я их тоже, кажется, рисовал :D
не пробовал просто value-head без L2?