Плюс смущает что теоремы доказаны для eta=1, а наилучшие результаты у них с eta=1e-3

будем знать

Сорян

Всем привет! У меня вопрос к тем кто занимается Model-Based RL. Я смотрю сетки, которые тренируют в статьях, и почему-то нигде не вижу l2 регуляризации при обучении модели. Например, в этой статье
https://arxiv.org/pdf/1708.02596.pdf
ни в статье, ни в коде ни слова о регуляризации нет (ну вернее нет l2, по сути, как я понял они добавляют шум ко входу, что тоже можно считать регуляризацией).
Вопрос: Есть ли этому какие-то причины, почему так?
#mbrl #l2

А что такое переобучение в RL?

В нейросетях вообще почти никогда не используют l2 регуляризацию сейчас

Я не видел, чтобы даже сильно глубокие сети использовали, чтобы дропаут надо было использовать.

Да и вообще, у нас же как таковой выборки нет, под которую можно подогнаться.

Ну в model-based есть

На самом деле можно и на распределении задач учить RL алгоритм. И потом проверять на тестовой выборке.

У тебя в DQN так или иначе выборка тоже постоянно меняется.

Во-первых DQN не model based

Во-вторых, ты даже на бесконечно большой выборке можно переобучиться

Я тебя неправильно понял, всё. Что ты имеешь ввиду под model-based? Обучение на реплеях?

А вот тут поподробнее, если можно.

Model based это когда ты явно получаешь p(next state|state, action) и p(reward|state, action)

На реплеях это imitation learning.

У тебя распределение объектов, насемпленых во время обучения может иметь bias определенный

В RL на играх этого вроде не бывает, но в реальной жизни постоянно

Например если ты учишься на фото с телефонов, а применяешься на фото с DSLR, у тебя может упасть качество