GZ
Мыш кродёться?
Size: a a a
2018 September 03
AR
Колендарь переворачиваеться?
SK
товарищи, а есть какие личные заметки/эксперименты/прочее по https://arxiv.org/abs/1808.04355?
AG
как раз сегодня открыл эту статью, чтобы поисследовать на днях)
2018 September 04
VB
Сейчас я задам, наверное, слегда странный вопрос, но в каком-либо алгоритме RL используется ли policy сама по себе?
Я сейчас делаю для себя простенький интерфейс для RL моделей и заметил, что либо нужно действие сэмплируемое из policy, либо log p(action|policy, state), а policy сама по себе как "приватная переменная/метод" выступает.
Я сейчас делаю для себя простенький интерфейс для RL моделей и заметил, что либо нужно действие сэмплируемое из policy, либо log p(action|policy, state), а policy сама по себе как "приватная переменная/метод" выступает.
АС
Что такое "сама policy"?
VB
К примеру, для дискретных действий — вектор вероятностей действия, а для непрерывных — (\mu, \sigma).
TK
Ну ты же используешь логарифм полиси ( как выше написал )
АС
Вообще, политикой обычно называют само распределение на следующее действие при условии текущего состояния
АС
И policy gradients методы используют её напрямую
VB
Поставлю по-другому вопрос, используется ли это распределение кроме как для расчёта log-policy члена для loss функции?
SK
а actions откуда?
АС
В off-policy методах используется
VB
Артём С
В off-policy методах используется
Для importance sampling?
АС
Ага
VB
Короче, если у обёртки для модели будет два метода:
то этого хватит для всего?
Ведь для IS нужно знать log_policy старое и новое, сама policy как распределение не особо важна.
.sample_action(state):
.log_policy(state, action):
то этого хватит для всего?
Ведь для IS нужно знать log_policy старое и новое, сама policy как распределение не особо важна.
IC
Еще бывает кроссэнтропийный регурялизатор.
АС
В Q-prop'е, например, нужно уметь считать E[a] по политике
VB
О, спасибо! :) А есть ещё примеры?
📒
Короче, если у обёртки для модели будет два метода:
то этого хватит для всего?
Ведь для IS нужно знать log_policy старое и новое, сама policy как распределение не особо важна.
.sample_action(state):
.log_policy(state, action):
то этого хватит для всего?
Ведь для IS нужно знать log_policy старое и новое, сама policy как распределение не особо важна.
в acer и retrace (policy/old_policy) * log_policy считается