A
Обычно градиент по theta, которая задаёт вероятность действия, поэтому даже если награда дискретная, вероятности все сглаживпют
Size: a a a
2018 February 08
A
Статью не открывал, может там другая ситуация
DP
В классической policy gradient theorem (для стох политик) вроде не требуется дифференцируемость реворда вообще, насколько я знаю. И да, там хватает градиента по theta
EN
В Стэнфорде
P
Коллеги, мы в Стенфорде сегодня и отныне. Пожалуйста, welcome
AP
трансляция
AN
А можно презентацию в чат? Оно то вроде и неплохо видно, но pdf чётче будет.
AN
Почему-то в трансляции не видно видео.
AP
сек, тут дисконнект
AN
Уже поправилось
AP
сейчас возобновится
P
Решил прочитать еще раз статью Deterministic Policy Gradients и удивился, что в доказательстве DPG теоремы требуется непрерывность функции награды r(s, a) и ее градиента dr/da (http://proceedings.mlr.press/v32/silver14-supp.pdf -- тут док-во теоремы в пункте B, условия A1).
На практике ведь встречаются задачи с непрерывным пространством действий, где функция наград не непрерывна? Типа, например, нужно руку робота в какую-то область загнать и награда бинарная (в области или нет).
Может ли кто-то из людей, у которых есть опыт в continuous action spaces поделиться, норм (D)DPG работает в таких случаях или действительно начинает лажать? Или на практике наоборот пытаются сделать непрерывный и дифференцируемый реворд (типа расстояния до области в вышеприведенном примере)?
На практике ведь встречаются задачи с непрерывным пространством действий, где функция наград не непрерывна? Типа, например, нужно руку робота в какую-то область загнать и награда бинарная (в области или нет).
Может ли кто-то из людей, у которых есть опыт в continuous action spaces поделиться, норм (D)DPG работает в таких случаях или действительно начинает лажать? Или на практике наоборот пытаются сделать непрерывный и дифференцируемый реворд (типа расстояния до области в вышеприведенном примере)?
Если у тебя есть непрерывный и дифференцируемый reward, ты на коне. К этому надо стремится всеми силами, потому что оптимизационная задача гораздо проще.
Большинство сложностей в RL из-за того, что награда дискретна.
Большинство сложностей в RL из-за того, что награда дискретна.
АС
Всё-таки чтобы совсем быть на коне, нужна ещё дифференцируемая модель среды
P
Артём С
Всё-таки чтобы совсем быть на коне, нужна ещё дифференцируемая модель среды
Да. Если она есть, то задача сводится к оптимизации дифференцируемого функционала без необходимости взаимодействия со средой.
Если модель среды и наград известна, но недифференциируема, то задача сводится к планированию и методы ее решения, строго говоря, сильно отличаются.
Однако, можно быть на коне и в случае, когда известна дифференциируемая оценка глобальной полезности действия (Q-function). В этом случае модель среды не нужна. И это случай DPG.
Если модель среды и наград известна, но недифференциируема, то задача сводится к планированию и методы ее решения, строго говоря, сильно отличаются.
Однако, можно быть на коне и в случае, когда известна дифференциируемая оценка глобальной полезности действия (Q-function). В этом случае модель среды не нужна. И это случай DPG.
P
Обычно градиент по theta, которая задаёт вероятность действия, поэтому даже если награда дискретная, вероятности все сглаживпют
Вероятности действий не имеют общего с гладкостью наград по действиям. Оптимизация происходит по параметрам вероятностного распределения. Но оптимизируется все таки награда.
И если у тебя dr / da это ноль почти всюду, то da / d\theta не имеет значения.
И если у тебя dr / da это ноль почти всюду, то da / d\theta не имеет значения.
2018 February 14
AP
Ребята, а есть какие-то советы о ситуациях когда например из двух актуаторов один сильно инертный? То есть агент должен долго давить на него, чтобы что-то начало происходить, например управление рулем и педалью газа, машина не нужно время на переключение передачи и прочее из-за этого возникает задержка
АК
Всем привет!
Завтра, в ШАДе, Стенфорд
В 19:00
Мы послушаем доклад Евгения Голикова про популярный нынче Meta-learning в статьях
"Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks" https://arxiv.org/pdf/1703.03400.pdf
"Some Considerations on Learning to Explore via Meta-Reinforcement Learning" https://openreview.net/pdf?id=Skk3Jm96W
Завтра, в ШАДе, Стенфорд
В 19:00
Мы послушаем доклад Евгения Голикова про популярный нынче Meta-learning в статьях
"Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks" https://arxiv.org/pdf/1703.03400.pdf
"Some Considerations on Learning to Explore via Meta-Reinforcement Learning" https://openreview.net/pdf?id=Skk3Jm96W
АК
Регистрация на семинар по ссылке:
https://goo.gl/forms/n8ueMHhbv4nsIUm52
Не забудьте зарегистрироваться до вечера сегодняшнего дня, если хотите прийти!
https://goo.gl/forms/n8ueMHhbv4nsIUm52
Не забудьте зарегистрироваться до вечера сегодняшнего дня, если хотите прийти!
📒
хмм почему в "Some Considerations on Learning to Explore via Meta-Reinforcement Learning" они в E-RL^2 вместо RNN не использовали SNAIL/Transformer