Size: a a a

RL reading group

2019 July 24

C

Constantine in RL reading group
Anton Pechenko
@lightcaster обучаемый симулятор не пробовали? Для самоездящих машинок это конечно довольно сложно, но для ходящих роботов есть вот такая статья https://arxiv.org/abs/1901.08652 неплохая
обучаемый симулятор это что? дифференцируемая среда? это было бы круто, но я таких не видел для наших задач. если просто обучать RL'ем в симуляторе и переносить, да, это пробуем.
источник

AP

Anton Pechenko in RL reading group
Нет, не обязательно дифференцируемый, просто за счёт обучения он ближе к реальности
источник

AP

Anton Pechenko in RL reading group
В статье как раз хороший пример этого. Но он не для вижна, а для динамики робота
источник

C

Constantine in RL reading group
да, я понял. не очень понятно на сколько sim2real у них этот стабильный. все что я пробовал пока - плохо работает. может дело как раз в том, что в реальном мире персепшн сильно другой, чем в симуляции.
источник

C

Constantine in RL reading group
но статья - топовая, спасибо.
источник

AP

Anton Pechenko in RL reading group
Они пишут что удалось сделать круче чем стандартное решение через дифуры (ну или как там эти шагающие роботы работают)
источник

C

Constantine in RL reading group
да, классический контрол и оптимизацию для таких штук сложно делать. boston dynamics пробует, но по-мне это  тупиковый путь. попробую адаптировать то, что они делали. тем более с одним из авторов контакт есть :)
источник
2019 July 25

AG

Aleksey Grinchuk in RL reading group
источник
2019 July 27

AG

Aleksey Grinchuk in RL reading group
https://news.developer.nvidia.com/new-open-source-gpu-accelerated-atari-emulator-for-reinforcement-learning-now-available/

Порт Arcade Learning Environment на куду. Те, у кого нет кучи CPU чтоб гонять толпы агентов, могут делать это на одной GPU.
источник

A

Alexander O in RL reading group
там показывает FPS >4000 на gpu, а сколько на одном cpu? может там не cost effective решение получается. Хотя конечно обучать в один поток удобнее, чем при распараллеливании.
источник

DN

Dmitry Nikulin in RL reading group
Я всё ещё настаиваю на том, чтобы писать stable baselines рядом с baselines
источник

RS

Rinat Shigapov in RL reading group
Constantine
да, классический контрол и оптимизацию для таких штук сложно делать. boston dynamics пробует, но по-мне это  тупиковый путь. попробую адаптировать то, что они делали. тем более с одним из авторов контакт есть :)
Почему тупиковый?

Классический контрол - это то, что называется funnel control?
источник

SS

Sergey Sviridov in RL reading group
это то что называется optimal control
источник
2019 July 28

SK

Sergey Kolesnikov in RL reading group
Dmitry Nikulin
Я всё ещё настаиваю на том, чтобы писать stable baselines рядом с baselines
но ведь так и есть
источник

DN

Dmitry Nikulin in RL reading group
Sergey Kolesnikov
но ведь так и есть
А, я на картинку в телеге посмотрел, сорри
источник

DN

Dmitry Nikulin in RL reading group
Обновил превьюшку
источник

S

Shmuma in RL reading group
Aleksey Grinchuk
https://news.developer.nvidia.com/new-open-source-gpu-accelerated-atari-emulator-for-reinforcement-learning-now-available/

Порт Arcade Learning Environment на куду. Те, у кого нет кучи CPU чтоб гонять толпы агентов, могут делать это на одной GPU.
Идея великолепная (сам ее вынашиваю почти год), вот только в репозиторий процентов 90 кода не доложили. Не может полный эмулятор атари состоять из десяти кб исходников.
источник

S

Shmuma in RL reading group
Вот, например, для сравнения, мой далеко еще недописанный эмулятор для pic32 https://github.com/Shmuma/basic-badge/tree/atari/firmware/badge1.X/src/atari
источник

DN

Dmitry Nikulin in RL reading group
Shmuma
Идея великолепная (сам ее вынашиваю почти год), вот только в репозиторий процентов 90 кода не доложили. Не может полный эмулятор атари состоять из десяти кб исходников.
Ага, я там ишью про это зарепортил
источник
2019 July 30

S

Shmuma in RL reading group
Dmitry Nikulin
Ага, я там ишью про это зарепортил
Доложили файлов, теперь и смотреть можно.
источник