У меня теперь куча ошибок вида
/root/cule/cule/atari/cuda/tables.hpp(42): error: name followed by "::" must be a class or namespace name

https://github.com/NVlabs/cule/issues/2  🤷‍♂️

О, починили

все равно сыровато, у меня не запустилось. А так хотелось, ну если не 4000 FPS, то хотя бы тысчонку вытянуть

посмотрим что на багрепорты ответят

ребят, а кто-то тут делал 9 домашку яндекса по PPO?
https://github.com/yandexdataschool/Practical_RL/blob/master/week09_policy_II/ppo.ipynb

уже пару дней пишу миниюниттесты, чтобы отловить у себя ошибки, но по прежнему реворда мало. В задании сказано, что нужно добиться 1500 для HalfCheetah-v2, у меня потолок - 20-25. Доходит до этого значения где-то за 100k итераций. Сейчас протестил, по-моему уже почти весь пайплайн (все шейпы, подсчёт GAE, подсчёт лосса для PPO) и на вид штука ходит на так уж плохо. Может быть как-то неправильно написал evaluate и считаю не тот реворд, что нужно?

Могут быть и другие ошибки, конечно. Но эту по крайней мере должно быть просто исправить.

UPD: нужно было убрать нормализацию реворда в эвалюации.

Пример того, как ходит

реворд просто суммирую до тех пор, пока не увижу done

Уважаемые коллеги,

Многие из вас уже слышали, что с 26 августа по 6 сентября в Сколтехе пройдет летняя школа по машинному обучению.

В рамках школы мы также проведем Community Day - своего рода День открытых дверей для всех, кто интересуется темой машинного обучения, см.

https://mlss2019.skoltech.ru/community-day

Несколько важных фактов:

- Community Day пройдет 31 августа в Сколтехе, мероприятие бесплатное и открыто для всех, кто интересуется темой машинного обучения.

- Это мероприятие соберет представителей топовых организаций со всего мира

- У нас запланирована богатая и интенсивная программа на день: от лекций и воркшопов до открытых дискуссий и дружеской встречи вечером

- Темы презентаций включают: обучение с подкреплением и его приложения, машинное обучение и квантовые вычисления, генеративные модели, обработка естественного языка, автоматический поиск архитектур нейронных сетей, машинное обучение для прогнозирования финансовых рисков на фондовом рынке, и др.

- У вас будет возможность не только узнать о новых исследованиях в области машинного обучения, но и завести полезные знакомства.

Регистрация уже открыта, и мы просим вас заранее зарегистрироваться по ссылке

https://mlss2019.skoltech.ru/community-day

чтобы мы вас точно ждали:)

Регистрируйтесь и делитесь этим письмом со своими коллегами, друзьями и студентами - мы будем рады видеть всех вас!

а почему не привести оригинальную ссылку?

Привет!

А кто-то продолжает офлайн встречи RL reading club с разбором статей?

Кажется все подзатихло и нужно самому выступать, чтобы собраться.

Я не готова выступить, тк слабо шарю в RL.
Но я могу помочь всем сорганизоваться )

Статьи можно посмотреть в канале https://t.me/rlpapers

Кто проголосовал "я готов выступить" — пишите мне. Вы нам нужны! Обсудим :)

@dudevil Сереж, а ты в ШАДе мог бы организовать встречу? Или где-нибудь в Яндексе?)