Всем привет!
В этот четверг на семинаре выступит Алексей Гринчук

Семинар будет посвящён maximum entropy RL и variational inference. Планируется разобрать две статьи: Soft Actor-Critic и Latent Space Policies for Hierarchical RL. SAC мы уже пытались разбирать, однако за прошедшее время изменилось несколько вещей:
1.Сильно изменился текст статьи на arxiv и авторская реализация алгоритма
2.Было проведено много экспериментов и разобраны некоторые тонкости реализации
3.Появилось понимание почему это круто и как можно сделать ещё круче
Кроме того, будет разобран follow-up с variational inference и hierarchical policies, в котором обсуждаются:
1. Как сформулировать задачу нахождения оптимальной политики при помощи графических моделей
2. Как и зачем строить многоуровневые иерархии политик

Место и время те же:
ШАД, ауд Стенфорд
Четверг, 19:00

Если у вас нет пропуска, не забудьте зарегистрироваться по ссылке до утра четверга :
https://docs.google.com/forms/d/e/1FAIpQLSd18PGkZuOqkWThJhmNxnmiSVFicnH4YwLVTCOkEkVQV6ZIDg/viewform

Приходите, будет интересно!

Кто-нибудь может посоветовать простренькую среду РЛ с дискретными действиями и состоянием среды - картинкой, чтобы можно было сделать нормальный начальный эксплорейшн случайным выбором действий?

простенький лабиринт мб?

kung fu / space invaders?
с картинкой, с дискретными, но прямо чтобы простенькие.....ну, не совсем сложные 🙂

Крестики-нолики?

А змейка?

Вот
Это наверное самое гуд
Спасибо)

Напоминаю, что если вы хотите прийти на семинар, но у вас нет пропуска в ШАД, то вам нужно зарегистрироваться по ссылке до 10 утра завтра

а что делать после регистрации? Как пройти без пропуска?

Говоришь охраннику на КПП что ты туда-то и туда-то, и если спросит показываешь паспорт

Ок, спасибо

А будет ли трансляция/запись?

Я мог бы на телефон записать, но это боль

Трансляция будет

Спасибо, добрый человек

Видно/слышно?

Да

Скиньте плиз почитать про гумбелевскую релаксацию, я не смог даже нагуглить, что это 😁