Скорее да

Спасибо

А встречал ли кто-нибудь работы по RL для слуачая, когда распределение на награды не имеет первого момента? Distributional не в счет.

А откуда такое берется?

Ребята, помогите разобраться. В статье про Imagination в RL (https://arxiv.org/pdf/1707.06203.pdf) пишут что при обучении Environment Model использовалась Bernoulli cross-entropy loss (стр 14, пункт B.2). Но на выходе у Environment Model пиксели, того же размера что и на входе. Как можно пиксели сравнивать через cross-entropy я что-то никак не вкурю. Сделал там MSE, вроде работает, но все равно червячок сомнения не дает спать спокойно. Может я туплю, и надо по другому учить?

может там можно классифицировать каждый пиксел? тогда можно использовать кросс-энтропию

в мини пакмане там можно по идее

хмм я когда реализацию делал тоже mse использовал, даже не заметил этот пункт, кстати ты когда блоки в EnvModel делал повторил так же как в статье? просто у меня там что то с размерами сверток не совпало, и я упрощенную для мини пакмана сделал

В смысле, возвращать не яркость, а распределение вероятности для класса цвета пикселя? Вроде так еще хуже с размерностями и сходимостью должно выходить. У меня в атари и так 84*84*2=14k чисел на выходе.

Я делаю 1-в-1 модель из Sokoban, но на Breakout, все совпало.

Вот она: https://github.com/PacktPublishing/Practical-Deep-Reinforcement-Learning/blob/master/ch17/lib/i2a.py#L16

в сокобане там всего 7 разных пикселей походу они как отметил @Parilo классифицировали

и на рисунке роллаутов это тоже заметно

Понятно, спасибо. Успокоили :)

https://mltrain.cc/wp-content/uploads/2017/10/sebastien-racaniere.pdf

Вот есть какие-то слайды с кодом. Там softmax cross entropy.

где?

только distill loss вроде, про EnvModel не сказано

Всё так, сорян

Distill loss не интересно. В статье даже формула зачем-то выписана :)