я про сиды

Вовсе нет. Нейросети (без dropout) детерминистичны, то есть определяются входом и весами. Веса инициализируются псевдослучайными числами, то есть полностью определяются сидом. Dropout определяется им же. В алгоритме оптимизации тоже все детерминистично - градиенты посчитали, шагнули. Случайность может вылезти из-за параллелизма, когда несколько потоков работают и генерят нам данные скажем, там сложнее. В остальных случаях, если зафиксировать все сиды, то при идентичном коде, результат совпадет.

Всем привет, никак не могу въехать, если у нас нет конца игры, как награждаем/наказываем агента, просто копия реворд?

Копится*

Если использовать дисконтирование и реворды ограничены, то можно прикинуть, когда обрывать накопление награды

Ограничься каким-то количеством шагов

То есть с некоторого времени перестать награждать?

А наказывать продолжить?

Перезапускай эпизод

А если мне надо чтобы агент оставался на месте если его положение "хорошее"

?

Или перезапустить эпизод с прошлой позиции

Чем trust region policy optimization / proximal policy optimization лучше чем policy gradients? Я правильно понимаю, что они требуют меньше симуляций?

В TRPO у тебя примерно монотонно возрастает значение функционала

В то время как в обычном PG / Actor-Critic политика может произвольно сильно изменяться

Из-за слишком большой дисперсии градиента политики?

То-есть верно ли, что если градиент политики аштрисет, TRPO покажет лучший результат?

В TRPO накладывается ограничение, чтобы KL(policy_{t-1} | policy_t) был не очень большой (то есть хотим чтобы распределение менялось не сильно)

В классических PG методах такого требования нет вроде

Я понимаю теорию, я не понимаю в каких случаях на практике лучше использовать TRPO/PPO, а в каких A2C

Я это к тому что в статье про learning transferable architectures with NAS используют PPO, а в статье про ENAS уже обычный REINFORCE. Хочется понять, чем руководствовались при выборе метода оптимизации