C
так там же есть теоремка, что для MDP всегда найдется оптимальная детерминированная стратегия
Size: a a a
2018 January 24
A
Видимо речь не про MDP. В теории игр этого много, помню задачку про две армии, которые выбирают, где напасть)
C
похоже на то
C
хотя в принципе может существовать оптимальная стохастическая стратегия, которая входит в множество оптимальных стратегий (где и обязательно существует детерминированная). но практического смысла в этом не вижу.
DP
@ipaulo А чем мотивирован вопрос?
DP
Если не секрет:)
P
Вот я пытаюсь понять, есть ли какие-то принципиально другие постановки с оптимальной стохастической политикой, которые не сводятся к POMDP.
Что ещё может требовать стохастичности кроме частичной наблюдаемости?
Что ещё может требовать стохастичности кроме частичной наблюдаемости?
c
Стохастичность среды / ревард функции?
P
хотя в принципе может существовать оптимальная стохастическая стратегия, которая входит в множество оптимальных стратегий (где и обязательно существует детерминированная). но практического смысла в этом не вижу.
Да, такое тоже может быть, если оптимальных детерминированных несколько, но я бы сказал это скорее вариация на "детерминированную тему"
P
В многоруком бандите же детерминированная оптимальная, нет?
Может быть в нестационарном бандите? Где распределение ревордов постоянно меняется (но это не классическая RL постановка)
Может быть в нестационарном бандите? Где распределение ревордов постоянно меняется (но это не классическая RL постановка)
Интересный вариант
EG
Может быть, transfer learning. Обучаем агента действовать на одной среде, а хотим, чтобы хорошо действовал в другой
P
Может быть, transfer learning. Обучаем агента действовать на одной среде, а хотим, чтобы хорошо действовал в другой
Поясни пожалуйста, откуда стохастичность оптимальной политики?
A
Может имелась в виду необходимость exploration в новой среде...
EG
Ну, мы же не знаем, какая будет новая среда. Поэтому оптимальная в старой стратегия не будет оптимальной в новой. Поэтому выгоднее будет принять стохастическую политику, чем использовать заведомо неоптимальную детерминированную
EG
Да, считаем, что у агента нет возможности обучиться в новой среде хоть сколько-нибудь
EG
Но есть какая-то оценка на "меру близости" двух сред
AG
Ну, мы же не знаем, какая будет новая среда. Поэтому оптимальная в старой стратегия не будет оптимальной в новой. Поэтому выгоднее будет принять стохастическую политику, чем использовать заведомо неоптимальную детерминированную
Ну вообще выглядит странно. Потому что тогда вообще непонятно, что там с оптимальными политиками
AG
Но есть какая-то оценка на "меру близости" двух сред
если есть оценка, то наверное как-то можно что-то придумать. Но мне кажется, что лучше просто рассматривать задачу наиболее быстрого обучения в новой среде
AG
и тогда это всё-таки вопрос про exploration
AG
а не про policy