EG
Так это ж POMDP. Мы не знаем, что замышляют противиники, то есть, не знаем их стейт
Size: a a a
2018 January 24
AG
да, мне тоже кажется, что это всё примеры POMDP
AG
надо чтобы стейт противника был известен в момент принятия решения
AG
Ну про MDP уже сказали, что там всегда есть детерминированная оптимальная policy
P
Например когда мы играем против противника, который адаптируется к нашему поведению, то о нем известно что он определит и отконтрит нашу политику, при этом знания о нем будут даны, это же тогда mdp?
Если противник известен, можно ли считать его частью среды?
AP
Да, я это и имею в виду, что например известен алгоритм его функционирования, например он всегда запоминает куда мы в последний раз побежали и пытается там нас поймать
AP
Тогда нам надо бежать каждый раз по новому
AP
То есть это не полноценный агент, а какой-то очень простой и мы знаем как он работает
AG
а это разве MDP? ну то есть здесь получается, что наше состояние зависит не только от предыдущего, разве нет?
EG
Ну, можно свести к MDP, если "состоянием" считать историю состояний
AG
ну для таких "состояний" и стратегия будет детерминированная в том плане, что мы будем выбирать новое место
AG
Ну точнее это как раз тот случай, когда наша стохастическая — это смесь детерминированных
AG
и по сути может быть детерминированной
AP
Ну а если нам известно о противнике что он всегда определит нашу детерминированность и использует это в свою пользу?
AP
Тогда это pomdp?
AP
Или тогда это mdp, когда вся история - это наш стейт?
AG
Ну а если нам известно о противнике что он всегда определит нашу детерминированность и использует это в свою пользу?
мы близки к парадоксу
AG
потому что с одной стороны мы знаем что думает противник и всегда можем пойти туда куда он не думает, что мы пойдем
AG
с другой стороны противник всегда может угадать куда мы пойдем
AG
что-то не сходится)