AG
так что всё ok)
Size: a a a
2018 January 24
C
веселый канал. надо почаще заглядывать ).
AP
У меня стек переполняется от таких рассуждений)
AP
А если вопрос поставить так: мы выдаём число, а противник - например рекуррентная сетка пытается его угадать, не будет ли тогда оптимальной стохастическая политика если мы знаем стейт сетки?
AP
Она же тоже будет под нас подстраиваться и стратегии в духе выдать предсказываемое сеткой число + 1 не пройдут. Но тут детерминированность тоже есть, мы детерменированно сэмплим из равномерного распределения
2018 January 25
P
Она же тоже будет под нас подстраиваться и стратегии в духе выдать предсказываемое сеткой число + 1 не пройдут. Но тут детерминированность тоже есть, мы детерменированно сэмплим из равномерного распределения
Я бы сказал, что это вариация игры камень-ножницы-бумага.
P
В многоруком бандите же детерминированная оптимальная, нет?
Может быть в нестационарном бандите? Где распределение ревордов постоянно меняется (но это не классическая RL постановка)
Может быть в нестационарном бандите? Где распределение ревордов постоянно меняется (но это не классическая RL постановка)
Нестационарный бандит это интересно. Кажется тут стохастичность вызвана исследованием среды, которое никогда не заканчивается.
P
Кто-нибудь знает, что считается SOTA в подобном нестационарном RL?
DP
Да и вообще в целом наверное можно обобщить до меняющейся динамики среды и реворда -- p_t(s' | s, a) и r_t(s, a)
AG
P
Коллеги, знаете ли вы какую-нибудь меру похожести двух тректорий?
АС
Цена optimal transport'а одной в другую (-:
LG
Например, расстояние до идеальной
СВ
Для любителей извращений можно mse
P
Артём С
Цена optimal transport'а одной в другую (-:
Это действительно интересно. Особенно учитывая, что стоимость перемещения задаётся достаточно естественно.
DP
А что такое "цена optimal transport'a"? Можно ссылочку?
AG
Я бы предполагал что-то подобное:
Пусть есть биекция f между кривыми, тогда
distance = минимум по таким биекциям \int || f(x) - x || dx, где интеграл берется вдоль траектории
Пусть есть биекция f между кривыми, тогда
distance = минимум по таким биекциям \int || f(x) - x || dx, где интеграл берется вдоль траектории
AG
довольно естественно
AG
ну да, в некотором роде похоже на метрику вассерштайна
АС
Оно и есть, да