📒
то есть там нужно в реплей бафер сохранять всю policy
Size: a a a
2018 September 04
📒
потом вытаскивать old_policy.gather(1, old_action)
📒
кажется само удобно чтобы модель просто отдавала объект класса policy, а у него были методы .sample и .log_prob так уже в пайторче сделано же
2018 September 05
MY
А какие есть игры двух игроков с небольшим, но интересным скрытым состоянием? Хороший пример — покер, где скрытое состояние — карты противника. Не очень хороший пример — итеративная дилемма заключённого, скрытое состояение — стратегия оппонента (не очень). Ещё в голову приходят слепые крестики-нолики. Ещё есть игры с «туманом войны».
AM
Морской бой?
MY
Спасибо! Кажется, что морской бой это на самом деле две игры: придумать расстановку и придумать аттаку.
2018 September 09
NB
Очко (блэк джек)? Мне кажется, что в морском бое есть оптимальная расстановка: крупные по краям, а одноклеточные в центре случайным образом.
MY
Спасибо, Николай.
DM
Nikolay Bazenkov
Очко (блэк джек)? Мне кажется, что в морском бое есть оптимальная расстановка: крупные по краям, а одноклеточные в центре случайным образом.
вроде если один в центре. обоснование: максимизируем мат ожидание попадания в корабль при условии, что противник знает стратегию.
AM
Nikolay Bazenkov
Очко (блэк джек)? Мне кажется, что в морском бое есть оптимальная расстановка: крупные по краям, а одноклеточные в центре случайным образом.
Оптимальная расстановка должна быть какой-то рандомизированной, наверное
NB
вроде если один в центре. обоснование: максимизируем мат ожидание попадания в корабль при условии, что противник знает стратегию.
Да, наверное, один в центре (случайное поле). Должно остаться максимальное число пустых клеток, если убить все другие корабли.
DM
Оптимальная расстановка должна быть какой-то рандомизированной, наверное
по сравнению с совсем рандомизированной один корабль в центре увеличивает мат ожидание выстрелов противника, если он знает твою стратегию. не считал, но где-то прочел и поверил наслово.
но возможно есть стратегия лучше, что противник ее знает и все равно expectation еще выше. скорее всего нет, я верю, что один корабль - оптимальная, но доказательств я не видел.
но возможно есть стратегия лучше, что противник ее знает и все равно expectation еще выше. скорее всего нет, я верю, что один корабль - оптимальная, но доказательств я не видел.
DM
с одним кораблем есть еще cheat trick, когда ты его просто не ставишь и делаешь вид, что противник промахивается ))
AP
Если для одного корабля в центре в среднем требуется n / 2 выстрелов, где n — число центральных полей, то для двух / трех / четрых уже матожидание максимума (как я понимаю), то есть 2n/3, 3n/4, 4n/5.
Кажется, что это явно окупает те несколько дополнительных выстрелов на краю, так что один корабль — явно не оптимальная стратегия.
Кажется, что это явно окупает те несколько дополнительных выстрелов на краю, так что один корабль — явно не оптимальная стратегия.
AP
К сожалению, они там не независимы (в том плане, что вместе с кораблем умирает и окрестность, так что матожидание максимума неправильный ответ, например), так что честно оценить все сложно, и возможно большие стоит "детерминировано" ставить на край, чтобы уменьшить их окрестности. Но в любом случае стратегия должна выглядеть как распределение на всех возможных расстановках, скорее всего не равномерное.
2018 September 13
SK
очень топовый обзор на max entropy rl by Levine:
https://arxiv.org/abs/1805.00909
байесовский катарсис, да и вообще тема огонь
PS. надо бы обновить papers за полгода
https://arxiv.org/abs/1805.00909
байесовский катарсис, да и вообще тема огонь
PS. надо бы обновить papers за полгода
2018 September 14
AR
Вкладка papers to discuss же? Я правильно понял, что всего два человека докладывались оттуда?
MY
(Все) Policy Gradients в одном месте: https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html