AK
а тем временем уже 24 желающих сеток
Size: a a a
2020 November 25
HS
ребят, такой вот вопрос, а вот в этих ai cup конкурсах используются ли сторонние библиотеки?
O
Есть rl без ml, есть ml без rl
Они как то друг без друга возникли
AK
Hosan Sandropendro
ребят, такой вот вопрос, а вот в этих ai cup конкурсах используются ли сторонние библиотеки?
которые можно прислать вместе с исходниками - легко. Которые требуют установки - сложнее но есть шанс
С
Они как то друг без друга возникли
Rl без ml - это динамическое программирование?)
HS
а какие библиотеки для python в основном тут используют?
O
Rl без ml - это динамическое программирование?)
Я сам мало что в rl понимаю, но вроде как нет. Изначально некоторое количество алгоритмов сделали на математике просто, а теперь уже вместо табличек используют нейронки
KB
Rl без ml - это динамическое программирование?)
дп и с млем используется. рл без мл - это табулярный РЛ
k
2мс на 128->1024->512->256->10, но это без нормализаций и активаций
Ну это какая-то слишком большая сетка.
Она вообще влезет в лимиты по памяти?
Она вообще влезет в лимиты по памяти?
KB
может и увеличится но не сильно
давайте хотя бы 10мб. для участников, кто хочет сетки, будет приятно. 20мс на ход все равно не дадут сильно разгуляться
O
А зачем вы картинки меряете? Может сразу числа в нейронках перемалывать?
С
Я сам мало что в rl понимаю, но вроде как нет. Изначально некоторое количество алгоритмов сделали на математике просто, а теперь уже вместо табличек используют нейронки
Ну так таблички - это и есть dp, если все (state, action) перебирабельны
С
А зачем вы картинки меряете? Может сразу числа в нейронках перемалывать?
А это, наверное , пункт про "супермагию, которая сама все порешает"
AK
давайте хотя бы 10мб. для участников, кто хочет сетки, будет приятно. 20мс на ход все равно не дадут сильно разгуляться
Ну если учесть, что процент тех, кто этим воспользуется мал, то может не так страшно)
A
Ну это какая-то слишком большая сетка.
Она вообще влезет в лимиты по памяти?
Она вообще влезет в лимиты по памяти?
Да, полтора мегабайта
k
пойду перепроверю)
KB
Ну так таблички - это и есть dp, если все (state, action) перебирабельны
да, но дп там не обязательно. основное, ради чего прикручивают МЛ к РЛю - размерность стейтов огромная (или вообще не счетная). при этом большинство стейтов ты вообще посетить не можешь. поэтому с помощью МЛя ты пытаешься аппроксимировать свою оценку стейта/экшна
O
В rl микроскопические нейронки используются, о чем вы вообще?)
KB
а дп используется и в МЛьных РЛях, n-step TD, например
A
да, но дп там не обязательно. основное, ради чего прикручивают МЛ к РЛю - размерность стейтов огромная (или вообще не счетная). при этом большинство стейтов ты вообще посетить не можешь. поэтому с помощью МЛя ты пытаешься аппроксимировать свою оценку стейта/экшна
В AlphaZero использовалось Стохастическое дерево Монте-Карло