Size: a a a

AI Cups Official

2020 December 25

AA

Artamonova A in AI Cups Official
Dmitriy Krylov
Имхо, но мне кажется, что тут РЛ лучше всего юзать для микро
я в реализации без мл дошла до управления группами юнитов + максимально простое и нересурсоемкое микро юнитов
думаю, в реализации с РЛ это тоже даст хороший результат
источник

AC

Anton Chikin in AI Cups Official
С помощью RL кмк будет достаточно сложно реализовать скоординированные действия нескольких юнитов
источник

DK

Dmitriy Krylov in AI Cups Official
Anton Chikin
С помощью RL кмк будет достаточно сложно реализовать скоординированные действия нескольких юнитов
Почему?
источник

S

SilentNox in AI Cups Official
Дмитрий Каштанов
И AlphaStar и вышеупомянутый SCC учились сначала человеческие игры возпроизводить. Потому что, с комбинаторными пространствами действий exploration за разумное время ничего не выдаст даже c огромными ресурсами.
Вон в OpenAI учили ботов играть в Dota2 полностью с нуля, без реплеев. И у них довольно неплохо это получилось. Правда ресурсов было потрачено очень немало.
источник

DK

Dmitriy Krylov in AI Cups Official
SilentNox
Вон в OpenAI учили ботов играть в Dota2 полностью с нуля, без реплеев. И у них довольно неплохо это получилось. Правда ресурсов было потрачено очень немало.
Очень немало - это мягко сказано
источник

DK

Dmitriy Krylov in AI Cups Official
Плюс ещё человекочасы для всего остального
источник

AY

Alexey Yurkov in AI Cups Official
Dmitriy Krylov
Почему?
Правильно я понял, вы планируете сделать нейронку для раика с RL? и можно с вами как-то поучаствовать? У меня совсем нет опыта в нейронках, но я бы хотел изучить именно RL. Только вот не понял как это будет происходить: вы можете научить или расшарить ваши наработки потом и помочь с ответами на "тупые" вопросы по теме.
источник

AC

Anton Chikin in AI Cups Official
Dmitriy Krylov
Почему?
Предоставим, что будет на выходе у нейросети? Самое простое - для каждого юнита вернуть некоторое распределение над возможными действиями. Тогда все юниты будут ходить независимо от выбранных действий других юнитов. В AlphaStar выбранные действия для одних юнитов подаются итеративно на вход сети, чтобы рассчитать действия остальных юнитов.
источник

DK

Dmitriy Krylov in AI Cups Official
Anton Chikin
Предоставим, что будет на выходе у нейросети? Самое простое - для каждого юнита вернуть некоторое распределение над возможными действиями. Тогда все юниты будут ходить независимо от выбранных действий других юнитов. В AlphaStar выбранные действия для одних юнитов подаются итеративно на вход сети, чтобы рассчитать действия остальных юнитов.
Так подожди, а что тебе мешает подавать на вход тензор [Nx10x10], где N - кол-во твоих юнитов, а в кач-ве аутпута N векторов, где каждый задаёт позицию куда идти, если в этой позиции есть юнит то его атаковать
источник

S

SilentNox in AI Cups Official
Dmitriy Krylov
Так подожди, а что тебе мешает подавать на вход тензор [Nx10x10], где N - кол-во твоих юнитов, а в кач-ве аутпута N векторов, где каждый задаёт позицию куда идти, если в этой позиции есть юнит то его атаковать
Это слишком долго будет обучаться.
источник

DK

Dmitriy Krylov in AI Cups Official
SilentNox
Это слишком долго будет обучаться.
Можно начать с чего-то простого, научиться микрить одним юнитом
источник

S

SilentNox in AI Cups Official
Dmitriy Krylov
Можно начать с чего-то простого, научиться микрить одним юнитом
Ну это можно, например подавать на вход матрицу 5х5 ближайших клеток или что-то вроде того, а на выходе одно из пяти направлений движения.
источник

DK

Dmitriy Krylov in AI Cups Official
Alexey Yurkov
Правильно я понял, вы планируете сделать нейронку для раика с RL? и можно с вами как-то поучаствовать? У меня совсем нет опыта в нейронках, но я бы хотел изучить именно RL. Только вот не понял как это будет происходить: вы можете научить или расшарить ваши наработки потом и помочь с ответами на "тупые" вопросы по теме.
Нейронку сделать в этой задаче - это самое простое 0))
источник

DK

Dmitriy Krylov in AI Cups Official
SilentNox
Ну это можно, например подавать на вход матрицу 5х5 ближайших клеток или что-то вроде того, а на выходе одно из пяти направлений движения.
Да, я так и хотел, только 11×11
источник

AY

Alexey Yurkov in AI Cups Official
Dmitriy Krylov
Нейронку сделать в этой задаче - это самое простое 0))
на всякий случай спросил. давно уже хотел поизучать. тогда получается проще самому потихоньку почитать и начать делать.
источник

AC

Anton Chikin in AI Cups Official
Dmitriy Krylov
Так подожди, а что тебе мешает подавать на вход тензор [Nx10x10], где N - кол-во твоих юнитов, а в кач-ве аутпута N векторов, где каждый задаёт позицию куда идти, если в этой позиции есть юнит то его атаковать
Во, у тебя будет распределение действий для каждого юнита. Тебе сеть вернёт, что для юнита A1 можно отойти или атаковать и для юнита A2 можно отойти или атаковать. Но сеть ничего не скажет о том, что лучше или вместе отходить или вместе атаковать
источник

DK

Dmitriy Krylov in AI Cups Official
Для начала нужно написать код для environment, я написал простой скрипт, который запускает сервер, инициализирует стратегии, строит 5 юнитов и отсылает их в центр, после этого передает контроль нейронке, а вторая стратегия начинает атаковать
источник

S

SilentNox in AI Cups Official
Dmitriy Krylov
Да, я так и хотел, только 11×11
Это число надо будет домножить на количество вариантов содержимого клетки. У нас 10 типов сущностей, плюс две стороны, итого 20 входов на клетку.
источник

AA

Artamonova A in AI Cups Official
Anton Chikin
Во, у тебя будет распределение действий для каждого юнита. Тебе сеть вернёт, что для юнита A1 можно отойти или атаковать и для юнита A2 можно отойти или атаковать. Но сеть ничего не скажет о том, что лучше или вместе отходить или вместе атаковать
можно допустить, что сеть, зная о соседях оценит совокупную силу и атакует всеми юнитами или отойдет всем
источник

AC

Anton Chikin in AI Cups Official
Можно допустить, но в сложных средах есть много вариантов совместных действий
источник