Разработанный DееpMind алгоритм для игры в стратегию Starcraft 2 тестировали в реальных условиях летом. До этого ИИ уже разгромил двух сильнейших профессионалов, а теперь создатели решили проверить, как против него выступят «средние» игроки. Как передает VentureBeat, AlphaStar обыграл 99,8% игроков-людей и достиг высшего звания GrandMaster в таблицах за все три игровые расы (Протосс, Терран, Зерг), хотя люди обычно специализируются лишь на одной. Отчет о ходе эксперимента опубликован в журнале Nature.
StarCraft — комплексная игра с неполной информацией. По оценке MIT Tech Review, в каждый момент времени у игрока есть примерно 10^26 (100,000,000,000,000,000,000,000,000) вариантов действий. Дополнительную сложность накладывает то, что у каждой из рас есть свои особенности, таланты и ограничения. И универсальной стратегии победы нет. С момента релиза в 2010 году в StarCraft регулярно играли миллионы игроков-любителей и тысячи профессионалов.
AlphaStar обучался игре на протяжении 44 дней, за которые было создано около 900 отдельных сущностей-игроков, которые состязались друг с другом. Последние итерации стали сверхэффективными. Так, встроенный ИИ игры на уровне Elite в среднем достигает MMR-рейтинга в 3300 пунктов. AlphaStar Final получил MMR от 5835 до 6275 — в зависимости от расы. Предыдущая модель — AlphaStar Supervised — получила MMR в 3699, что лучше, чем у 84% игроков-людей.
В тестировании последних версий участвовал Дарио Вюнш (TLO) — один из профессионалов, которых AlphaStar обыграл в ходе демонстрационных матчей. «Несмотря на то, что стратегии AlphaStar иногда отличались от подхода профессиональных геймеров, в некоторых отношениях он играет во многом так же, как и я, — например, с задержкой замечая действия на карте… Интересно было наблюдать, как агент вырабатывает собственные стратегии, которые отличаются от решений игроков-людей. Например, в начале игры AlphaStar создает больше работников, чем его база может поддерживать, чтобы подготовиться к дальнейшему расширению. Ограничения на действия и на обзор камеры также способствуют тому, что игры выходят захватывающими — хотя я как профессионал все еще могу заметить некоторые слабые места системы», — говорит Дарио.
В DeepMind подчеркивают, что достижения ИИ в игровой вселенной имеют важное значение для развития ряда других алгоритмов. Например, из исследований игровых механик уже вырос алгоритм AlphaFold — предсказатель структуры белков после их самосборки, решающий одну из сложнейших задач многих биологических исследований.
