Ученые видят в этом прорыв, потому что карты Dota 2 для ИИ оказываются гораздо сложнее, чем шахматы или Go. Информация об игре неполная, потому что большая часть игрового поля изначально скрыта от игроков. Поэтому нельзя просто пересчитать всевозможные варианты: они попросту не ограничиваются конечным числом квадратов на доске. Из-за такой сложности ученые считают, что ИИ в очередной раз приблизился к полноценному функционированию в реальном мире.
Также важное отличие Dota 2 от тех же шахмат в том, что это командная игра. В матче участвуют две команды по пять человек. Каждый член команды играет за героя со своей ролью, навыками и оружием. Взаимодействуя между собой, команда должна разрушить главное здание на вражеской базе. В этом случае игра считается выигранной. И сложность именно в правильном взаимодействии, построении долгосрочной стратегии и совместной борьбе с противником. Теперь ИИ научили справляться с этим.
В лаборатории в общих словах описали, что использовали техники машинного обучения, в частности обучение с подкреплением. Боты обучались методом проб и ошибок, а программисты лишь добавили функцию вознаграждения, по которой боты понимали, что делают что-то правильно и закрепляли этот сценарий. После игры повторяются снова и снова, чтобы закрепить самые успешные сценарии.
В компании говорят, что боты ежедневно в ускоренном режиме отыгрывали количество игр, эквивалентное 180 годам безостановочной человеческой игры. Боты стандартно начинали игру в случайном месте карты и прогрессировали, исследуя ее и набирая опыт.
Сооснователь и CTO OpenAI Грег Брокман говорит, что человеку, чтобы стать профессионалом требуется от 12 до 20 тысяч игровых часов. Выходит, что ежедневно ИИ играл такое количество игр, на которое у человека ушло бы 100 жизней.
Брокман говорит, что это достижение имеет две стороны. Можно увидеть в нем мощь, которой достигла вычислительная техника и методы обучения. За один день алгоритмы проживают сотни виртуальных лет. Но другая сторона в том, что по-прежнему алгоритмы очень ограничены. Он отмечает, что, если бы люди потратили тысячи лет только на обучение в одной киберспортивной дисциплине, то эволюция бы не ушла так далеко.
И несмотря на то, что ИИ побеждает человека во все более сложных играх, — они не перестают быть всего лишь играми. Их миры ограничены рамками игровой платформы, и даже при том, что Dota 2 сложнее шахмат, она совсем не близка по сложности к реальному миру. Вероятно, поэтому Маск, так боясь полноценного сильного ИИ, инвестирует в OpenAI и в развитие таких узких приложений. Это не противоречит его страхам, потому что не имеет отношения к реальной жизни и к тому самому восстанию машин, которого он боится.
