Как нейросеть победила людей в StarCraft II?

Компьютерные игры — отличное испытательное поле для разработок в области нейронных сетей. Совсем недавно мы рассказывали про успехи ИИ AlphaGo, обыгравшего чемпиона мира по Го Ли Седоля. На этой победе успехи разработчиков из британской компании DeepMind не закончились. Сегодня мы расскажем о том, как нейросеть победила человечество в еще одной компьютерной игре — StarCraft II.

StarCraft II — компьютерная игра в жанре стратегии в реальном времени, продолжение первой части StarCraft. Добывая ресурсы, игрок получает средства для строительства зданий, которые могут производить боевые единицы и улучшать их. Главное назначение боевых единиц — добыча ресурсов и атака противника. Цель игрока — уничтожить все здания противника.

После победы ИИ над человеком в китайской игре Го, компания DeepMind занялась разработкой нового алгоритма, но уже для компьютерных игр. До этого компания создала несколько алгоритмов, которые научились играть в простые игры Atari. Новый искусственный интеллект получил название AlphaStar.

В отличие от шахмат и го, где игроки видят всё, в StarCraft II важная информация скрыта от игрока и может быть обнаружена лишь юнитом-разведчиком. Также в отличие от традиционной настольной игры, где игроки ходят по очереди, в StarCraft игроки должны выполнять действия в реальном времени. Сотни различных объектов нуждаются в управлении одновременно, что приводит ко множеству вариантов игры, не поддающихся грубой вычислительной силе.

Для обучения AlphaStar была создана масштабируемая программа, которая поддерживает множество копий ИИ, обучающихся во многих тысячах параллельно существующих экземплярах игры StarCraft II. Программа основывалась на инфраструктуре тензорных процессоров TPUs Google v.3. с производительностью 420 терафлопс, что примерно равно производительности суперкомпьютера IBM Blue Gene. За 14 дней обучения ИИ провел за игрой около 200 лет.

Сначала нейронная сеть обучалась на основе игр лучших киберспортсменов: AlphaStar узнала правила игры, научилась воспроизводить и комбинировать распространенные тактики. Затем была сформирована «лига AlphaStar». Для этого копии ИИ заставили играть друг с другом. Получая собственный опыт, они стали развиваться уже по-разному. Вскоре начался искусственный отбор: выявлялись носители лучших частных навыков, затем эти навыки культивировались, передавались другим, более совершенным экземплярам нейросети. Это привело к тому, что нейросеть по сложности навыков игры превзошла людей.

ИИ уже непобедим в компьютерных играх, https://metarankings.ru/best-pc-games/

12 декабря 2018 года нейросеть сыграла с игроком высшей категории Дарио Вуншем. Агрессивные атаки AlphaStar не позволили человеку взять ни один раунд: все из пяти сыгранных партий остались за нейронной сетью. Через неделю ИИ вновь встретился с человеком — оппонентом выступил Гжегож Коминц, один из 10 лучших игроков мира. AlphaStar показала себя с новой стороны: в одном из матчей нейросеть решила выбрать тактику выжидания, анализируя юниты противника и производя более дешевые для их устранения. ИИ, управляя тремя небольшими отрядами, разобщает более мощный отряд Коминца, что приводит к поражению. Все пять игр закончились поражением человека.

После турнира разработчики AlphaStar провели анализ игр ИИ и установили, что он совершал около 280 действий в минуту, что значительно ниже, чем среднее количество действий у профессиональных игроков, но действия AlphaStar были более точными.

Чтобы уравнять шансы, AlphaStar перевели на видеоинтерфейс и позволили переключать внимание около 30 раз в минуту. Как и игроки-люди, эта версия AlphaStar выбирает, когда и куда перемещать камеру, восприятие игры ограничено информацией на экране. Новая версия научилась играть почти так же хорошо, как и с предыдущим интерфейсом, однако в пробном матче, который не шёл в зачёт турнира, Гжегож Коминц победил AlphaStar, поймав ИИ на неизвестной тому стратегии. Общий счет – 10:1 в пользу машины.

Источник: vk.com

Комментарии: