Как ИИ обыграл сильнейших чемпионов мира по Dota 2?

Игры всегда являлись испытательным полем для нейросетевых разработок. Недавно мы писали о победе суперкомпьютера IBM Deep Blue над шахматистом Гарри Каспаровым и AlphaGo над Ли Седолем, чемпионом мира по Го. Сегодня мы расскажем, как нейросеть смогла обойти человека в компьютерных играх на примере Dota 2.

Dota 2 — это многопользовательская командная игра в жанре multiplayer online battle arena, разработанная Valve. Она изображает сражение на симметричной карте: в каждом матче участвуют две команды по пять игроков, управляющих персонажами с различными наборами способностей. Для победы команда должна уничтожить крепость, принадлежащую вражеской стороне, и защитить от уничтожения собственную.

Противником людей на поле Dota 2 должен был стать искусственный интеллект от OpenAI. Исследовательская компания OpenAI была запущена в конце 2015 года Сэмом Альтманом и Илоном Маском с целью создать открытую компанию, работающую на благо общества, а не государства или корпораций. На данный момент она широко известна благодаря невероятно реалистичному алгоритму GPT-3, но впервые мир узнал об успехах только в 2017 году, когда OpenAI выступил на киберспортивном чемпионате The International 2017 и обыграл одного из самых известных игроков мира в матче 1 на 1 — Данила «Dendi» Ишутина.

Работа над ИИ велась 6 месяцев. В начале его научили базовым механикам — передвижению по карте и реакции на приближение противника, а затем перешли к более сложным задачам – анализу матчей и играм против слабых соперников. Для обучения были выделены 256 графических процессоров и 128 000 процессорных ядер. Всего через полгода тренировок ИИ смог победить игроков профессиональной сцены — Sumail и Arteezy. Однако перед алгоритмом стояла более комплексная задача. В июне 2018-го разработчики объявили, что хотят выставить нейросеть против человеческой команды.

Каждый день на протяжении года боты OpenAI играли друг против друга по 180 лет игрового времени. Несмотря на титанические усилия при подготовке, условия игры все равно пришлось упростить: для равного противостояния с людьми количество героев сократили до 18. Киберспортсменам запретили использовать артефакты, призывать иллюзии или существ. Ботам же уменьшили скорость реакции до человеческого уровня. Несмотря на то, что ИИ с легкостью обыгрывал любителей, профессиональная сцена в 2018 году поддаваться отказалась: игры OpenAI с paiN Gaming и сборной китайских киберспортсменов закончились поражением нейронной сети.

Реванш состоялся год спустя в рамках финала OpenAI Five. Против ИИ выступили пять профессиональных игроков из команды OG, чемпионов мира 2019 и 2018 года. За десять месяцев OpenAI провел 45 000 лет внутриигровых матчей Dota 2. Во время матчей ИИ использовал весьма агрессивную тактику: система отдала предпочтение быстрым боям и краткосрочной выгоде из-за проблем с прогнозированием перспективы, однако это все же сработало. Первый матч длился всего полчаса — ИИ победил людей без особого труда. Второй был еще короче: алгоритм атаковал людей практически не уходя в защиту, а киберспортсмены буквально «топтались на месте» в попытках отразить удар. OpenAI Five одержал победу со счетом 2:0.

Турнир показал, что методика обучения с подкреплением даёт свои плоды. И хотя до полноценного искусственного разума пока далеко, ИИ получил ещё одно очко в свою пользу.

Источник: vk.com

Комментарии: