Коллективный ИИ обогнал человека и набрал максимум очков в Ms. Pac-Man

Канадская компания Maluuba, принадлежащая Microsoft, разработала программу, которая с помощью коллективного взаимодействия нескольких нейросетей набрала в игре Ms. Pac-Man для приставки Atari 2600 максимально возможное количество очков. Об этом рассказывается в блоге Microsoft.

Игра Ms. Pac-Man — это усложненная версия оригинального Pac-Man, получившая широкое распространение в аркадных автоматах в США. От оригинального Pac-Man игра отличается дизайном уровней, а также поведением призраков и фруктов в лабиринте. 

По данным портала High Score, среди людей первое место по количеству набранных очков в Ms. Pac-Man на Atari 2600 принадлежит пользователю oyamafamily, который набрал в 2015 году 266330 очков. Теперь программа, разработанная исследователями Maluuba, набрала 999990 очков, что является максимально возможным количеством очков в игре, поскольку за ним следует обнуление результата.

Для того, чтобы достичь такого уровня игры, разработчики использовали технологию обучения с подкреплением, однако игре обучалась не одна нейросеть, а более 150 агентов, каждый из которых отвечал за эффективное решение небольшой задачи — например, уход от призраков или взятие конкретного шарика в лабиринте. Всеми агентами управляла главная нейросеть, принимавшая от них данные и решавшая, куда именно направится Ms. Pac-Man.

Исследователи нередко тренируют системы искусственного интеллекта на различных играх. В качестве платформы для таких исследований нередко выбирается старая видеоприставка Atari 2600 (1, 2, 3). Внешне простые игры для старых приставок порой оказываются достаточно сложными для освоения не только человеком, но и компьютером.