Искусственный интеллект научили играть в Doom «Медуза» рассказывает, какой из ботов играет лучше всех - и зачем их тренируют убивать

22Pсентября завершился турнир поPDoom среди ботов, которые играли как люди - то есть воспринимая лишь информацию с экрана. В соревнованиях победила команда IntelAct, состоящая из главы лаборатории компьютерного зрения вPIntel Labs Владлена Колтуна и сотрудника немецкого Фрайбургского университета Алексея Досовицкого. «Медуза» поговорила с Досовицким и рассказывает, как тренируются боты и зачем это нужно.

DoomP- это культовая компьютерная игра, созданная вP1993 году. Смысл игры в том, чтобы убивать адских тварей; но главное, что в ней есть многопользовательский режим. Кроме того, она распространяется без копирайта.

В мае 2016-го на основе открытого кода Doom польские исследователи создали платформу VizDoom для разработки искусственного интеллекта, способного играть в эту игру. Поляки вдохновились успехом компании Google DeepMind, которая научила искусственный интеллект играть в двухмерные игры компании Atari, - и решили выяснить, чего можно достичь вP3D-играх.

Платформа VizDoom заинтересовала многих инженеров, занимающихся машинным обучением. В частности, для изучения возможностей искусственного интеллекта ее использовала студия DICE (самый известный продукт - игрыPBattlefield). Для дальнейшей популяризации платформы польские исследователи решили устроить соревнование среди агентов (или ботов) с искусственным интеллектом.

22Pсентября 2016-го огласили итоги чемпионата. В нем победила команда IntelAct, состоящая из двух человек: главы лаборатории компьютерного зрения вPIntel Labs Владлена Колтуна и сотрудника немецкого Фрайбургского университета Алексея Досовицкого.

Чемпионат проводился в двух дисциплинах: более простой, когда боты бились друг с другом на известной им карте с использованием ракетницы, и более сложной - на карте, о которой агенты ничего не знали и где они могли использовать любое оружие. В обоих случаях они имели право собирать патроны и аптечки.

Отличие ботов, участвовавших в соревновании, от обычных ботов (которые есть в каждой игре) состоит в том, что они должны воспринимать игру как человек - то есть наблюдая только за экраном. Они ничего не знают ни оPместонахождении патронов, ни оPрасположении противников. Естественно, это усложняет процесс обучения.

В самом начале обучения у бота нет никаких знаний о том, что в принципе происходит в игре, - он не знает, что там есть стены, оружие и монстры. Как рассказал «Медузе» участник команды победителей Алексей Досовицкий, бот начинает случайно двигаться и вPкакой-то момент натыкается на патроны; тут он понимает, что произошло нечто хорошее.

Как научиться этому простому действию - подойти к патронам? При текущих алгоритмах требуется, чтобы бот увидел десятки миллионов экранов - это дни и недели игры в реальном времени. Однако боты играют куда быстрее.

На обучение нейронной сети команда победителей потратила три-четыре дня. Остальное время (на подготовку к соревнованиям участникам отводилось четыре месяца) ушло на отладку. Бот команды IntelAct написан на языке Python. Для его обучения использовалась библиотека Google TensorFlow. В отличие от программы AlphaGo, которой для победы над человеком в настольную игру го потребовались сотни и тысячи процессоров, для обучения бота IntelAct нужен один обычный компьютер.

Чтобы проверить, насколько хорошо бот IntelAct научился играть, его заставляли сражаться с более старыми версиями себя (так же поступали и вPDeepMindP- нейросеть играла в го сPдругими версиями себя самой).

За четыре месяца бот, конечно, не научился действовать идеально во всех ситуациях. Как рассказал инженер, он сам пробовал играть против бота и побеждал его - более-менее опытный человек пока может обыграть искусственный интеллект. Но среди участников турнира ботовPIntelAct не было равных.

Он бился только во второй категории турнира - на неизвестных картах и сPлюбым набором оружия. ВP10 изP12 игр бот выиграл, победив ближайшего преследователя со счетом 256:164 по числу фрагов (убийств). Второе место заняла команда The Terminators из двух человек - выпускников Университета Карнеги - Меллон. В первой дисциплине (на знакомой карте) выиграла команда F1 сотрудников Facebook (во второй они не участвовали). The Terminators заняли второе место и там.

18Pсентября, за несколько дней до объявления итогов соревнований, участники The Terminators опубликовали научную работу, в которой рассказали, как работает их бот. В отличие от бота IntelAct, их искусственный интеллект представляет собой не одну, а две нейронные сети: одна отвечает за перемещение, другая - за стрельбу. Влияет ли это на результат в лучшую сторону, неизвестно.

Они - опять же, в отличие от команды IntelActP- тренировали своего бота не только на основе визуальной информации, но иPсобирая данные о патронах и противниках. По словам Алексея Досовицкого изPIntelAct, никаких нарушений в этом нет, хотя в его команде решили, что действовать так «некрасиво и нереалистично».

В научной работе выпускников Университета Карнеги - Меллон утверждается, что их бот играет лучше людей. «Я немного удивился, что мы уPних выиграли после таких заявлений», - признает Алексей Досовицкий. Он предполагает, что The Terminators тестировали своих ботов на тех же картах, где и тренировали; либо они сильно улучшили алгоритм за те две недели, которые прошли с дедлайна на подачу заявок на соревнования.

В некоторых публикациях о турнире ботов, которых научили убивать, высказываются опасения, что это может означать начало создания сети Skynet из фильма «Терминатор», пытавшейся уничтожить человечество. «Лицемерно говорить, что тренировать агентов собирать яблоки и пускать радуги друг в друга - это хорошо, а играть вPDoomP- это плохо. Мы, конечно, против человекоподобных роботов-убийц, но эту проблему нужно решать не запрещая играть вPDoom, а какими-то другими способами», - отвечает на это Досовицкий.

По его словам, главное - не научить бота играть вPDoom, а научить бота учиться в процессе восприятия окружающего мира. То же самое говорят и участники команды The Terminators. Вместо того чтобы создать непобедимого игрока вPDoom, они намерены использовать свои разработки для решения прикладных задач.

Владимир Цыбульский

Рига

Источник: meduza.io

Комментарии: