Сбылась еще одна моя мечта - Google DeepMind создали ИИ-агента, умеющего играть в игры!

Сбылась еще одна моя мечта - Google DeepMind создали ИИ-агента, умеющего играть в игры! Это моя давняя мечта, еще со времен рассвета ChatGPT я стала задумываться, а что, если игровыми персонажами будут управлять не примитивные заскриптованные боты, а настоящая думающая нейросеть.

Такой ИИ-NPC может стать не только интересным компаньоном, но и изощренным противником, которого можно будет подключать даже к играм, в которых цифровые противники отсутствуют. Наример - Straftat, онлайновый шутер в лиминально-индустриальном стиле от создателей Babbdi, в котором нет ботов. Найти человека-противника для шутера или товарища для коопа не проблема, но я принципиально не играю с людьми, игра это только мое личное пространство. Поиграть с ИИ-противником в Straftat - не просто моя мечта, а еще и символ триумфа ИИ, который осваивает все больше навыков, которые раньше считали только "человеческими". Технология пока экспериментальная, не рассчитана на коммерческое применение, но тут работает правило - то, что смогла сделать одна компания, в будущем сможет повторить и другая.

Статья на официальном сайте Google DeepMind от 13 ноября 2025:

SIMA 2 - агент, который играет, рассуждает и учится вместе с вами в виртуальных 3D-мирах.

В прошлом году мы представили SIMA (Scalable Instructable Multiworld Agent) - универсальный ИИ, выполняющий базовые инструкции в широком спектре виртуальных сред. SIMA стал первым шагом на пути к тому, чтобы научить ИИ преобразовывать язык в осмысленные действия в разнообразных трёхмерных мирах.

Сегодня мы представляем SIMA 2 - следующий этап наших исследований в области создания универсальных и полезных ИИ-агентов. Благодаря интеграции возможностей наших моделей Gemini, SIMA превращается из исполнителя инструкций в интерактивного игрового компаньона. SIMA 2 может не только выполнять инструкции на естественном языке, но и держать в голове собственные цели, общаться с пользователем и со временем совершенствоваться.

Первая версия SIMA умела выполнять более 600 действий на естественном языке, таких как "повернуть налево", "подняться по лестнице" или "открыть карту" в различных коммерческих играх. Она действовала в этих средах также, как человек, "глядя" на экран и используя виртуальную клавиатуру и мышь для навигации, без доступа к базовым игровым механикам.

Но с помощью SIMA 2 мы вышли за рамки простого следования инструкциям. Благодаря Gemini, лежащей в основе агента, SIMA 2 может не только реагировать на инструкции, но думать и рассуждать. Новая архитектура SIMA 2 объединяет в себе мощные аналитические способности Gemini, которые помогают ему понимать цели пользователя, выполнять сложные аналитические задачи и умело реализовывать целенаправленные действия в играх.

Мы обучили SIMA 2 на основе записей геймплея играющих людей с языковыми метками, а также с помощью меток, сгенерированных Gemini. В результате SIMA 2 теперь может объяснять пользователю, что он собирается делать и подробно описывать шаги, которые он предпринимает для достижения своих целей. В ходе тестирования мы обнаружили, что взаимодействие с агентом больше похоже не на команды, а на сотрудничество с помощником, который может рассуждать о поставленной задаче.

Чтобы проверить возможности SIMA 2 по обобщению, мы объединили его с другим революционным исследовательским проектом - Genie 3, который может генерировать интерактивные трёхмерные миры в реальном времени на основе изображения или текстовой подсказки.

Когда мы предложили SIMA 2 поиграть в этих новых мирах, мы обнаружили, что он способен разумно ориентироваться, понимать инструкции пользователя и предпринимать осмысленные действия для достижения целей, несмотря на то, что никогда раньше не видел подобных сред. Он продемонстрировал беспрецедентный уровень адаптивности.

Одной из самых интересных новых возможностей SIMA 2 является его способность к самосовершенствованию. Мы заметили, что в процессе обучения агенты SIMA 2 могут выполнять всё больше и больше сложных и новых задач, используя метод проб и ошибок и обратную связь на основе Gemini.

Например, после первоначального обучения на основе демонстраций, выполняемых человеком, SIMA 2 может перейти к обучению в новых играх исключительно самостоятельно, развивая свои навыки в ранее невиданных мирах без дополнительных данных, созданных человеком. При последующем обучении данные о собственном опыте SIMA 2 можно использовать для обучения следующей, ещё более продвинутой версии агента.

Несмотря на то, что SIMA 2 это значительный шаг на пути к универсальному, интерактивному, воплощённому в материальном носителе интеллекту, это пока исследовательская работа и её текущие ограничения указывают на критически важные области для будущих исследований. Мы обнаружили, что агенты по-прежнему сталкиваются с трудностями при выполнении сложных задач с очень большим горизонтом планирования, требующих обширных многоэтапных рассуждений и проверки целей.

Кроме того, у SIMA 2 относительно короткая память о взаимодействиях - для обеспечения взаимодействия с низкой задержкой ему необходимо использовать ограниченное контекстное окно. Наконец, выполнение точных низкоуровневых действий с помощью клавиатуры и мыши, а также достижение надёжного визуального восприятия сложных трёхмерных сцен остаются нерешёнными задачами, над которыми продолжает работать всё сообщество.

Но это исследование является фундаментальным подтверждением нового подхода к ИИ, ориентированному на действия. SIMA 2 подтверждает, что ИИ, обученный широким компетенциям, использующий разнообразные данные о мире и мощный аналитический аппарат Gemini, может успешно объединить возможности разных систем в одном универсальном агенте.

Особые благодарности всем игровым разработчикам, которые сотрудничали с нами: Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Foulball Hangover (Hydroneer), Hello Games (No Man's Sky), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96), and Tuxedo Labs & Saber Interactive (Teardown).

Статья переведена фрагментарно, целиком ее можно прочитать на официальном сайте Google DeepMind “SIMA 2: An Agent that Plays, Reasons, and Learns With You in Virtual 3D Worlds”. Литературная адаптация машинного перевода и анализ текста выполнен человеком (Администратором группы).

Источник: vk.com

Комментарии: