Инженеры OpenAI обучили нейросеть играть в Minecraft, «показав» ей тысячи роликов о «песочнице»

В итоге алгоритмы смогли не только овладеть крафтингом и охотой, но и даже создали алмазную кирку, в процессе побив попавшуюся под руку корову.

В общем, вела себя как самый обычный игрок.

О своём эксперименте с нейросетями и Minecraft рассказали специалисты компании OpenAI, в том числе известной по инструменту DALL-E 2. Для того, чтобы обучить алгоритмы играть в «песочницу», инженеры воспользовались методикой предварительного видеообучения (VideoPreTraining).

Сперва специалисты собрали ролики о Minecraft общей продолжительностью две тысячи часов и промаркировали в них действия игроков — нажатия клавиш и движения мыши. На основе этих данных инженеры обучили модель, которая предсказывает действие, выполняемое на каждом шаге видео. Эта система промаркировала гораздо больший объём данных — ролики о Minecraft общей продолжительностью уже 70 тысяч часов.

На базе полученного промаркированного массива данных специалисты обучили модель поведенческого клонирования выполнять различные задачи в Minecraft. Созданная нейросеть смогла рубить деревья, создавать верстак, крафтить предметы и выполнять другие действия, в том числе охотиться на животных и принимать пищу. Кроме того, алгоритмы освоили механику «прыжка на столб» — это когда игрок многократно прыгает и тут же размещает под собой блок.

Специалисты поставили перед нейросетью сложную задачу — найти алмазы и создать из них кирку. Для того, чтобы добиться этого, инженеры дополнительно обучили алгоритмы на необходимой последовательности из более 20 тысяч действий.

Нейросеть находит алмазы и создаёт кирку

В рамках эксперимента нейросеть использовала стандартный интерфейс Minecraft, имитируя управление мышью и клавиатурой, подчеркнули в OpenAI. По словам сотрудников компании, опыт в Minecraft показал, что метод предварительного видеообучения подходит и для многих других областей, в которых нейросеть может научиться действовать после «просмотра» роликов.

Нейросеть играет в Minecraft

Источник: dtf.ru

Комментарии: