Искусственный интеллект DeepMind научился запоминать свои действия

Google DeepMind давно считает компьютерные игры идеальной платформой для развития искусственного интеллекта. В прошлом году они заключили партнерство с компанией Blizzard, чтобы сделать игру StarCraft II средой для изучения ИИ. С 2014 года DeepMind занималась обучением своих систем машинного обучения играть в игры Atari. ИИ мог научиться побеждать в эти игры и даже превосходить успехи людей. Доказательство тому - в 2016 году платформа DeepMind AlphaGo обыграла чемпиона мира в игре Го. Но минусом было то, что программа не помнила, как она это делала. Для каждой из игр Atari разработчикам необходимо было создавать отдельную нейронную сеть. Но недавно команде DeepMind и Имперского колледжа Лондона удалось разработать алгоритм, который позволяет нейронным сетям учиться, сохранять информацию и использовать ее снова, - передает Robotics.ua.

ИИ нужно больше памяти

   

«Раньше у нас была система, которая могла научиться играть в любую игру, но это была только одна игра», - говорит Джеймс Киркпатрик, научный сотрудник DeepMind и ведущий автор новой исследовательской работы. - «Теперь мы демонстрируем систему, которая может научиться играть в несколько игр, преодолевая одну за другой».

«Способность последовательно изучать задачи, не забывая их, является ключевым компонентом биологического и искусственного интеллекта», - пишут авторы доклада. Киркпатрик говорит, что «существенным недостатком нейронных сетей и искусственного интеллекта является неспособность передать то, чему они научились от одной задачи к другой».

Но группе удалось показать «постоянное обучение», основанное на «синаптическом объединении». В человеческом мозге данный процесс описывается как «основа обучения и памяти».

Чтобы дать системам ИИ дополнительную память, исследователи DeepMind разработали алгоритм под названием «elastic weight consolidation» (EWC). «Наш подход запоминает старые задачи и применяет их выборочно при освоении чего-то нового. Мы позволяем нашим системам медленно меняться между играми», - говорит Киркпатрик. - «Таким образом, есть возможность изучить новую задачу, не слишком изменяя старую».

Ход исследования

Чтобы проверить алгоритм, DeepMind использовал глубокие нейронные сети, называемые Deep Q-Network (DQN), которые ранее применялись для игр Atari. Однако на этот раз DQN был усилен алгоритмом EWC. Ученые протестировали алгоритм и нейросеть deepmind на случайном выборе десяти игр Atari. По данным robotics.ua, каждая игра была сыграна 20 миллионов раз, прежде чем система автоматически перешла к следующей игре.
«Раньше DQN пришлось научиться играть в каждую игру по отдельности, - говорится в докладе команды. - «В то время как расширение DQN-агента с помощью EWC позволяет ему учиться во многих играх последовательно, он не страдает от проблемы забывания».

По сути, глубокая нейронная сеть, использующая алгоритм EWC, смогла научиться играть в одну игру, а затем использовать свой опыт в новой игре.

«На данный момент мы продемонстрировали последовательное обучение, но пока нам не удалось доказать, что это улучшило эффективность обучения, - говорит Киркпатрик. «На следующих этапах мы попытаемся использовать последовательное обучение, чтобы попытаться улучшить обучение искусственного разума в реальном мире».