Разработчики OpenAI

О пуле героев

«Сейчас мы не планируем увеличивать пул героев, но, возможно, мы вернемся к этому в будущем, если найдем способ радикально улучшить эффективность тренировки ИИ».

О выборе героев для обучения OpenAI

«Когда мы начинали, мы выбирали героев, которых считали простейшими для обучения ИИ (герои дальнего боя, простые способности и т.д.). После того, как мы заметили прогресс, мы попытались сбалансировать пул добавлением героев ближнего боя и героев на позицию 4. Следующими в нашем листе были более веселые и интересные герои, но, к сожалению, на них ИИ не смог играть на том уровне, на котором играет на героях из первого набора.

Первыми двумя мы добавили Drow Ranger и Huskar, и когда они стали играть почти на уровне изначального набора, мы добавили Pugna, Pudge, Venomancer, Mirana и Windranger, чтобы узнать, сможет ли ИИ обучиться механикам, которых не было в первом наборе. Мы также тренировали пул из 80 героев (исключали только героев, играющих с суммонами и иллюзиями), но в недостаточном для выводов масштабе».

О разнице в винрейте между Radiant и Dire

«Винрейт OpenAi Five за Radiant на 5% выше, чем за Dire. Наши тестеры также заметили, что поведение ИИ между Radiant и Dire различается: меняются приоритеты (к примеру, когда OpenAI играет за Dire, они слишком сильно пытаются уничтожить башню на сейфлейн) и матчапы на линиях, из-за которых меняется и винрейт. В целом, разница в винрейте у людей и OpenAI, скорее всего, не имеет ничего общего, к примеру у ботов нет проблем с обзором камеры».

О планах разработки

«К сожалению, мы не планируем оставлять игру с OpenAI Five в открытом доступе. Главная сложность в том, что когда Valve выпускает новый патч, понимание игры OpenAI слегка падает.

Со следующей недели мы закрываем соревновательную часть нашего проекта – после победы OpenAI над OG с 17 героями в пуле мы извлекли из этого направления все, что хотели. Мы будем использовать Dota 2 как площадку для теста сложных идей и постараемся узнать как можно больше об обучении с подкреплением. В нашем распоряжении – один из самых сложных и глубоких ИИ. Мы надеемся, что теперь сможем найти ответы на по-настоящему глубокие вопросы об алгоритмах, познании и структуре среды».

О модели OpenAI

«Модель OpenAI содержит приблизительно 167 миллионов параметров и весит около 668 мегабайт. Для ее запуска достаточно нового ноутбука».

О вардинге

«Наша теория – OpenAI Five вардит так, чтобы оставить место в инвентаре для более ценных вещей. Это «заученное» поведение, так что мы можем только строить теории, почему ставить несколько вардов в одно место кажется ИИ самой оптимальной стратегией. Для нас вардинг OpenAI остается загадкой, я почти уверен, что во время тестов они вардили намного лучше».

cyber.sports.ru

Комментарии: