Тест библиотеки для распределенного обучения с подкреплением

Реализовал современный алгоритм обучения с подкреплением, Advantage-Actor-Critic, в распределенном виде для запуска на кластерах. Использовал Pytorch и mpi4py. Для теста обучил "змея" в суровой среде, в которой ему необходимо есть и пить а поощрения - только отрицательные, при этом еда рассыпана по всему пространству, а вода - кластерами и новый кластер выдается только, когда старый "выпит". Змей обучился очень эффективно оценивать свое состояние и окружающую среду и планировать свои действия. Меняющие цвет квадраты на видео - состояние его нейронной сети (первого слоя и второго, рекуррентного). Код опенсорсный.

https://github.com/r-aristov/mpia2c

P.S. У него 128 нейронов. У нематоды - 303. Если я добавлю еще две сотни нейронов, будет ли выключение симулятора настолько же неэтично, как убийство нематоды?)

Источник: github.com

Комментарии: