Sony установила новый рекорд скорости обучения нейросети

Гонконгские ученые ранее отчитались о том, что сумели сократить время обучения нейросети ResNet-50 до 6,6 минуты. Их рекорд продержался недолго — японцы улучшили показатель до 224 секунд.

Для исследователей и инженеров время обучения нейросети — важный показатель, особенно в случае масштабных проектов. Возможности оптимизации этого процесса ищут команды специалистов в разных частях мира. В Sony нашли способ, который делает обучение на 43,4% эффективнее, пишет Synced.

В эксперименте исследователи работали с алгоритмом ResNet-50, который обучался распознаванию изображений на базе ImageNet. Чтобы повысить эффективность, японские инженеры оптимизировали передачу данных, объединяя маленькие пакеты (так же делали из коллеги в Гонконге). Кроме того, в Sony обратили внимание на сетевую топологию.

Они создали сеть 2D-Torus (двухмерный тор), состоящую из горизонтальных и вертикальных сетей типа «кольцо». Именно работа с сетевой топологией позволила значительно увеличить скорость обучения.

Сначала исследователи использовали 2176 графических процессоров Tesla V100 для обучения ResNet-50 и добились точности в 75,03%. Затем благодаря масштабируемости полученной системы они смогли повысить точность до 91,62% при использовании 918 процессоров Tesla V100

Программисты китайской ИТ-корпорации Tencent создали нейросеть, побеждающую в StarCraft алгоритма-"читера».

Источник: syncedreview.com

Комментарии: