В IBM Research разработано ПО, обеспечивающее почти линейное масштабирование скорости глубокого обучения

Специалистам IBM Research удалось разработать программное обеспечение для распределенного глубокого обучения нейронных сетей, характеризующееся очень низкими накладными расходами, за счет чего обеспечивается почти линейная зависимость скорости обучения от увеличения производительности системы с процессорами IBM и ускорителями Nvidia. Масштабируемость достигает 95%.

Предыдущий рекорд — 89% — принадлежал детищу специалистов Facebook AI Research. Разработка IBM Research превзошла разработку Facebook по времени — на обучение эталонной модели заняло 50 минут против 1 часа. Кроме того, используя новое ПО, IBM Research удалось побить рекорд Microsoft по части точности распознания изображений. На множестве ImageNet-22k из 7,5 млн изображений был получен результат 33,8%, тогда как результат Microsoft равен 29,8%.

Код IBM Research Distributed Deep Learning доступен в дистрибутиве IBM PowerAI 4.0 для TensorFlow и Caffe.

Комментарии: