Рекорд в машинном обучении поставлен благодаря суперкомпьтеру

Команда исследователей из Техаса и Калифорнии опубликовала результаты использования суперкомпьютера для обучения нейронной сети. Программу для распознавания изображений удалось обучить за 11 минут — быстрее, чем когда либо. О рекорде сообщает Science Daily.

Ученые эффективно использовали 1024 процессора Skylake на суперкомпьютере Stampede2 в Техасском вычислительном центре для 100-этапного обучения нейросети AlexNet с помощью стандартной базы изображений ImageNet. На весь процесс ушло всего 11 минут — на сегодняшний день это самый быстрый результат. Для сравнения, проведенное Facebook 90-этапное обучение сети ResNet-50 заняло 32 минуты.

По словам представителя вычислительного центра, рекордный результат показывает потенциал передовых цифровых ресурсов для глубокого обучения нейронных сетей. В настоящее время скорость тренировки ИИ остается относительно низкой: 1-4 дня считается хорошим результатом. Если для обучения сети требуется от недели до четырех, она будет использоваться учеными только для дорогостоящих проектов, а более медленные варианты не будут рассматриваться вовсе. Таким образом, скорость тренировки ИИ становится узким местом для развития науки, и ее увеличение могло бы существенно продвинуть исследователей вперед.

Новый подход исследовательской группы включал в себя разработку алгоритма масштабирования скорости передачи данных (Layer-Wise Adaptive Rate Scaling — LARS), который способен эффективно распределять данные по многим процессорам для одновременного вычисления больших массивов данных (до 32 000 элементов). В результате удалось воспользоваться большим количеством процессоров Skylake и Intel Xeon Phi, сохраняя при этом точность. Обучение системы ResNet-50 позволило достичь точности распознавания изображений в 75%, а увеличение массива данных до нескольких тысяч элементов снизило ее лишь на 0,6%.

Код для обучения был написан в среде Caffe с использованием Intel-Caffe. В целом, использование 1024 процессоров Skylake увеличило скорость обучения resNet-50 в 750 раз по сравнению с одним процессором. Благодаря полученным результатам возможно будет найти альтернативу специализированному оборудованию для глубокого обучения, например, графическим процессорам, микросхемам Tensor Flow и матрицам FPGA. В целом, эксперимент показал, что глубокое машинное обучение для извлечения информации из крупномасштабных экспериментов и моделирования может быть доступным благодаря суперкомпьютерам подобным Stampede2.

Похоже, ценность суперкомпьютеров отлично осознают в Китае. В рейтинге Top-500 страна поднялась на первую строчку, впервые в истории потеснив США. Благодаря инвестициям в технологии Поднебесная сегодня обладает 202 суперкомпьютерами.

Комментарии: