В ходе проходящего в Мюнхене форума AI DevCon корпорация Intel объявила о запуске Nauta — распределенной платформы глубинного обучения (DL) с открытым исходным кодом. С её помощью разработчики и научные специалисты смогут тренировать готовые к внедрению DL-модели.
Искусственный интеллект (ИИ) продолжает развиваться, а предприятия исследуют варианты его использования для расширения своих бизнес-практик. Согласно недавнему исследованию Gartner, развертывание ИИ повышает реальную стоимость компаний и, по прогнозам, эти технологии к 2022 году создадут почти $4-трлн рынок. Проведённый в прошлом году опрос Deloitte показал, что почти 50 % респондентов использовали глубинное обучение, что на 16 % больше, чем в 2017 году.
Nauta предоставляет собой многопользовательскую распределённую вычислительную среду для проведения экспериментов по обучению DL-моделей на системах с процессорами Intel Xeon Scalable. Платформа может работать с рядом популярных систем машинного обучения, включая MXNet и PyTorch, и использует системы обработки для кластера процессоров Xeon. Результаты можно просматривать и отслеживать с помощью интерфейса командной строки, веб-интерфейса и визуализатора TensorBoard.
Nauta изначально создана для облегчения сотрудничества между членами команды разработчиков. Вводные задания и выходные данные могут быть разделены между участниками проекта и использованы для отладки проблем путём запуска визуализатора TensorBoard.
Мониторинг заданий с использованием TensorBoard и Nauta WebUI
Разработчики могут использовать существующие наборы данных, собственные или загруженные из онлайн-источников, а также создавать общие или личные папки, чтобы упростить сотрудничество между группами. Для масштабируемости и простоты управления, Nauta использует компоненты из ведущей в отрасли системы оркестровки Kubernetes, используя Kubeflow и Docker для масштабируемого контейнерного машинного обучения.
Для тестирования моделей Nauta поддерживает пакетный и потоковый вывод. Пакетный вывод вызывает обработку набора подготовленных входных данных для исходной модели обучения и запись результатов в папку. Потоковый вывод вызывает развертывание модели в системе и обработку сингулярных данных по мере их получения. Клиентское программное обеспечение имеет открытую лицензию Apache 2.0 и может работать на Ubuntu 16.04, Red Hat 7.5, MacOS High Sierra и Windows 10.
«Nauta — это стек корпоративного уровня для групп, нуждающихся в запуске рабочих нагрузкок DL для обучения моделей, которые будут развёрнуты в производстве, — сообщил Карлос Моралес (Carlos Morales) в блоге Intel, посвящённом искусственному интеллекту. — С помощью Nauta пользователи могут определять и планировать контейнерные эксперименты DL с использованием Kubernetes на одном или нескольких рабочих узлах, а также проверять состояние и результаты этих экспериментов для дальнейшей настройки и запуска дополнительных экспериментов или для подготовки обученной модели к развертыванию».
Очень популярный движок оркестровки Kubernetes, изначально разработанный Google, облегчает создание и развертывание приложений на основе контейнеров. Этот инструмент позволяет эффективно запускать сетевое программное обеспечение на огромном множестве компьютеров, объединяя их в крупный вычислительный кластер и предоставляя пользователям возможности наблюдать за машинами, работающими в различных облачных сервисах, а также внутри частных центров обработки данных.
Джейсон Найт (Jason Knight) из Intel, выступая на конференции AI DevCon в Мюнхене, сообщил, что Nauta создана на основе Google Kubeflow (для которого Intel является третьим по величине разработчиком кода) и, в сущности, выступает особой версией этого инструмента, подготовленной к производственному процессу. Он также анонсировал открытие исходного кода nGraph — набора, включающего библиотеку C++ с открытым исходным кодом, среду выполнения и компилятор для экосистем глубинного обучения.
Обучение и развертывание глубинной нейронной сети с Nauta
Хотя ценность бизнеса продолжает расти, а интерес к глубинному обучению в корпоративном секторе очевиден, Intel считает, что работа по интеграции, проверке и оптимизации DL-решений всё ещё сложна, рискованна и трудоёмка. Nauta даёт пользователям возможность использовать передовые практики опытных разработчиков машинного обучения и операторов без ущерба для гибкости. «На каждом уровне абстракции разработчики по-прежнему имеют возможность вернуться к Kubernetes и напрямую использовать примитивы. Nauta даёт новичкам в Kubernetes возможность беспроблемно экспериментировать. Тщательно отобранные компоненты и интуитивно понятный UX-дизайн устраняет сложности, связанные с готовностью к работе, конфигурацией и совместимостью сервисов глубинного обучения с открытым исходным кодом», — поясняет Intel.
Nauta позволяет использовать Kubernetes для управления сквозной оркестрацией ML-конвейеров и запуска рабочего процесса в множественных или гибридных средах (например, переключение между облачными и локальными (on-prem) компоновочными блоками в зависимости от контекста), а также для повторного использования компоновочных блоков в разных рабочих процессах. Платформа предлагает большую гибкость учёным и разработчикам, желающим проводить DL-эксперименты, не беспокоясь о нагрузке на конкретную часть инфраструктуры.