CML: библиотека для непрерывной интеграции ML проектов

CML (Continuous Machine Learning) — это библиотека для непрерывной интеграции и доставки (CI/CD) проектов машинного обучения. Библиотеку разрабатывали создатели DVC, открытой библиотеки для версионирования ML моделей и экспериментов.  Совместно с DVC, Tensorboard и облачным сервисам CML должен облегчить процесс разработки и внедрения ML моделей в продукты.

CML разрабатывали так, что бы автоматизировать часть работы ML инженеров, включая эксперименты по обучению, оценку моделей, датасеты и их дополнение. Инструмент позиционируется как библиотека, которая поддерживает GitFlow для data science проектов, позволяет автоматическую генерацию отчетов и скрывает сложные детали использования внешних сервисов. Среди примеров внешних сервисов — облачные платформы: AWS, Azure, GCP и другие.

Библиотека флексибельна в использовании и предоставляет широкий функционал: от отправки отчетов и публикации данных до распределения облачных ресурсов для проекта. Для инфраструктурных задач также используют DVC, docker и Terraform. В последнее время есть инфраструктурный аспект ML проектов привлекает больше внимания. MLOps — это DevOps инструменты, адаптированные специально для кейса data science проектов.

Разработчики CML опубликовали примеры ML проектов с использованием библиотеки. Подробности можно найти в официальном репозитории проекта на GitHub.