Metaflow: фреймворк для управления data science проектами от Netflix

Netflix опубликовали фреймворк на Python для создания и управления data science проектов. Metaflow представляет собой API к инфраструктуре для запуска ML пайплайнов: от прототипирования до внедрения в продукт. Библиотека была изначально разработана в Netflix для решения внутренних data science задач компании.

Функционал библиотеки

Metaflow можно использовать вместе с такими Python инструментами для data science, как PyTorch, Tensorflow и SciKit Learn. Библиотека помогает разрабатывать масштабируемые пайплайны для внедрения в прдукт. Фреймворк автоматически поддерживает версионирование данных и экспериментов. Результаты экспериментов можно отслеживать в Jupyter ноутбуках. Metaflow предоставляет встроенную интеграцию с Amazon Web Services (AWS) для хранения данных, вычислений и ML-сервисов.

Код проекта выложили в репозиторий на GitHub. Документация проекта доступна по ссылке. Metaflow устроен как простая библиотека на Python.

Установить библиотеку можно с помощью pip: pip install metaflow.