Colossal-AI: Единая Система Глубокого Обучения Для Масштабного Параллельного Обучения

Архитектура Transformer позволила повысить производительность моделей глубокого обучения в таких областях, как компьютерное зрение и обработка естественного языка. Вместе с улучшением производительности увеличиваются и размеры моделей. Это накладывает отпечаток на объем памяти современных ускорителей. Обучение больших моделей на одном GPU не является идеальным. Существует настоятельная потребность в обучении моделей в распределенной среде. Однако распределенное обучение, особенно параллелизм моделей, часто требует специальных знаний в области компьютерных систем и архитектуры.

В этой статье представлена Colossal-AI, система параллельного обучения, разработанная для бесшовной интеграции различных парадигм методов параллелизации, включая параллелизм данных, конвейерный параллелизм, множественный тензорный параллелизм и параллелизм последовательности.

Цель Colossal-AI - упрощения написания распределенных моделей.

Статья: https://arxiv.org/pdf/2110.14883v1.pdf

GitHub: https://github.com/hpcaitech/colossalai

Источник: github.com

Комментарии: