RL-фреймворк для обучения MoE-моделей от создателей Chatbot Arena

Miles (https://github.com/radixark/miles) - фреймворк для RL-обучения от команды LMSYS ORG (https://lmsys.org/blog/2025-11-19-miles/), ориентированный на энтерпрайз-уровень.

Если вы следите за опенсорс разработками, вы наверняка слышали о предшественнике этой системы, проекте slime (https://github.com/THUDM/slime). Это легкий инструмент, который используют во многих современных пайплайнов пост-трейна. На нем, кстати, запускали GLM-4.6.

Slime доказал, что легковесный дизайн работает, и Miles делает следующий шаг - масштабное обучение архитектур MoE и поддержка тяжелых промышленных нагрузок.

Технические детали.

Miles предлагает то, что называют "True On-Policy". Раньше между тренировкой и инференсом часто возникало расхождение. Теперь же, благодаря инфраструктурному подходу, LMSYS добилась нулевой дивергенции. Это стало возможным благодаря использованию Flash Attention 3, библиотеки DeepGEMM и ядер от Thinking Machines Lab, работающих в связке с `torch.compile`.

Вторая особенность - в использовании спекулятивного декодирования. Обычно в RL черновая модель замораживается, что мешает ей следовать политике целевой модели. LMSYS добавили онлайн-обучение черновой модели.

Результаты на тестах положительные: ускорение генерации более чем на 25%, особенно на поздних стадиях обучения.

Стабильность.

Для энтерпрайза память - это деньги. В Miles включили механизмы, предотвращающие падение системы при некритичных ошибках OOM и исправили чрезмерное потребление памяти в FSDP.

В дорожной карте проекта обещают поддержку мультимодального обучения, совместимость со SGLang v2 и расширенное спекулятивное декодирование.

Статья (https://lmsys.org/blog/2025-11-19-miles/)

Github (https://github.com/radixark/miles)

Источник: github.com

Комментарии: