GRIN MoE: Mixture-of-Experts от Microsoft

Модель GRIN (GRadient-INformed) MoE (https://huggingface.co/microsoft/GRIN-MoE) разработана Microsoft для использования в ИИ-системах и приложениях, где требуется мышление (задачи программирования, математики и логики), в сценариях с ограниченным временем ожидания и средах с ограниченным объемом ресурсов.

Модель построена на архитектуре Transformer. Отличительной чертой GRIN MoE является использование слоя Mixture-of-Experts (MoE) в качестве слоя feedforward.

Модель оперирует 16 экспертами и использует top-2 маршрутизацию, активируя два эксперта для каждого токена на каждом слое. GRIN MoE использует алгоритм SparseMixer-v2 для оценки градиента и обучения маршрутизации экспертов.

В отличие от традиционных MoE моделей, GRIN MoE не использует распараллеливание по экспертам и отбрасывание токенов во время обучения.

Технические характеристики модели:

total parameters: 16x3.8B;

active parameters: 6.6B;

context length: 4096;

number of embeddings 4096;

number of layers: 32;

Для обучения GRIN MoE использовался набор данных из 4 трллн. токенов, состоящий из общедоступных документов, образовательных материалов, кода и синтетических данных для обучения математике, программированию и рассуждению.

Тестирование GRIN MoE проводилось на наборе данных Phi-3 в популярных бенчмарках. Модель показала высокие результаты, превзойдя 7B модель и сравнявшись по метрикам с 14B моделью.

GRIN MoE набрала 79.4 балла в тесте MMLU, 74.4 - в HumanEval и 58.9 - в MATH. Несмотря на высокую эффективность в задачах, связанных с кодом и математикой, GRIN MoE показала более низкие результаты в задачах обработки языка, что может быть связано с особенностями обучающего корпуса.

Лицензирование : MIT License.

Arxiv (https://arxiv.org/pdf/2409.12136)

Модель (https://huggingface.co/microsoft/GRIN-MoE)

Demo (https://huggingface.co/spaces/GRIN-MoE-Demo/GRIN-MoE)

Github (https://github.com/microsoft/GRIN-MoE/)

Источник: github.com

Комментарии: