Metalingus - это минимальная и быстрая библиотека для обучения LLM и логических выводов, предназначенная для научных исследований

Ключевые особенности

- Мощная и быстрая библиотека для обучения LLM и логических выводов для научных исследований

- Использует модифицируемые компоненты PyTorch для экспериментов с архитектурами и моделями

- Предоставляет инструменты для понимания скорости и стабильности работы моделей

- Структурирован с использованием базовой библиотеки "lingua" и "приложений"

Сравнение производительности Lingua с другими моделями

- Модели 1B, обученные на токенах 60B, соответствуют производительности DCLM (DataComp-LM) по многим задачам

- Модели 7B (Mamba, Llama) показывают высокие результаты в таких тестах, как ARC, MMLU, BBH

- Модель токенов Llama 7B в квадрате ReLU 1T позволяет получать высокие баллы за выполнение заданий

Github (https://github.com/facebookresearch/lingua)

Источник: github.com

Комментарии: