Исследователи сделали большие языковые модели доступнее

Благодаря новому методу сжатия LLM можно сжимать на смартфонах и ноутбуках — без предварительной подготовки и с сохранением качества.

Метод называется HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS). Исследователи из Яндекса работали над ним вместе с коллегами из НИУ ВШЭ, MIT, ISTA и KAUST. Научную статью, в которой описан HIGGS, приняли на одну из крупнейших в мире конференций по искусственному интеллекту — NAACL: https://clck.ru/3LMgHf

Например, с помощью HIGGS можно эффективно сжать DeepSeek-R1 (671 млрд параметров) и Llama 4 Maverick (400 млрд параметров). Раньше такие большие модели удавалось квантовать только самыми простыми методами со значительной потерей в качестве.

Метод сжимает нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров. HIGGS экспериментально проверили на Llama 3 и Qwen 2.5 — оказалось, что по качеству он превосходит все альтернативные решения.

Опробовать HIGGS вы можете уже сейчас на Hugging Face (https://clck.ru/3LMfvG) и GitHub (https://clck.ru/3LMg6k).

Источник: github.com

Комментарии: