Liquid AI выжала почти BF16-качество из 4-битных моделей

Компания выпустила новые Q4_0-чекпоинты для LFM2.5-230M, 350M, 1.2B и 2.6B, обученные через Quantization-Aware Distillation.

Суть QAD простая: высокоточная модель выступает учителем для уже квантованной 4-битной версии. В итоге сохраняются низкое потребление памяти и высокая скорость Q4_0, но заметно возвращается качество, потерянное после обычной квантизации.

По тестам Liquid AI новые модели сохраняют примерно 96,5–97,4% качества BF16. Для младших моделей QAD закрывает больше 70% разрыва между обычным Q4_0 и BF16.

При этом скорость инференса остается на уровне обычного Q4_0, потому что формат GGUF, layout тензоров и runtime не меняются. Тестировали в том числе на MacBook Pro с M5 Max, Galaxy S26 Ultra и Raspberry Pi 5.

https://liquid.ai/blog/qad

Телеграм: t.me/ainewsline

Источник: liquid.ai

Комментарии: