Liquid AI выпустила локальную модель для смартфонов и ноутбуков

Стартап Liquid AI представил открытую ИИ-модель LFM2.5-8B-A1B, которая помещается в ваш смартфон и работает абсолютно автономно, ни разу не стучась в облачные базы корпораций.

Главная фишка модели не в том, чтобы цитировать Википедию или писать километровый код (разработчики честно признают, что для хардкорного программирования она слабовата). Ее суперсила - это агентность. Она умеет выстраивать логические цепочки, дергать нужные скрипты и использовать сторонние инструменты.

Секрет такой карманной магии кроется в архитектуре Mixture-of-Experts. Хотя в модели 8,3 миллиарда параметров, в моменте на генерацию каждого токена напрягаются всего около 1,5 миллиарда. В итоге модель кушает всего 6 ГБ оперативной памяти и летает со скоростью 253 токена в секунду на новых Apple M5 Max.

В качестве демонстрации силы Liquid показали демо LocalCowork: нейросеть на одном ноутбуке жонглирует 67 инструментами через 13 локальных серверов. Веса уже заботливо выложены на Hugging Face для всех желающих.

https://huggingface.co/LiquidAI/LFM2.5-8B-A1B

Телеграм: t.me/ainewsline

Источник: huggingface.co

Комментарии: