Ультракомпактная модель Gemma 3 270M

Google выпустила новую модель, которая специально создана для локального запуска на слабых устройствах, таких как смартфоны: в режиме INT4 на смартфоне Pixel 9 Pro обработка ~25 диалогов потребляет менее 1% заряда. Из 270 млн параметров около 170 млн выделено под эмбеддинги (поддержка до 256k токенов), остальное – трансформерные блоки. Модель подходит для классификации и анализа текста, извлечения сущностей, маршрутизации запросов, структурирования данных, проверки на соответствие требованиям и офлайн-генерации контента.

Скачать ее можно тут: https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

Источник: huggingface.co

Комментарии: