Alibaba выпустила открытую ИИ-модель Qwen3.8-27B, которая запускается локально на ПК

В начале августа китайская Alibaba представила обновлённую флагманскую модель искусственного интеллекта Qwen3.8-Max с 2,4 трлн параметров, из которых 95 млрд остаются активными. Эту модель, предназначенную для работы в облачной инфраструктуре, сначала можно было протестировать только в QwenCloud, но затем компания опубликовала её веса в открытом доступе для всех желающих. А вслед за ней выпустила Qwen3.8-27B размером 27 млрд параметров, и она подходит для запуска на мощном ПК.

Alibaba зарекомендовала себя как лидер в области ИИ с открытыми весами, выступая не хуже стартапов DeepSeek и Moonshot. Одним из первых игроков на рынке открытого ИИ была американская Meta?, которая на минувшей неделе выпустила модель Glimmer размером 30 млрд параметров, достаточно компактную для запуска на ПК. Alibaba напомнила гиганту соцсетей, что на этом рынке очень высокая конкуренция. Модель Qwen3.8-27B, утверждает разработчик, обладает «отличными возможностями» в работе с кодом, исследованиях и долгосрочных агентских задачах. Её заявленное качество ответов соответствует моделям, которые в десять раз крупнее по размеру. И это подтвердили опубликованные Alibaba тесты — Qwen3.8-27B проявила себя лучше, чем Meta? Muse Glimmer 30B, и не хуже, а то и лучше, чем вышедшая в феврале закрытая Anthropic Opus 4.6.

Это утверждение взялись проверить журналисты ресурса Heise. Оригинальная модель с 32-битными числами с плавающей запятой (FP32) требует значительных ресурсов: не менее 108 Гбайт видеопамяти и около 120 Гбайт дискового пространства для KV-кеша. Квантование модели до FP16 позволяет запускать её на оборудовании с 64 Гбайт видеопамяти, а ещё более компактный квантованный вариант Q5_K_M обходится уже 22 Гбайт памяти — его уже можно запускать на флагманских видеокартах AMD Radeon 7900 XTX и Nvidia GeForce RTX 3090 (Ti), 4090 и 5090. Доступен и вариант с весами NVFP4, оптимизированный для вычислительных блоков Nvidia Blackwell и работающий всего с 16 Гбайт памяти.

В рамках тестирования Qwen3.8-27B в вариантах Q8_0 и NVFP4 запустили в среде Llama.cpp на профессиональной видеокарте Nvidia RTX Pro 6000 Blackwell. Модели поставили задачу разработать полный комплект средств REST API для системы управления запасами с контролем пользователей и авторизацией на основе ролей, не задавая уточняющих вопросов. Квантованная версия NVFP4, которая потребляла вдвое меньше памяти, чем Q8_0, не показала заметного снижения точности или качества ответов.

Qwen3.8-27B написала качественный код — он скомпилировался с первой попытки и поддерживал все запрошенные функции. Качество проекта оказалось неотличимо от результатов работы Anthropic Claude. Модель от Alibaba учла особые аспекты, которые не были упомянуты в задании, в ходе работы находила дубликаты в собственном коде и самостоятельно проводила рефакторинг. Отмечалась некоторая склонность к чрезмерному обдумыванию простых проблем, модель несколько зацикливалась на деталях, в результате чего тратила лишние токены и время. Хотя такое поведение корректируется в настройках.

Запускающиеся на локальных ресурсах модели ИИ имеют преимущества перед облачными. Нет необходимости оформлять подписку и передавать персональные данные сторонним поставщикам. Отсутствуют ограничения, свойственные закрытым моделям Anthropic и OpenAI. Некоторые ограничения есть и у Qwen, но вскоре после выпуска оригинального варианта на Hugging Face появились производные версии, в которых эти ограничения были в значительной степени сняты.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: