Из чата подкинули интересную информацию по Qwen3.8-27B

Из чата подкинули интересную информацию по Qwen3.8-27B. Для начала коллеги из ServerFlow провели тесты разных квантизаций модели под 16 Гб VRAM. Хотя специалисты в тестах скажут, что это любительский подход и нужно было прогонять стандартные бенчмарки, т.к. тогда была бы хорошо видна степень деградации квантизаций численно и по доверенным процедурам тестирования, тем не менее попытка создать простую 3D-игру или фронт показывает, что модель имеет высокую степень работоспособности даже под такую жёсткую квантизацию.

В чате ещё коллеги писали, что попробовали тоже собрать игру на Rust и у них получилось. Хотя я отмечал, что у Alibaba в приоритете JS/React и Python. Тут нужно пояснить: насчёт качества поддержки последних мы знаем точно, а вот про качество поддержки библиотек для Rust — нет. LM Arena доказывает A/B-тестами, что Qwen3.8-27B владеет JS/React на уровне фронтирных моделей. Большая часть SWE-бенчмарков делается традиционно на проектах Python, поэтому мы точно знаем, что Python хорошо работает в модели на уровне фронтиров как Opus шестимесячной давности.

В случае Rust там ситуация хитрее. Для начала мало сомнений, что ВСЕ популярные языки программирования Qwen3.8-27B знает очень хорошо и не будет делать синтаксических ошибок. Просто языки программирования имеют очень компактный блок синтаксиса и требуют мало весов, чтобы их запомнить. Он ещё меньше, если учесть, что модель обязательно «генерализует» похожие конструкции разных языков программирования, что позволяет ещё больше их сжать в весах и легко на тот же Rust перенести общие знания модели об алгоритмизации с Python и JavaScript. Поэтому просто довольно сложные алгоритмы на любом популярном языке программирования Qwen3.8-27B определённо может и писать, и отлаживать.

Вопрос крутится о том, где весов надо много — БИБЛИОТЕКИ. Даже в случае «основного» Python модель уже путается в синтаксисе популярного Gradio. Скорее всего, в весах по Rust хранятся чётко основные системные библиотеки и особенно чётко, если они похожи на тот же Python и JS, но менее частотные библиотеки в dataset модель видит размыто, как JPEG с большим сжатием, поэтому она в курсе о том же Gradio, но не помнит точно мелкие детали его синтаксиса и их галлюцинирует. В Rust это будет сильнее проявляться, т.к. не основной стек.

Тем не менее, что именно помнит из библиотек — вопрос открытый. Перед использованием Qwen3.8-27B на каком-то языке и фреймворке я рекомендую с какой-то LLM разработать наборы тестов «простукивания библиотек», чтобы проверить:

1. Насколько модель помнит синтаксис в первой версии кода

2. Насколько модель может исправить синтаксическую ошибку через средства Web/RAG-поиска с обращением к документации

В разработку можно включать только «надёжный стек». На мой взгляд, создание игр бессмысленно на такой модели, но вот создание агентов для автоматических тестов реальных приложений может быть уже сейчас частью продакшен-решения.

https://www.youtube.com/watch?v=uHIJbA0T45w

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: