Alibaba анонсирует архитектуру Qwen4

Alibaba выпустила Qwen3.8-Flash-Next, открытую мультимодальную модель и раннюю предварительную версию архитектуры, запланированной для Qwen4. Он имеет 125 байт параметров, но использует только 6 байт для каждого фрагмента текста. Еще 51B находятся в отдельной памяти для частых комбинаций.

Благодаря такой конструкции модель остается большой при одновременном сокращении вычислительных ресурсов. Alibaba утверждает, что обучение примерно в 9 раз дешевле, чем Qwen3.7-Plus, при этом модель уже лучше справляется с программированием, выполнением задач по использованию инструментов и длительными офисными рабочими процессами.

Поддержка длинного контекста достигает 262 000 токенов по умолчанию и до 1 миллиона токенов в расширенном режиме. При 1 миллионе токенов новый механизм поиска может значительно ускорить обработку. Веса на Hugging Face уже открыты.

?

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: