Alibaba открыла «рентген» для Qwen

Alibaba выпустила Qwen-Scope - открытый набор sparse autoencoders для моделей Qwen.

Если проще, это инструмент, который позволяет смотреть внутрь модели и видеть, какие внутренние признаки отвечают за стиль, тему, язык, тон ответа и типичные сбои.

Поведение модели можно изучать и менять не только промптами, а через её внутренние активации.

Что это даёт:

- точнее управлять стилем, темой и форматом ответа

- находить причины багов вроде языкового переключения, повторов и странных вставок

- быстрее собирать редкие кейсы для дообучения и тестов

- понимать, какие бенчмарки реально проверяют разные способности, а какие дублируют друг друга

Раньше такие подходы чаще ассоциировались с исследованиями Anthropic вокруг Claude. Теперь похожий уровень прозрачности появился в открытом доступе для Qwen.

Веса доступны на HuggingFace и ModelScope, есть блог и технический отчёт.

Blog: https://qwen.ai/blog?id=qwen-scope

HuggingFace: https://huggingface.co/collections/Qwen/qwen-scope

ModelScope: https://modelscope.cn/collections/Qwen/Qwen-Scope

Technical Report: https://qianwen-res.oss-accelerate.aliyuncs.com/qwen-scope/Qwen_Scope.pdf

Телеграм: t.me/ainewsline

Источник: qianwen-res.oss-accelerate.aliyuncs.com

Комментарии: