Думаю, многие читали, как блогеры разносят новость, что GPT-6 Astra прямо отредактировала веса Qwen3.5-0.8B

Думаю, многие читали, как блогеры разносят новость, что GPT-6 Astra прямо отредактировала веса Qwen3.5-0.8B. Хотя найти и поправить веса — достижение, но явно Альтман как раз вбросил хайп на вентилятор, больше рассчитывая, что блогеры не разберутся, что достижение значительно ниже, чем кажется, и главное почти не имеет практической ценности.

Хотя даже инженерам часто кажется, что веса GPT статичные, но математически ИИ вполне доступен эквивалент правки своих весов. Юргена Шмидхубера иногда преувеличивает значение своих старых работ, но не в этом случае, когда он с недоумением стал комментировать хайп OpenAI, т.к. Fast Weight Programmers с прямой правкой весов он действительно применял и успешно в 1990-х, но что самое главное — этот концепт побудил его создать Delta State, который применяется почти во всех State-гибридах сейчас от Qwen до Kimi K3 и даже GigaChat с YandexGPT. Фактически State можно рассматривать как «динамические веса модели». Причём это не академическая работа как у OpenAI, а рабочая архитектура фронтирных моделей.

В случае обычного GPT на деле Attention также может выполнять роль математического эквивалента правки весов — это доказал Google в своих работах, что я публиковал в канале. Поэтому когда вы делаете ICL-обучение в контексте, это ближе к нативному обучению модели, чем вы могли раньше подумать.

Также Pawel Huryn делает верное замечание, что Альтман не доказал, что его правка дала эффект как решение задачи. До правки Qwen3.5-0.8B исчерпывала токены в 93% математических ответов. Модель зацикливалась иногда в CoT. После правки этот дефект упал до 33%. Однако Альтман написал маркетинговые материалы так, что блогеры подумали, будто изменилось само решение задач от этого. В ответах, которые Qwen уже завершила, точность не изменилась.

Если как мораль: всегда будьте осторожны с «сенсациями» в ИИ, т.к. вендоры LLM прекрасно понимают, что блогеры в ИИ — дилетанты, которые не поймут тонкостей вопроса, и их публикации с яркими заголовками массивно будут репостить, что даёт вендорам совершенно халявную рекламу. Вопрос — насколько честную.

https://x.com/PawelHuryn/status/2117639929463197885

Телеграм: t.me/ainewsline

Источник: t.me

Комментарии: