ИИ исправил другую нейросеть, изменив всего 0,016% её весов. Без обучения и градиентов

МЕНЮ


Главная страница

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



Исследователи из MIT CSAIL показали необычный подход к оптимизации нейросетей - Weight-Space Programming. Вместо привычного fine-tuning большая LLM анализирует веса другой модели и напрямую меняет нужные параметры.

В одном эксперименте GPT-6 Astra получила доступ к весам Qwen3.5-0.8B и задачу улучшить её математические способности.

Astra обнаружила проблему: модель часто зацикливалась в рассуждениях и не успевала выдавать ответ. Причину удалось локализовать в MLP-блоках 15-го и 19-го слоёв.

Изменив всего 131 072 параметра из 800 млн, исследователи получили:

- MATH-500: с 7,9% до 48,1%.

- GSM8K: с 13,8% до 67,1%.

- IFEval: с 21% до 62,3%.

Никакого градиентного спуска. Astra использовала Python для работы с тензорами и ограниченное число проверочных прогонов.

В другом эксперименте она вообще создала веса небольшой игровой нейросети с нуля, без обучения на данных, и обошла PPO-агентов, обучавшихся 100 млн шагов.

Улучшение Qwen связано прежде всего с устранением зацикливания, а не с появлением новых математических знаний. На другой модели без такой проблемы метод почти не помог.

https://rikiyat.github.io/blog/weight-space-programming/


Телеграм: t.me/ainewsline

Источник: rikiyat.github.io

Комментарии: