ИИ исправил другую нейросеть, изменив всего 0,016% её весов. Без обучения и градиентов |
||
|
МЕНЮ Главная страница ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Атаки на ИИ Внедрение ИИИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Промпты. Генеративные запросы Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2026-11-03 11:31 Исследователи из MIT CSAIL показали необычный подход к оптимизации нейросетей - Weight-Space Programming. Вместо привычного fine-tuning большая LLM анализирует веса другой модели и напрямую меняет нужные параметры. В одном эксперименте GPT-6 Astra получила доступ к весам Qwen3.5-0.8B и задачу улучшить её математические способности. Astra обнаружила проблему: модель часто зацикливалась в рассуждениях и не успевала выдавать ответ. Причину удалось локализовать в MLP-блоках 15-го и 19-го слоёв. Изменив всего 131 072 параметра из 800 млн, исследователи получили: - MATH-500: с 7,9% до 48,1%. - GSM8K: с 13,8% до 67,1%. - IFEval: с 21% до 62,3%. Никакого градиентного спуска. Astra использовала Python для работы с тензорами и ограниченное число проверочных прогонов. В другом эксперименте она вообще создала веса небольшой игровой нейросети с нуля, без обучения на данных, и обошла PPO-агентов, обучавшихся 100 млн шагов. Улучшение Qwen связано прежде всего с устранением зацикливания, а не с появлением новых математических знаний. На другой модели без такой проблемы метод почти не помог. https://rikiyat.github.io/blog/weight-space-programming/ Телеграм: t.me/ainewsline Источник: rikiyat.github.io Комментарии: |
|