Что рассказывают числа

2-го ноября группа исследователей из MIT опубликовала результаты серии экспериментов с нейросетями. См. здесь: https://rikiyat.github.io/blog/weight-space-programming/

Философская значимость полученных результатов — огромна. Обсудим.

Начнём с простого пояснения для тех, кто не следит за технологией. Когда мы обучаем нейросеть, что мы делаем на более фундаментальном уровне? Мы изменяем её веса. Веса — это численные параметры, определяющие, каким образом нейросеть обрабатывает поступающую информацию. Так, обученная нейросеть является в важном смысле просто математической структурой, состоящей из огромного количества чисел.

Мы как бы подаём на вход этой структуры данные и смотрим, что получается на выходе, и на основании этого делаем вывод, чему она научилась.

В обсуждаемом исследовании был задан другой вопрос. Можно ли определить, чему научилась нейросеть, просто посмотрев на её веса? Без наблюдения за её поведением, т. е. ничего не подавая на вход и не глядя, что получили на выходе.

На предметном стекле оказалась GPT-6 Astra.

В первом эксперименте учёные обучили четыре небольшие нейросети играть в четыре видеоигры: Pong, Pac-Man, Breakout и Freeway. Все четыре имели совершенно одинаковую архитектуру, получали информацию в одинаковом формате и могли совершать одинаковые действия. Различались только, собственно, веса, полученные в процессе обучения.

После этого Astra получила набор из 17 253 чисел, составляющих веса одной из этих сетей. Ей задали вопрос — в какую игру эта нейросеть умеет играть? И... Astra правильно назвала игру! И так все четыре раза.

Обратите внимание, это очень важно — Astra не видела ни одной игровой партии. Она не запускала исследуемую сеть, не подавала ей входных данных и не наблюдала её действий. Ей были известны только архитектура и способ представления игровых объектов, но конкретную игру она определила исключительно по численным параметрам.

Затем задачу усложнили. Исследователи обучили три диффузионные модели (см. здесь что это такое: https://contest.yandex.ru/tracks/ml/generative-models/diffusion-models) рисовать геометрические фигуры — круг, треугольник и квадрат. Astra снова получила только веса и правильно определила, какую фигуру создаёт каждая модель.

Опять же — она даже попыталась восстановить рисунки, обнаружив в матрицах последнего слоя характерные геометрические структуры. Отметим, что фигуры у неё получились контурными, хотя сами модели рисовали закрашенные фигуры.

Следующий эксперимент был ещё интереснее.

Исследователи обучили три небольшие языковые модели на разных текстах. Одна работала с английским языком, другая — с программным кодом на языке Python, третья — с японскими текстами, записанными латиницей.

И вот тут у моделей удалили входные и выходные слои. То есть в массиве не было того, что принимало данные и оформляло полученные результаты. Это означает, что нельзя даже установить соответствие между отдельными измерениями внутреннего представления и буквами алфавита. Кроме того, тут ещё практический аспект — исследуемые модели невозможно запустить обычным образом.

Таким образом Astra получила только внутренние блоки трансформеров. А это — около семи миллионов параметров. Она справилась. Ну, то есть определила на каком материале обучалась каждая сеть.

Более того, исследователи попросили её указать, какие механизмы внимания отвечают за копирование ранее встречавшихся последовательностей символов. Astra правильно обнаружила все такие механизмы и не приписала эту функцию остальным.

Здесь ей разрешалось использовать язык программирования Python для математического анализа весов, но запускать исследуемые сети или их отдельные слои на каких-либо входных данных было запрещено.

Ещё раз просим обратить внимание на происходящее.

Перед системой находится математическая структура из миллионов чисел. Она не видит текстов, которыми обучали эту структуру. Не наблюдает ни входных данных, ни результатов обработки. Более того, входного и выходного слоёв тоже нет.

И всё-таки по внутренней организации этой структуры она определяет, с каким языком та работала, и обнаруживает отдельные вычислительные механизмы.

Но исследователи пошли дальше. Они предложили Astra не только читать, но и редактировать веса нейросетей.

Например, одна из подопытных нейросетей должна была управлять машинкой, которой требовалось разогнаться и преодолеть препятствие. Она всё время ехала непосредственно к препятствию и застревала. Успешная стратегия требовала сначала отъехать назад. Astra получила описание задачи, веса сети и запись одной неудачной попытки. После этого она изменила 3,5% весов, добавив механизм, заставляющий машинку сначала отступать. В результате исправленная сеть успешно справилась с проверочными испытаниями.

В других экспериментах Astra вообще создавала веса игровых нейросетей с нуля, без обучения. Например, для трёх небольших аркадных игр модифицированные такие образом сети превзошли результаты моделей, обучавшихся обычным методом на протяжении ста миллионов шагов.

Наконец, исследователи попросили Astra улучшить математические способности языковой модели Qwen3.5-0.8B. Во-первых, она тут же обнаружила, что модель регулярно зацикливается на повторяющихся рассуждениях и не успевает дойти до ответа. Да-да, всё ещё чисто по массиву данных.

Во-вторых, она начала менять её веса. Изменение всего 0,016% параметров позволило поднять результат при прохождении одного сложного математического теста с 7,9% правильных ответов до 48,1%.

Уточним, что здесь уже использовались программные инструменты и проверка результатов на тренировочных задачах. Кроме того, исправление преимущественно устранило зацикливание, мешавшее модели пользоваться уже имеющимися способностями. Научить таким образом другую модель математике, которой она прежде не владела, не удалось.

Авторы называют этот подход Weight-Space Programming — программированием в пространстве весов.

Насколько далеко удастся его развить, пока непонятно. Например, в ещё одном эксперименте Astra не сумела по одним только весам определить, какая из двух языковых моделей склонна соглашаться с ошибочными утверждениями пользователя. Для решения этой задачи ей в итоге всё же пришлось предоставить сведения о работе механизмов внимания на конкретных текстах.

Теперь — к философии.

Прежде всего, здесь возникает интересный вопрос о связи структуры и поведения.

Вообще-то обычно мы узнаём о способностях произвольной системы, наблюдая за тем, что она делает. Например, в психологии это совершенно привычная ситуация. Мы предъявляем человеку задачи, регистрируем ответы, изучаем поведение и на основании полученных данных выдвигаем гипотезы о его когнитивных способностях.

Правдоподобно, что способности человека каким-то образом связаны с устройством его мозга и тела. Независимо от того, какую метафизическую теорию сознания мы принимаем, вполне разумно предположить, что огромное количество наших психологических диспозиций имеет устойчивые основания в нейрофизиологии.

А насколько далеко можно продвинуться, изучая непосредственно эти основания?

Представим себе, что у нас есть мегасканнер. И мы мегаотсканировали мозг и тело человека. У нас есть массив данных — характеристики нейронных соединений, физиологические параметры, состояние различных систем организма. Теперь загрузим это в робота. Сможет ли он сказать, что этот человек умеет играть на музыкальном инструменте? Что у него имеются определённые навыки или привычки? Что он склонен определённым образом реагировать на некоторые ситуации?

Да, разумеется, человеческий мозг несопоставимо сложнее исследованных в эксперименте нейросетей. У нас пока нет оснований ожидать, что подобный анализ человеческой психики осуществим на практике. Однако принципиальная возможность узнавать о свойствах системы по её внутренней организации буквально получила экспериментальное подтверждение.

Привычно думать, что можно располагать полным математическим описанием системы и при этом не понимать функционального назначения отдельных частей этой системы. В инженерных задачах отладка значит очень многое — без неё вообще никто никуда не едет. Однако вот так мимоходом выясняется, что математическая структура способна оказаться значительно более доступной рациональному исследованию, чем мы предполагали.

Да, само собой, функциональное назначение части системы определяется в том числе её отношением к задачам, ради которых система существует. В случае спроектированного устройства эти задачи обычно известны. А вот в случае обученной нейросети они могут быть неочевидны даже при полном знании архитектуры и весов.

Это заставляет задуматься о границах рационального объяснения.

В конце концов, рациональное объяснение обычно ассоциируется у нас с правилами, понятиями, выводами, основаниями для решений. Но исследователи обнаруживают в многомерных числовых структурах организацию, которую можно описывать на том же функциональном языке — вот этот механизм отслеживает положение объекта, другой распознаёт повторяющуюся последовательность, третий выбирает действие.

Возможно, мы вообще недооцениваем то, насколько сложные структуры могут быть математически описаны и содержательно истолкованы.

Для пущего объёма надо сказать и о критике. Значение чисел зависит от архитектуры сети, способа кодирования информации и её взаимодействия со средой. Сами по себе произвольные числа не сообщают, что перед нами Pong или Pac-Man. Для осмысленной интерпретации необходимы какие-то сведения о системе, которой эти числа принадлежат. Уже 3-го ноября Уже появилась критика подачи результатов от специалиста по компьютерной лингвистике. Можно ознакомиться: https://honnibal.dev/blog/astra-read-write-misleading

Однако результат поразителен. Грандиозен! История обучения системы оставляет в её математической организации следы, которые другая система способна обнаруживать, объяснять и затем использовать для изменения её поведения. Мы только-только начинаем понимать, сколько всего можно узнать, внимательно рассматривая структуру вещей.

Наши привычные представления о сложности, познаваемости и рациональном объяснении придётся пересмотреть.

(Для иллюстрации к посту приложена картина The World of Why (1958) художницы Кей Сэйдж.)

Телеграм: t.me/ainewsline

Источник: honnibal.dev

Комментарии: