Нейроанатомия LLM: улучшаем модель без дообучения

Дэвид Ноэль (https://dnhkng.github.io/about/), независимый исследователь из Мюнхена, в середине 2024 года занял (https://dnhkng.github.io/posts/rys/) 1 место на HuggingFace Open LLM Leaderboard методом, который не требует ни новых данных, ни файнтюна.

Он взял 80-слойную Qwen2-72B, продублировал блок из 7 средних слоёв (45–51) и получил модель RYS-XLarge (https://huggingface.co/dnhkng/RYS-XLarge), где каждый добавленный параметр - копия уже существующего. На 5 из 6 бенчмарков лидерборда результаты выросли: MuSR прибавил 17,7%, MATH - 8,2%.

Позже ByteDance предложила (https://arxiv.org/pdf/2510.25741) Looped Language Models (ноябрь 2025), но Дэвид пришёл к своим выводам независимо на основе 2 наблюдений:

LLM способны вести связный диалог в Base64 - модель декодирует вход, рассуждает и перекодирует ответ обратно. Если это работает, то получается, что ранние слои транслируют входные данные в абстрактное внутреннее представление, поздние переводят его обратно в текст, а средние занимаются рассуждением в формате, не привязанном к конкретному языку.

Модель Goliath-120B, где слои двух разных 70B-моделей были перемешаны так, что выход поздних слоёв подавался на вход ранних. По всем канонам обучения это не должно было работать, но работало.

Внутренние представления трансформеров оказались куда однороднее, чем предполагалось.

Для поиска оптимальной конфигурации Дэвид построил «сканер мозга» трансформера: берется блок слоёв (с 20-го по 35-й), затем он вставляется повторно и на инференсе замеряется, стала модель лучше или хуже.

Так перебираются все возможные начала и концы блока (3241 конфигурация). Каждую конфигурацию Дэвид прогонял через 2 быстрых теста: арифметику без CoT и EQ-Bench.

Тепловые карты сканера показали, что средние слои можно дублировать с пользой, а вот крайние - нельзя. При этом повтор только одного слоя почти всегда ухудшает результат. Cредние слои работают как цельные функциональные контуры, и вырванный из цепочки шаг бесполезен.

Буквально на днях Дэвид опубликовал (https://dnhkng.github.io/posts/rys-ii/) продолжение, но уже с Qwen3.5-27B.

Эксперимент с косинусным сходством скрытых состояний для текстовых запросов на 8 языках впервые показал трёхфазную архитектуру напрямую: к 10 слою фразы с одинаковым смыслом на разных языках оказывались ближе друг к другу, чем на одном языке с разным смыслом.

Модель думает не на каком-то из человеческих языков, а в собственном внутреннем представлении.

В Qwen3.5-27B архитектура модели иная. После 2 млн. конфигураций через суррогатную модель оптимальным решением на Pareto-фронте стало простейшее - продублировать один слой из середины стека. 1,5% дополнительных вычислений и... модель становится заметно сильнее.

Метод ортогонален файнтюнингу и квантованию: модель получает дополнительное время на размышление, используя контуры, которые у нее уже есть.

Статья ч.1 (https://dnhkng.github.io/posts/rys/) ч.2 (https://dnhkng.github.io/posts/rys-ii/)

Набор RYS-моделей (https://huggingface.co/dnhkng/models)

Github (https://github.com/dnhkng/RYS)

Телеграм: t.me/ainewsline

Источник: github.com

Комментарии: