Вскрытие Transformer — MoE, Mamba и Diffusion

Современный обучающий кластер потребляет столько же электричества, сколько небольшой промышленный город, превращая вычислительный прогресс в фактор глобального энергетического кризиса. На этом фоне классические дата-центры с воздушным охлаждением окончательно исчерпали свой потенциал — они физически не способны отвести тепло от новейших чипов, а медные соединения внутри серверов начали плавиться под нагрузкой, становясь главным тормозом развития мультимодальных моделей.

Эта ситуация спровоцировала радикальную перестройку всей технологической цепочки. Инженерный ответ на энергетический коллапс оказался беспрецедентным: индустрия отказывается от воздуха в пользу жидкостей, от электроники в пользу света, а от монолитных нейросетей — в пользу фрагментированных архитектур.

В этом материале мы исследуем, как глобальная погоня за универсальным ИИ привела к физическому перерождению вычислений. Вы узнаете, почему гиперскейлеры заливают серверы кипящим диэлектриком, как кремниевая фотоника заменяет медь внутри машинного зала, и каким образом архитектурные инновации вроде Mixture-of-Experts и диффузионных LLM позволяют преодолеть квадратичную сложность трансформеров. Мы разберем, как эти технические решения формируют новую двухуровневую экономику, где вычислительный суверенитет становится важнее облачной подписки, а браузер пользователя превращается в полноценный суперкомпьютер.

Инфраструктура уходит на край и в оптику

Глобальная погоня за универсальным ИИ (ultimate AI) спровоцировала энергетический кризис: один современный обучающий кластер начал потреблять столько же электричества, сколько средний промышленный город. На фоне ужесточения экологических сборов в Европе и США эксплуатация классических дата-центров с воздушным охлаждением стала убыточной, заставив гиперскейлеров Google и Microsoft полностью заморозить строительство традиционной инфраструктуры.

Термодинамика вместо электроники: жидкостный стандарт

Переход на архитектуру NVIDIA Rubin и массовое внедрение чипов B200 сделали воздух физически неспособным отводить тепло. При плотности тепловыделения свыше 300 Вт на квадратный сантиметр вентиляторы превратились в бесполезный шум.

Рынок перешел на прямое жидкостное охлаждение (DLC) и иммерсионные системы как на единственно возможный стандарт:

Экосистема Rubin:

Новая платформа NVIDIA полностью избавилась от воздушного тракта. Теплоноситель в замкнутом контуре теперь нагревается до 45 °C, что позволяет использовать внешние сухие градирни (dry coolers) вместо энергоемких промышленных кондиционеров. Устранение вентиляторов и градирен внутри машинного зала позволило опустить коэффициент PUE (эффективность использования энергии) до 1,05. Там, где раньше 40% мощности дата центра уходило на охлаждение воздуха, теперь почти каждый ватт питает вычислительные ядра.

Погружение в диэлектрик:

Для задач экстремальной плотности (свыше 100 кВт на стойку) индустрия внедрила двухфазную иммерсию. Серверы погружаются в специальные фторированные жидкости, которые закипают при контакте с GPU. Образовавшийся пар поднимается к конденсатору, отдает тепло и возвращается в жидком виде. Этот фазовый переход отводит энергию в 100 раз эффективнее воздуха, доводя PUE дата центра до рекордных 1,01.

Световой барьер

Вычислительная мощность чипов перестала быть главным узким местом. Настоящим тормозом прогресса стала внутренняя связность кластеров. При переходе от поколения H100 к B200 пропускная способность памяти (HBM) выросла на 40%, однако скорость обмена данными между самими ускорителями (inter-GPU bandwidth) увеличилась лишь на 15%. Медные проводники достигли предела: на сверхвысоких частотах они начинают работать как микроволновые печи, выжигая энергию в виде тепла и искажая сигнал.

Ответом стал массовый переход на кремниевую фотонику (silicon photonics). Инвестиции в оптические интерконнекты превысили 500 миллионов долларов, так как только свет способен обеспечить плотность соединений, необходимую для обучения мультимодальных моделей:

Смена магистральных стандартов:

На профильной выставке ECOC 2026 были представлены оптические модули стандарта 3,2T и 6,4T. В кластерах, объединяющих десятки тысяч ускорителей, производительность теперь лимитируется не скоростью матричного умножения, а скоростью перемещения данных между узлами. Оптика минимизирует потери сигнала, позволяя объединять GPU в единый виртуальный суперчип на больших расстояниях без задержек.

Охлаждение за счет связности:

Замена медных шлейфов на фотонные трансиверы попутно решила проблему вторичного тепловыделения в кабельных шахтах, снизив общую тепловую нагрузку на зал.

Суверенитет на краю сети

Параллельно с консолидацией обучения произошла децентрализация инференса. Классические GPU окончательно уступили место на периферии специализированным оптическим микрокомпьютерам.

Физика задержек:

Облачный инференс дает задержку 100 — 500 мс, что фатально для физического мира. Для управления роботами, автономного вождения или работы медицинских сканеров требуется отклик в 5 — 20 мс — предел, недостижимый для передачи данных по радиоканалу в центральное облако.

Оптическая периферия:

Встраиваемые системы (наследники NVIDIA Jetson) начали интегрировать миниатюрные оптические шины данных. Это позволило роботам (включая платформы Boston Dynamics) и системам умных фабрик обрабатывать потоки с LiDAR и камер высокого разрешения прямо на борту.

Эффект:

Данные не покидают устройство. Это не только решает проблему задержек, но и создает суверенную инфраструктуру: видеопотоки с заводов или агродронов обрабатываются локально, исключая риски перехвата информации и зависимость от спутниковой связи. Edge узлы перешли в режим полной автономности, работая без интернета там, где классические GPU просто перегрелись бы за секунды.

Смерть монолитного трансформера

Классический трансформер, десятилетие правивший миром ИИ, окончательно утратил статус универсального решения. Если раньше инженеры соревновались в том, чей мозг больше, то в 2026 году индустрия осознала: гигантский монолитный механизм внимания — это экономический и физический тупик. Квадратичная зависимость вычислительной сложности от длины контекста сделала невозможным анализ целых книг или длинных видеороликов, а счета за электричество заставили искать способы заставить нейросеть думать не всем телом сразу.

Архитектурная мысль движется по трем параллельным путям, которые фрагментируют нейросеть на лету.

Архитектура Mixture-of-Experts

Главная проблема плотных моделей вроде GPT-4 заключалась в их расточительности. Чтобы ответить на вопрос о погоде, модель задействовала триллионы параметров, включая те, что отвечают за написание кода на Python или перевод с суахили.

MoE изменила правила игры, внедрив принцип избирательной активации:

Механика:

Вместо одной огромной матрицы весов модель состоит из множества узкоспециализированных экспертов. При получении запроса встроенный маршрутизатор анализирует токены и пробуждает лишь 2 — 4 наиболее подходящих специалиста из, например, сотни доступных. Остальные 95% нейросети остаются в режиме ожидания.

Эффект:

Это позволило создавать модели с общим объемом знаний в 1,6 триллиона параметров, при этом вычислительная стоимость каждого ответа осталась скромной. Технология, которая годами страдала от нестабильности (когда маршрутизатор выбирал одних и тех же “любимчиков”), к 2024 году была излечена с помощью специальных функций потерь (Router Z-Loss). Сегодня MoE — это фундамент выживания open-source движения: модели DeepSeek и Mixtral предлагают качество уровня GPT-4, затратив на свое создание менее 3% от бюджета OpenAI.

Хроники вместо памяти State Space Models

Механизм Self-Attention работает как лупа, которой нужно просветить каждое слово относительно каждого другого. На длинных дистанциях этот процесс захлебывается. State Space Models (SSM) и их флагман Mamba предложили радикально иной подход к работе с последовательностями.

Механика:

Если трансформер держит в оперативной памяти весь текст целиком, то Mamba работает как стенографист. Она не перечитывает весь документ при встрече с новым словом, а лишь обновляет заметку о текущем состоянии контекста.

Эффект:

Сложность обработки падает с квадратичной до линейной. Это открыло возможность обучать модели на контекстах длиной в миллионы токенов. Индустрия совершила ироничный круг: отказавшись от рекуррентных сетей (RNN) в 2017 году, она вернулась к их логике в 2026, но на новом математическом уровне. Гибриды вроде RWKV теперь объединяют скорость RNN с мощью трансформеров, что делает их незаменимыми для носимой электроники и edge-устройств.

Диффузионные LLM, генерация через отрицание

Традиционные языковые модели — это писатели, которые не могут стереть написанное. Они генерируют текст строго слева направо, токен за токеном. Если модель ошиблась в первой строчке пятистраничного отчета, она обречена нести эту ошибку до конца. Скорость такой генерации ограничена физикой — около 300 токенов в секунду.

Диффузионные LLM (Gemini Diffusion, Mercury) принесли в текст методы из мира генерации изображений:

Механика:

Вместо того чтобы угадывать следующее слово, модель создает зашумленный смысловой эскиз всего ответа в скрытом пространстве. Затем, за несколько мощных итераций, она очищает этот шум, проявляя связный и грамотный текст.

Эффект:

Скорость генерации взлетела до 1000+ токенов в секунду. Но главное преимущество — это глобальный контекст. Поскольку модель видит картинку всего ответа сразу, она способна к самокоррекции. Если в процессе очистки логика начала рушиться, диффузионный процесс может вернуться на шаг назад и изменить начало предложения, чтобы финал стал логичным. Это превращает ИИ из генератора в настоящего редактора.

Архитектура ИИ — это не выбор между MoE, Mamba или Диффузией. Это конструктор. Современные системы используют MoE для экономии энергии, State Space Models для чтения терабайтов данных и диффузионные декодеры для мгновенного вывода. Сверху на это накладываются протоколы взаимодействия (MCP) и агентные надстройки, превращающие нейросеть из пассивного справочника в активного исполнителя, способного планировать действия и обращаться к внешним инструментам.

Экономическая и софтверная демократизация

Инфраструктурные сдвиги и отказ от монолитных архитектур спровоцировали тектонический разлом в экономике высоких технологий. Искусственный интеллект окончательно перестал быть прикладным софтом и превратился в базовую коммунальную инфраструктуру — невидимую прослойку, на которой держится современный бизнес. Эпоха монопольного диктата API вендоров закончилась: господствует гибридная мультиоблачная стратегия, где вычислительные мощности распределены между частными дата-центрами, edge устройствами и браузерами пользователей.

Каста владельцев против мира арендаторов

Глобальный рынок вычислений поляризовался на два изолированных лагеря.

Сверхкластеры гиперскейлеров:

Технологические гиганты возводят закрытые крепости на базе архитектуры NVIDIA Rubin. Эти инвестиции исчисляются триллионами долларов и никогда не будут монетизированы через продажу токенов внешним клиентам. Это инфраструктура для самих себя, защищенная высочайшими стенами проприетарности.

Эпоха Neocloud и Open Source:

Весь остальной мир от финтех стартапов до государственных корпораций — оказался отрезан от этих мощностей. Эту нишу заполнили neocloud провайдеры, сдающие в аренду разреженные MoE кластеры.

Суверенитет корпораций:

Главным драйвером перемен стали открытые архитектуры (DeepSeek, Mixtral). Банки, страховые гиганты и фармакологические компании массово переводят вычисления on-premise. Появление мощных управляемых платформ (managed platforms) с сертификацией под compliance позволило бизнесу развернуть локальные аналоги GPT-4 внутри своего периметра. Теперь корпорации не просто арендуют черный ящик, а владеют полным стеком: они дообучают модели на своих данных, внедряют RAG и оптимизируют веса, не передавая ни байта коммерческой информации за пределы своего контура.

Алхимия оптимизации

Дефицит электроэнергии и взрывной рост стоимости инференса заставили индустрию отказаться от экстенсивного пути развития.

Квантование и дистилляция:

Индустриальным стандартом стало радикальное сжатие нейросетей. С помощью квантования (перевод весов из тяжелой 32-битной точности в легкую 4-битную) и дистилляции (когда маленькая студенческая модель копирует логику большой учительской) размер state-of-the-art моделей уменьшается в 20 раз.

Сохранение интеллекта:

Потеря точности при этом составляет всего 8 — 10%. Это технологическое чудо позволило вырваться за пределы серверных комнат. Оптимизированные SOTA модели теперь работают на камерах городского наблюдения, в бортовых компьютерах автомобилей и на промышленных IoT датчиках, где физически невозможно разместить систему жидкостного охлаждения.

Экономика токена:

Снижение себестоимости одного запроса (cost-per-token) на порядки сделало ИИ рентабельным для низкомаржинального бизнеса — логистики, документооборота и базового CRUD софта, где раньше нейросети считались непозволительной роскошью.

Когда браузер стал суперкомпьютером

Включение WebGPU в качестве нативного стандарта во всех веб обозревателях стерло грань между нативным десктопным софтом и сайтами.

Смерть WebGL:

Веб приложения получили прямой, низкоуровневый доступ к шейдерным конвейерам видеокарт.

Офлоадинг на клиента:

Это позволило перенести тяжелый инференс с серверов на плечи пользователей. Легкие нейросети для ретуши фото, шумоподавления микрофона или анализа текста теперь исполняются локально на видеокарте посетителя сайта.

Новая волна SaaS:

Разработчикам больше не нужно содержать GPU фермы для запуска ИИ стартапов. Достаточно написать веб сервис, который будет использовать вычислительную мощность миллионов пользовательских ПК. Это привело к ренессансу веб-приложений: по скорости работы и функционалу они стали неотличимы от тяжелых нативных программ, работающих на Windows или macOS.

Гиперскейлеры владеют рудниками (Rubin), бизнес строит перерабатывающие заводы (neocloud и open-source), а конечные пользователи сами генерируют часть полезной энергии на местах (WebGPU и edge оптимизация), формируя децентрализованную и экономически устойчивую экосистему.

Заключение

Индустрия окончательно разделилась на два контура. Первый — это закрытые проприетарные гиперфабрики гиперскейлеров на базе NVIDIA Rubin, где обучение моделей требует ресурсов промышленного города. Второй — децентрализованный инференс на периферии. Благодаря архитектуре Mixture-of-Experts, State Space Models и агрессивному квантованию, state-of-the-art нейросети теперь работают на edge устройствах и в браузерах пользователей (WebGPU), обеспечивая мгновенный отклик и полный суверенитет данных.

Будущее ИИ определяется не количеством параметров, а эффективностью термодинамики и маршрутизации. Эпоха монолитных трансформеров завершена: современный интеллект — это гибридный конструктор, где экономия вычислений, скорость света в оптике и автономность края значат больше, чем грубая вычислительная сила.

Chaitex.ru

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: