Исследователи предлагают термодинамическую вычислительную архитектуру, которая может значительно снизить энергопотребление ИИ

Исследователи предложили термодинамическую вычислительную архитектуру на основе транзисторов, которая может сравняться по производительности с графическими процессорами, потребляя при этом примерно в 10 000 раз меньше энергии.

Система использует вероятностное оборудование, машины Больцмана и модели шумоподавления для генерации выходных данных путем постепенного преобразования случайного шума в структурированные данные.

Результаты основаны на моделировании и протестированной схеме генерации случайных чисел, при этом масштабирование для более крупных рабочих нагрузок ИИ пока не решено.

Поскольку искусственный интеллект стимулирует беспрецедентное развитие энергоемких центров обработки данных, исследователи изучают вычислительные архитектуры, выходящие за рамки графических процессоров (GPU). Одно из новых предложений по решению этой проблемы — это вероятностный компьютер, построенный на основе обычных транзисторов, который, по словам исследователей, может выполнять определенные задачи искусственного интеллекта с гораздо меньшим энергопотреблением, чем современное оборудование.

В исследовании, опубликованном в журнале npj Unconventional Computing, описывается то, что исследователи называют шумоподавляющей термодинамической компьютерной архитектурой (DTCA). Вместо того чтобы полагаться на детерминированные вычисления, как в обычных процессорах, предлагаемая архитектура использует контролируемую случайность для выполнения вероятностных вычислений непосредственно в аппаратном обеспечении. Авторы подсчитали, что на простом тесте генерации изображений такая система может соответствовать производительности графических процессоров, потребляя при этом примерно в 10 000 раз меньше энергии на сгенерированный образец.

Работу возглавили исследователи из Extropic Corp. и Массачусетского технологического института, включая специалиста по квантовой информации Исаака Чуанга.

Хотя предлагаемый компьютер полностью классический и не выполняет квантовых вычислений, его основные концепции будут знакомы многим в сообществе квантовых вычислений. Архитектура опирается на идеи статистической механики, машин Больцмана и моделей Изинга — математических моделей, также используемых в квантовом отжиге и оптимизации, вдохновленной квантовыми процессами.

Наряду с квантовыми компьютерами, нейроморфными процессорами, фотонными ускорителями и аналоговыми чипами ИИ, термодинамические вычисления стали еще одной перспективной архитектурой, направленной на повышение эффективности специализированных рабочих нагрузок.

Выход за рамки графических процессоров

Исследование фокусируется на проблеме, которую индустрии ИИ становится все труднее игнорировать.

«Беспрецедентные инвестиции в крупномасштабные системы ИИ в последнее время вскоре создадут нагрузку на мировую энергетическую инфраструктуру», — пишет команда. «Каждый год американские компании тратят сумму, превышающую скорректированную на инфляцию стоимость программы «Аполлон», на центры обработки данных, ориентированные на ИИ. К 2030 году эти центры обработки данных могут потреблять около 10% всей энергии, производимой в США».

Проблема заключается в том, что обучение и развертывание больших моделей ИИ требует огромных вычислительных ресурсов, что приводит к миллиардным инвестициям в новые центры обработки данных и вызывает опасения по поводу будущего спроса на электроэнергию. Вместо того чтобы пытаться постепенно повышать эффективность существующих архитектур графических процессоров, исследователи предполагают, что сами алгоритмы ИИ формируются доступным оборудованием — явление, которое иногда называют «аппаратной лотереей». Они считают, что различное оборудование может позволить принципиально иные — и потенциально более энергоэффективные — подходы к машинному обучению.

Их предложение сосредоточено на вероятностных вычислениях, области, которая выполняет вычисления путем манипулирования вероятностными распределениями, а не полагаясь исключительно на детерминированную арифметику.

Предыдущие вероятностные компьютеры, как правило, реализовывали большие модели, основанные на энергопотреблении, непосредственно в аппаратном обеспечении. Хотя в принципе они привлекательны, такие системы становятся все более сложными для эффективного сбора данных по мере роста сложности данных. В результате замедление работы в значительной степени нивелирует их теоретические преимущества в эффективности.

В этой работе предпринимается попытка преодолеть это ограничение, заимствуя концепцию из диффузионных моделей, одной из методик машинного обучения, лежащих в основе современных генераторов изображений.

Вместо того чтобы просить одну большую вероятностную модель представлять весь набор данных, исследователи делят задачу на последовательность более простых шагов шумоподавления. На каждом этапе случайный шум постепенно преобразуется в структурированные данные, что снижает вычислительную нагрузку на любую отдельную модель, избегая при этом того, что авторы описывают как «компромисс между смешением и выразительностью», который ограничивал возможности более ранних вероятностных аппаратных средств.

Полностью транзисторная конструкция

В отличие от нескольких предыдущих предложений по вероятностным вычислениям, согласно исследованию, архитектура не зависит от экзотических аппаратных компонентов.

Вместо этого исследователи разработали свою систему на основе обычных КМОП-транзисторов, используя специально разработанные транзисторные схемы для генерации программируемых случайных чисел. Эти случайные биты составляют основу вероятностных вычислений, выполняемых на всем чипе.

Предлагаемая архитектура организует тысячи этих схем выборки в массивы, реализующие разреженные машины Больцмана, которые представляют собой модели искусственного интеллекта, которые изучают закономерности в данных, присваивая вероятности различным возможным результатам. Вместо того, чтобы строить одну массивную вероятностную модель, несколько более мелких моделей объединяются в цепочку для постепенного преобразования зашумленных данных в значимые выходные данные.

По мнению команды, модульная конструкция в конечном итоге может быть реализована несколькими способами, включая несколько выделенных аппаратных блоков на одном чипе или наборы взаимодействующих чипов, выполняющих разные этапы вычислений.

Чтобы подтвердить осуществимость аппаратного обеспечения, команда изготовила и протестировала экспериментальный генератор случайных чисел на основе транзисторов. Лабораторные измерения показали, что схема вела себя так, как ожидалось, и оставалась устойчивой при моделированных производственных отклонениях, обычно встречающихся при производстве полупроводников.

Результаты тестов

Чтобы оценить архитектуру, исследователи смоделировали предлагаемое оборудование с помощью графических процессоров, включив измерения физического генератора случайных чисел в свою энергетическую модель.

В качестве основного теста использовался Fashion-MNIST, относительно простой набор данных изображений, часто используемый для оценки алгоритмов машинного обучения.

По оценкам исследователей, их архитектура может генерировать изображения с производительностью, сравнимой с реализациями графического процессора, при этом требуя примерно в 10 000 раз меньше энергии на сгенерированный образец. Оценка отражает прогнозируемое энергопотребление будущей аппаратной реализации, а не измерения полностью работающего компьютера.

Команда также исследовала гибридный подход, сочетающий традиционные нейронные сети с термодинамическим оборудованием. Используя небольшую нейронную сеть для сжатия изображений CIFAR-10 в двоичное представление перед их обработкой вероятностным компьютером, исследователи обнаружили, что они могут достичь производительности, сравнимой с традиционной генеративно-состязательной сетью, используя примерно одну десятую от количества параметров нейронной сети в детерминированной части системы.

По мнению исследователей, эта гибридная архитектура в конечном итоге может оказаться более практичной, чем ожидание, что вероятностное оборудование будет самостоятельно решать каждый аспект машинного обучения.

Актуальность за пределами ИИ

Хотя исследование сосредоточено на выводах ИИ, оно также может оказать влияние на растущую диверсификацию компьютерного оборудования.

На протяжении десятилетий улучшения в вычислительной технике во многом зависели от масштабирования процессоров общего назначения, прежде чем графические процессоры стали доминирующим ускорителем машинного обучения. Однако сегодня исследователи все чаще предполагают, что будущие вычислительные системы будут состоять из множества специализированных процессоров, включая квантовые компьютеры, каждый из которых оптимизирован для определенных рабочих нагрузок.

Ожидается, что квантовые компьютеры решат определенные проблемы оптимизации, химии и криптографии. Фотонные процессоры призваны ускорять нейронные сети с помощью света. Нейроморфные чипы имитируют аспекты биологического мозга для энергоэффективного вывода.

Термодинамические вычисления представляют собой еще одну попытку определить рабочие нагрузки, которые могут извлечь выгоду из специализированного оборудования, основанного на статистической физике, а не на традиционной цифровой логике.

Для исследователей квантовых вычислений работа также показывает растущее влияние идей, заимствованных из физики, в том числе распределений Больцмана, стохастической выборки и моделей Изинга, на новые вычислительные архитектуры.

Следующие шаги и проблемы

Несмотря на многообещающие оценки энергии, исследователи уделяют значительное внимание ограничениям своей работы.

Например, сообщаемые результаты основаны на моделировании, а не на полной аппаратной реализации. Физически продемонстрирован только генератор случайных чисел на основе транзисторов, тогда как более широкая вычислительная архитектура остается теоретической. Наборы эталонных данных Fashion-MNIST и CIFAR-10 также намного проще, чем современные модели большого языка или новейшие системы генерации изображений.

Исследователи также признают, что они еще не решили, как масштабировать эти системы для представления все более сложных данных, сохраняя при этом эффективную выборку — одну из центральных проблем, стоящих перед вероятностными вычислениями.

Простое увеличение размера или связности вероятностных моделей в конечном итоге снижает их эффективность, что позволяет предположить, что потребуются дополнительные алгоритмические усовершенствования, прежде чем архитектура сможет справиться с крупнейшими рабочими нагрузками ИИ. Команда указывает, что будущий прогресс, скорее всего, будет зависеть от более тесной интеграции вероятностного оборудования и традиционных нейронных сетей, а не от полной замены существующих ускорителей искусственного интеллекта.

Несмотря на то, что проблемы остаются, исследователи добавляют, что это исследование следует рассматривать как солидный «первый шаг» на пути к новой системе искусственного интеллекта, достойной дальнейших инвестиций и исследований.

«Обширный анализ, представленный в этой рукописи, который охватывает от алгоритмических идей высокого уровня до лабораторных измерений новых аналоговых схем, впервые устанавливает, что вероятностная вычислительная система может существенно превзойти традиционное оборудование искусственного интеллекта», — пишут исследователи. «В целом эта работа представляет собой убедительный аргумент для значительных инвестиций в дальнейшее развитие вероятностных вычислительных систем с низким энергопотреблением».

https://thequantuminsider.com/2026/07/03/researchers-propose-thermodynamic-computing-architecture-that-could-dramatically-reduce-ai-energy-use/

Телеграм: t.me/ainewsline

Источник: thequantuminsider.com

Комментарии: