Краткая история нейроморфных компьютеров

Краткая история нейроморфных компьютеров

Подражание природным компьютерам

Как осуществляются вычисления в природе? В попытках ответить на этот вопрос, так или иначе, на ум приходит биологическая нервная система, хотя и в других проявлениях жизни существует множество примеров вычислений. Некоторые примеры включают растения [1–5], бактерии [6], простейшие организмы [7] и рои [8]. Большинство попыток понять биологические нервные системы располагаются вдоль спектра. На одном конце осуществляются попытки имитировать наблюдаемые физические свойства нервной системы. Эти модели обязательно содержат параметры, которые следует настроить, чтобы они соответствовали биофизическим и архитектурным свойствам природной модели. Примеры такого подхода включают в себя нейроморфную цепь Боахена (Boahen) и процессор Neurogrid [9], разработанные в Стэнфордском университете, математическую модель спайковых нейронов Ижикечива (Izhikevich) [10] и крупномасштабное моделирование Элиасмита (Eliasmith) [11]. На другом конце спектра отказываются от биологического подражания в попытке решить проблемы, связанные с мозгом, такие как восприятие, планирование и управление, с помощью алгоритмов. Обычно это называется машинным обучением. К алгоритмическим примерам можно отнести максимизацию опорных векторов [12], кластеризацию методом k-средних [13] и использование метода случайных лесов [14]. Многие подходы попадают вдоль спектра между подражанием и машинным обучением. К таким методам относятся нейроморфные процессоры CAVIAR [15] и CogniMem [16], а также нейросинаптическое ядро IBM [17]. Более десяти лет мы искали альтернативный подход за пределами типичного спектра, задавая себе простой, но важный вопрос: как мозг может обрабатывать данные, учитывая, что он создан из энергозависимых компонентов? Изучение этого вопроса привело нас к формализованной теории вычислений на основе обучения Хебба и анти-Хебба (AHaH), разработкам нейроморфного сопроцессора под названием «термодинамическое ОЗУ» и многообещающим результатам первого мемристора компании Knowm, имитирующего принцип действия синапсов. Но прежде чем мы поговорим о перспективах нейроморфных вычислений, давайте взглянем на основные наработки и события, которые привели к текущему положению вещей в этой области.

Стоя на плечах гигантов

В 1936 году Тьюринг (Turing), известный новаторской работой в области вычислений и фундаментальной статьей «О вычисляемых числах» [18], предоставил формальное доказательство того, что машину можно создать таким образом, чтобы она могла выполнять любые возможные математические вычисления, представленные в виде алгоритма. Эта работа стала отправной точкой в развитии современной отрасли вычислений. Немногие знают, что, помимо работы, которая привела к созданию цифрового компьютера, Тьюринг спрогнозировал возникновение коннекционизма и нейроподобных вычислительных систем. В своем докладе «Интеллектуальные машины» [19] он описал машину, состоящую из искусственных нейронов, каким-либо способом связанных с помощью модификаторов. (Этот доклад был написан в 1948 году, но опубликован лишь после смерти автора в 1968 году.) Согласно автору, модификаторы можно настроить таким образом, чтобы они передавали или прерывали сигнал. Нейроны при этом состоят из логических элементов И-НЕ. Тьюринг выбрал именно эти логические элементы, потому что на их основе можно создать любую другую логическую функцию.

В 1944 году в свет вышла книга физика Шредингера (Schr?dinger) «Что такое жизнь?», основанная на серии лекций, прочитанных в дублинском Тринити-колледже. В книге Шредингер задает вопрос: «Как физика и химия могут объяснить те явления в пространстве и времени, которые происходят с живим организмом?». Он описал апериодический кристалл, который предугадал природу ДНК (тогда еще не раскрытую), а также концепцию негэнтропии, согласно которой живая система экспортирует энтропию, чтобы поддержать свою собственную энтропию на низком уровне [20].

Только через год после выхода работы Тьюринга «Интеллектуальные машины» в 1949 году Хебб (Hebb) описал синоптическую пластичность как механизм, с помощью которого реализуется феномен обучения и памяти [21]. Десять лет спустя в 1958 году Розенблатт (Rosenblatt) определил теоретические основы коннекционизма и смоделировал перцептрон, что вызвало ажиотаж в отрасли [22].

В 1953 году Барлоу (Barlow) обнаружил, что нейроны мозга лягушки отвечают на конкретные визуальные стимулы [23]. Вслед за этим в 1959 году Хьюбел (Hubel) и Визел (Wiesel) смогли показать существование нейронов в первичной зрительной коре котов, которые выборочно реагируют на контуры при определенных ориентациях [24]. Это привело к созданию теории рецептивных полей, согласно которой клетки одного уровня структуры формируются из вводов клеток на более низком уровне.

В 1960 году Уидроу (Widrow) и Хофф (Hoff) разработали ADALINE, физическое устройство, в котором использовалось электрохимическое покрытие угольных стержней для имитации синоптических элементов, называемых мемисторами [25]. В отличие от мемристоров, мемисторы — это электрохимические компоненты. Проводимость между двумя электродами мемисторов зависит от интеграла от силы тока, проводимого в третьем электроде, по времени. Эта работа представляет собой первое объединение мемристоров с электронной обратной связью, что имитирует механизм познания.

В 1969 году Минский (Minsky) и Паперт (Papert) вызвали ажиотаж своими исследованиями о перцептронах. Они проанализировали некоторые свойства перцептронов и показали, что с их помощью нельзя вычислить функцию «исключающего ИЛИ» (XOR) с использованием только местных нейронов [26]. Реакция на исследования Минского и Паперта отвлекла внимание от соединительных сетей до появления ряда новых открытий, в том числе нейронной сети Хопфилда (1982 г.) [27], метода обратного распространения ошибки (1986 г.) [28], теории адаптивного резонанса (1987 г.) [29] и др. Ажиотаж в области нейронных сетей начал исчезать, так как ключевую проблему генерализации в отношении запоминания оценили в полной мере. Тогда вычислительный переворот сошел на нет.

В 1971 году Чуа (Chua) на основе симметрических аргументов создал теорию мемристора (запоминающего электрохимического элемента), который представляет собой недостающий четвертый элемент электросхемы с двумя электродами. Сопротивление мемристора зависит от суммарного заряда, прошедшего через электроды [30,31].

В 1980 году основоположник СБИС Мид (Mead) и Конвей (Conway) опубликовали книгу «Введение в проектирование больших интегральных микросхем» [32]. Кроме этого, Мид, Хопфилд и Фейнман (Feynman) провели совместные исследования вычислительных процессов в мозгу животных. Это сотрудничество ускорило выход в свет работ по нейронной сети Хопфилда, нейроморфной инженерии Мида и методам вычисления в области физики Фейнмана. Мид создал первые в мире нейронные микросхемы, а также искусственные сетчатку и улитку уха, которые он описал в своей книге Analog VLSI Implementation of Neural Systems («Аналоговое внедрение нейронных систем с большими интегральными микросхемами»), опубликованной в 1989 году [33].

В 1982 году Байненсток (Beinenstock), Купер (Cooper) и Мунро (Munro) опубликовали теорию синаптических изменений [34]. Известная ныне как правило пластичности BCM, эта теория предпринимает попытки объяснить эксперименты измерения селективной способности нейронов в первичной сенсорной коре головного мозга и ее зависимость от нейронных вводов. Если взять данные естественных изображений, правило BCM сосредотачивается на селективно-ориентированных рецептивных полях. Это является убедительным доказательством того, что такие же механизмы работают в коре головного мозга, что подтверждают эксперименты Хьюбела и Визеля. В 1989 году Барлоу предположил, что такая селективная реакция является результатом неконтролируемого алгоритма обучения, который пытается найти факториальный код независимых функций [35]. Белл (Bell) и Сежновски (Sejnowski) продолжили работу в этой области в 1997 году и показали, что независимые компоненты естественной среды — это пороговые фильтры [36]. Это стало основой математической формулировки пластичности нейронов: нейроны изменяют свой синаптический вес для извлечения независимых компонентов. Создавая математическую основу пластичности нейронов, Оя (Oja) вместе с другими учеными разработал несколько правил пластичности, указав статистические свойства распределения выходных сигналов нейронов в качестве объективных функций. Это привело к созданию принципа анализа независимых компонентов (АНК) [37,38].

Примерно в то же время в результате ранних исследований статистической теории обучения Вапника-Червоненкиса появилась теория максимизации опорных векторов, которая стала общепризнанным решением проблемы генерализации в отношении механизма запоминания в классификаторах [12,39].

В 2004 году Нугент (Nugent) и другие показали, каким образом правило пластичности на основе AHaH вытекает из минимизации эксцесс-целевой функции и используется в качестве основы самоорганизованной отказоустойчивости в сетевых классификаторах машины опорных векторов. Таким образом, была продемонстрирована связь максимизации границ с анализом независимых компонентов и пластичностью нейронов [40,41]. В 2006 году Нугент впервые подробно рассказал о способах реализации правила пластичности на основе AHaH в схеме мемристора и продемонстрировал, что свойства аттрактора AHaH можно использовать для настройки универсальной перенастраиваемой логической схемы [42-44].

В 2008 году HP Laboratories объявили о разработке предполагаемого электронного устройства Чуа — мемристора [45] и исследовали его использование в качестве синапсов в нейроморфных схемах [46]. Еще ранее сообщалось о разработке нескольких устройств, подобных мемристорам [47–51], которые демонстрировали характерный цикл гистерезиса, но они не были описаны как мемристоры. В том же году Хилтон (Hylton) и Нугент запустили программу SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics) с целью продемонстрировать крупномасштабное адаптивное обучение с использованием интегрированных мемристоров на уровне биологических процессов. С 2008 года исследователи всего мира заинтересовались мемристорами [52–56], их моделями [57–62], их связью с биологическими синапсами [63–69] и их использованием в альтернативных архитектурах вычислительных систем [70–81].

В начале 2014 года мы опубликовали статью AHaH Computing — From Metastable Switches to Attractors to Machine Learning («Вычисления на основе обучения Хебба и анти-Хебба — от метастабильных переключателей до аттракторов и машинного обучения»). В ней формально описан новый подход к вычислениям, который мы называем «Вычисления на основе обучения Хебба и анти-Хебба», при котором, в отличие от традиционных компьютеров, память и процессор соединены. Идея основана на динамике аттракторов в нестабильных рассеивающих энергию электронных устройствах, за основу которых были взяты биологические системы. В результате мы получаем привлекательную альтернативную архитектуру со способностью к адаптации, самообслуживанию и обучению на основе взаимодействия с окружающей средой. В статье продемонстрированы функции машинного обучения высокого уровня, включая неконтролируемую кластеризацию, контролируемую и неконтролируемую классификацию, прогнозирование сложных сигналов, неконтролируемый роботизированный привод и комбинаторную оптимизацию. Позднее в том же году мы опубликовали статьи Thermodynamic RAM Technology Stack («Стек технологий термодинамического ОЗУ») и Cortical Computing with Thermodynamic-RAM («Использование термодинамического ОЗУ для рассчетов на базе вычислений, осуществляемых в коре головного мозга»), в которых описан принцип работы устройства и полная интеграция стека, а также представлены набор команд kT-RAM и API от компании Knowm для внедрения сопроцессоров для нейроморфного обучения на базе AHaH в существующие компьютерные платформы.

В конце 2014 года IBM объявила о создании интегральной схемы спайковых нейронов под названием TrueNorth, которая позволяет обойти узкие места фон-неймановской архитектуры, потребляет 70 мВт энергии и обладает плотностью мощности около 1/10 000 от плотности мощности обычных микропроцессоров. Однако на данный момент этому процессору не доступны внутрипроцессорное обучение и внутрипроцессорная адаптация.

Что насчет квантовых компьютеров?

Квантовые компьютеры — удивительная и привлекательная идея. Однако здесь к месту придутся слова Йоги Берра (Yogi Berra): «В теории нет никакой разницы между теорией и практикой. На практике эта разница есть». Квантовые компьютеры основаны на концепции кубита. Кубит может продемонстрировать такое исключительное свойство, как квантовая запутанность. Благодаря запутанности квантовые частицы становятся как-бы «связанными» и ведут себя не как изолированные частицы, а как система. Проблема в том, что частицы могут связываться с чем угодно, например с блуждающими молекулами или фотонами. До тех пор, пока мы можем предельно точно контролировать процесс связывания, такие объединенные частицы можно использовать для решения проблем действительно непредсказуемыми способами. Звучит здорово, не правда ли? Конечно же! Но только если такую систему вообще возможно создать. Спустя 30 лет с того момента, как великие физики, такие как Ричард Фейнман (Richard Feynman), начали обсуждать этот вопрос, нам еще предстоит понять, как создать квантовый компьютер, который на практике работает лучше, чем уже готовое оборудование. Почему так? Потому что природа не может сосуществовать с кубитами. Она уничтожает их с той же скоростью, с которой они создаются. Каждая живая клетка, каждый нейрон, почти каждый атом и молекула на планете постоянно взаимодействуют с окружающей средой. И именно процесс этого взаимодействия (т. е. декогеренция) определяет частицы в первую очередь. Действительно сложно использовать в качестве базовой единицы вычислений состояние материи, с которым природа не может сосуществовать. Именно поэтому получается создать лишь такие аппараты, для снижения температуры которых практически до абсолютного нуля требуются огромные затраты энергии. Означает ли это, что функционирующий квантовый компьютер невозможно создать? Конечно же нет. Однако еще предстоит справиться с множеством практических трудностей, не говоря уже о сопутствующих затратах.

На мероприятии Google Tech Talk Сет Ллойд (Seth Lloyd) заметил, что квантовые вычисления изначально трудно понять.

С учетом этого получится ли пустить в широкий обиход настолько сложную в понимании и использовании технологию (при условии, что она будет работать, как обещают), если принципы ее работы понимают лишь ее разработчики? Не лучше ли использовать «простую, привычную и интуитивно понятную» технологию? Мы не говорим, что стоит бросить попытки разрабатывать технологии квантовых вычислений. Просто стоит учитывать все практические аспекты при оценке технологий искусственного интеллекта.

Заглядывая в будущее

Несомненно, текущая основная цель — создать и вывести в коммерческий оборот первые в мире нейроморфные микросхемы, что позволит разрабатывать невозможные ранее высокопроизводительные приложения машинного обучения с низким энергопотреблением и небольшими затратами ресурсов. Мы, безусловно, следуем собственному пути и считаем, что наши методы и полученные результаты оправдывают ожидания и закладывают крепкую основу для будущих разработок. Более десяти лет назад Нугент озвучил свой изначальный замысел так: «Переосмыслить наше виденье принципа вычислений и спроектировать новый тип процессора, который физически приспосабливается и самостоятельно учится». В нервной системе (и во всех других природных системах) процессор и память являются такими же механизмами обработки. Расстояние между процессором и памятью равно нулю. В то время как современные микросхемы должны сохранять абсолютный контроль над внутренними состояниями (единицами и нулями), природные компьютеры непостоянны — их компоненты постоянно изменяются, состояние ухудшается, они непрерывно восстанавливаются и воссоздают себя заново. Согласно второму закону термодинамики, материя спонтанно изменяет свое состояние для оптимального рассеивания потока энергии. Оставшейся задачей было выяснить, каким образом воссоздать этот феномен в микросхеме и понять его в достаточной мере, чтобы согл

Источник: vk.com

Комментарии: