Нейросеть впервые обучили на оптическом чипе

Учёные из Стэнфорда представили метод обучения нейросети с помощью физического устройства — оптического чипа, который работает как алгоритм обратного распространения (backpropagation). Лазер подается через оптический контур, а на выходе из устройства рассчитывается разница от ожидаемого результата. Полученная информация используется для генерации нового светового сигнала, который отправляется в противоположном направлении. Измеряя оптическую интенсивность светоделителей во время этого процесса, можно смотреть, как производительность нейросети изменяется в зависимости от настроек. Вычисления выполняются параллельно, поэтому метод способен ускорить обучение моделей.

Оптическое обучение нейронных сетей может привести к более эффективному искусственному интеллекту

 Вашингтон-исследователи показали, что можно обучать искусственные нейронные сети непосредственно на оптическом чипе. Значительный прорыв показывает, что оптическая схема может выполнять критическую функцию искусственной нейронной сети на основе электроники и может привести к менее дорогостоящим, более быстрым и более энергоэффективным способам выполнения таких сложных задач, как распознавание речи или изображений.
 
“Использование оптического чипа для выполнения нейросетевых вычислений более эффективно, чем это возможно с цифровыми компьютерами может позволить более сложные проблемы должны быть решены”, - сказал руководитель исследовательской группы Shanhui вентилятор из Стэнфордского университета. "Это повысило бы способность искусственных нейронных сетей выполнять задачи, необходимые для самоходных автомобилей, или, например, формулировать соответствующий ответ на разговорный вопрос. Это также может улучшить нашу жизнь так, как мы не можем себе представить сейчас. Искусственная нейронная сеть-это тип искусственного интеллекта, который использует подключенные единицы для обработки информации таким же образом, как мозг обрабатывает информацию. Использование этих сетей для выполнения сложной задачи, например, распознавания голоса, требует критического шага обучения алгоритмов классификации входных данных, таких как различные слова. Хотя оптические искусственные нейронные сети были недавно продемонстрированы экспериментально, этап обучения был выполнен с использованием модели на традиционном цифровом компьютере, а затем конечные настройки были импортированы в оптическую цепь. ВОптика, Оптическое Общество журнал для ударопрочных исследования, Стэнфордского университета исследователи сообщают, методика обучения этих сетей напрямую в Устройство по реализации оптический аналог ‘обратного распространения алгоритм, который является стандартным способом, чтобы обучить обычных нейронных сетей. ” Использование физического устройства, а не компьютерной модели для обучения делает процесс более точным", - сказал Тайлер У. Хьюз, первый автор статьи. "Кроме того, поскольку этап обучения является очень дорогостоящей частью реализации нейронной сети, выполнение этого шага оптически является ключом к повышению вычислительной эффективности, скорости и энергопотребления искусственных сетей.” Свет-сети
Несмотря на то, что обработка нейросетей обычно выполняется с помощью традиционного компьютера, существуют значительные усилия для разработки оборудования, оптимизированного специально для нейросетевых вычислений. Оптика-основанные приборы большого интереса потому что они могут выполнить вычисления в параллели пока использующ меньше энергию чем электронные устройства.
 
В новой работе исследователи преодолели значительный вызов реализации полностью оптической нейронной сети, разработав оптический чип, который воспроизводит способ обучения нейронных сетей обычными компьютерами.
 
Искусственную нейронную сеть можно рассматривать как черный ящик с рядом ручек. Во время тренировки эти ручки немного повернулись, а затем система тестируется, чтобы проверить, улучшилась ли производительность алгоритмов.
 
“Наш метод не только помогает предсказать, в каком направлении поворачивать ручки, но и сколько вы должны поворачивать каждую ручку, чтобы приблизить вас к желаемой производительности”, - сказал Хьюз. "Наш подход значительно ускоряет обучение, особенно для больших сетей, потому что мы получаем информацию о каждой ручке параллельно.”
 
На чипе обучение
Новый тренировочный протокол работает на оптических схемах с настраиваемыми сплиттерами пучка, которые регулируются путем изменения настроек оптических фазовращателей. Лазерные лучи, кодирующие обрабатываемую информацию, запускаются в оптическую цепь и переносятся оптическими волноводами через сплиттеры пучка, которые настраиваются как ручки для тренировки нейросетевых алгоритмов.
 
В новом протоколе тренировки, лазер сперва подан через оптически цепь. При выходе из устройства рассчитывается разница от ожидаемого результата. Эта информация после этого использована для того чтобы произвести новый светлый сигнал, который послан назад через оптически Сеть в противоположном направлении. Путем измерять оптически интенсивность вокруг каждого splitter луча во время этого процесса, исследователи показали как обнаружить, параллельно, как представление нейронной сети изменит по отношению к установке каждого splitter луча.Настройки фазовращателя могут быть изменены на основе этой информации, и процесс может быть повторен до тех пор, пока нейронная сеть не даст желаемого результата.
 
Исследователи проверили свою методику обучения с помощью оптического моделирования, обучив алгоритм для выполнения сложных функций, таких как выбор сложных функций в пределах набора точек. Они обнаружили, что оптическая реализация выполнена аналогично обычному компьютеру.
 
"Наша работа показывает, что вы можете использовать законы физики для реализации алгоритмов информатики", - сказал Фан. "Обучая эти сети в оптической области, он показывает, что оптические нейросетевые системы могут быть построены для выполнения определенных функций, используя только оптику.

	Название изображения: на-чипе нейронной сети обучение   титр: исследователи показали, нейронная сеть может быть обучена с помощью оптической схемы (синий прямоугольник на рисунке). В полной сети будет несколько из них связаны друг с другом. Лазерные входы (зеленые) кодируют информацию, которая переносится через чип оптическими волноводами (черными). Чип выполняет операции, имеющие решающее значение для искусственной нейронной сети, используя перестраиваемые сплиттеры пучка, которые представлены изогнутыми сечениями в волноводах.Эти секции соединяют два смежных волновода вместе и настраиваются путем настройки параметров оптических фазовращателей (красный и синий светящиеся объекты), которые действуют как "ручки", которые могут быть скорректированы во время тренировки для выполнения данной задачи.   Изображение Кредита: У. Тайлер Хьюз, Стэнфордский Университет

Исследователи планируют еще больше оптимизировать систему и хотят использовать ее для реализации практического применения нейросетевой задачи. Общий подход они конструировали смогли быть использованы с различными архитектурами нейронной сети и для других применений как reconfigurable оптика.

 Бумага: т. У. Хьюз, М. Минков, Ю. Ши, С. вентилятор, “Подготовка фотонных нейронных сетей с помощью на месте обратного распространения ошибки, градиентного и измерения,” оптика, том 5, выпуск 7, страницы 864-871 (2018) ДОИ: 10.1364/оптика.5.000864 о оптика
оптика находится в свободном доступе, только онлайн-журнал, посвященный быстрому распространению высокоэффективных экспертных исследований по всему спектру оптики и фотоники. Издается ежемесячно Оптическое Общество (osa), оптика обеспечивает форум для новаторских исследований, к которым международное сообщество должно оперативно получить доступ, будь то теоретические или экспериментальные, фундаментальные или прикладные исследования. Оптика поддерживает выдающийся редакцию более 50 ассоциированных редакторов со всего мира и находится под контролем главного редактора Алексей Гаэта, колумбийский Университет, США. Для более подробной информации, посетите оптика.

О Оптическое Общество
, основанная в 1916 году, Оптическое Общество (osa) является ведущей профессиональной организацией для ученых, инженеров, студентов и бизнес-лидеров, которые топлива открытий, формы реальных приложениях и ускорять достижения в науки о свете. Через всемирно известные публикации, встречи и инициативы членства, OSA обеспечивает качественные исследования, вдохновленные взаимодействия и выделенные ресурсы для своей обширной глобальной сети экспертов оптики и фотоники. Для получения более подробной информации, посетите osa.org.

Источник: www.osa.org

Комментарии: