В MIT разработали фотонный чип для глубокого обучения

2017-06-15 14:57

Системы глубокого обучения, основанные на имитации накопления знаний искусственными нейронными сетями, получили возможность усваивать информацию значительно быстрее и эффективнее. Совместная команда исследователей из Массачусетского технологического института (MIT) и других стран разработала новый подход к обучению с использованием света вместо электричества. Результаты их исследований были описаны 12 июня в журнале Nature Photonics научным сотрудником MIT Йиченом Шеном (Yichen Shen), аспирантом Николасом Харрисом (Nicholas Harris), профессорами Марином Солжачиком (Marin Soljacic) и Дирком Энглундом (Dirk Englund).

/ фото Bill Benzon CC

Традиционные типы компьютерной архитектуры не очень эффективны в части важных для нейронной сети вычислений — многократного умножения матриц. Команда MIT придумала эффективный способ выполнения этих операций на оптической основе. При этом настроенный чип, по словам профессора Солжачика, имеет практическое применение в отличие от других фотонных концептов.

Например, похожую работу проводила команда ученых под руководством Александра Тейта (Alexander Tait) из Принстонского университета в Нью-Джерси. Тогда исследователям удалось создать первую фотонную нейронную сеть, в которой нейроны представлены световыми волноводами.

Разработка из MIT, по словам ученых, позволяет мгновенно производить матричное умножение без больших затрат энергии. Некоторые преобразования света, например, фокусирование линзой, можно рассматривать как вычисления. Новый подход фотонных чипов задействует множество световых лучей, направленных таким образом, что их волны взаимодействуют друг с другом. Это создает интерференционные структуры, которые передают результат запланированной операции.

Схема фотонного чипа для глубокого обучения

Йичен Шен утверждает, что чипы с такой архитектурой смогут выполнять вычисления, осуществляемые типичными алгоритмами искусственного интеллекта, намного быстрее и с использованием менее одной тысячной энергии на операцию в сравнении с обычными электронными микросхемами.

Результат исследования ученые именуют «программируемым нанофотонным процессором». Он оснащен набором волноводов, связи между которыми могут быть изменены по мере необходимости для конкретного вычисления. Николас Харрис объясняет, что возможна настройка под любую матричную операцию.

Для выполнения расчетов традиционный компьютер кодирует информацию в несколько световых лучей, которые проходят через ряд узлов. Здесь оптический элемент, называемый интерферометром Маха — Цендера, меняет свойства проходящих лучей — это представляет собой эквивалент матричного умножения. Далее свет проходит через ряд аттенюаторов, слегка приглушающих интенсивность света.

Эти процессы обеспечивают обучение оптической нейронной сети. Однако для поддержания ее в обученном состоянии все же требуется подача небольшого количества энергии. Авторы исследования указывают, что у них есть решение, позволяющее чипу поддерживать свое состояние, не затрачивая энергию. Если это сработает, то единственными потребителями энергии станут лазер — источник световых лучей — и компьютер, который кодирует информацию.

Чтобы продемонстрировать работу системы, команда использовала фотонный чип для распознавания четырех основных гласных звуков. Даже в самом примитивном исполнении система обеспечила уровень точности в 77% по сравнению 90% в случае с традиционными моделями. Солжачик не видит препятствий для совершенствования системы.

Дирк Энглунд считает, что программируемый нанофотонный процессор команды MIT может быть применим в обработке сигналов для передачи данных. Разработка исследовательской группы, по его мнению, способна справляться с задачей преобразования сигнала в цифровую форму быстрее конкурентов, так как свет по своей сути является аналоговой средой.

Возможными прикладными областями использования технологии команда называет обслуживание дата-центров или систем безопасности, а также применение в строении беспилотных транспортных средств. Но, так или иначе, до массового распространения потребуется гораздо больше усилий и времени, чем уже было затрачено на первичную разработку технологии.

Джон Тиммер (John Timmer), научный редактор Ars Technica, утверждает, что у концепции есть ряд существенных ограничений. Главное из них — размер оптических микросхем: для решения ряда коммерческих задач, их нужно делать или большими, или пропускать через них свет несколько раз. В последнем случае нужно будет разработать грамотный алгоритм для вычислений. Из-за этого в контексте более сложных операций может быть потеряна большая часть заявленных преимуществ, однако если исследователи смогут преодолеть препятствия, а также повысить точность обучения, система, по мнению Тиммера, сможет поддерживать глубокое обучение, используя в 100 тыс. раз меньше энергии, чем традиционные GPU.

Источник: habrahabr.ru



		В MIT разработали фотонный чип для глубокого обучения
МЕНЮ Искусственный интеллект Поиск Регистрация на сайте Помощь проекту ТЕМЫ Новости ИИ Искусственный интеллект Голосовой помощник Городские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Слежка за людьми Угроза ИИ Разработка ИИ ИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Внедрение ИИ Big data Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Техническое зрение Чат-боты Работа разума и сознание Изучение сна Изучение сознания Психология Работа головного мозга Работа памяти Работа разума Модель мозга Модель мозга Робототехника, БПЛА Беспилотные автомобили БПЛА Робототехника Трансгуманизм Трансгуманизм Обработка текста Анализ социальных сетей Компьютерная лингвистика Лингвистика Поисковые алгоритмы Теория эволюции Головной мозг Нейронные сети Поведение животных Теория эволюции Дополненная реальность Виртулаьная реальность Дополненная реальность Железо Интернет вещей Квантовые компьютеры Нейронные процессоры облачные вычисления Суперкомпьютеры Киберугрозы Кибербезопасность Научный мир Методы исследования Наука и образование Семинары ИТ индустрия ИТ-гиганты Новости ит Разработка ПО Разработка ПО Теория алгоритмов Теория информации Кластеризация Математика Актуальная математика Статистика Теория вероятности Теория информации Теория хаоса Цифровая экономика Технология блокчейн Цифровая экономика Авторизация RSS RSS новости		2017-06-15 14:57 нейронный процессор Системы глубокого обучения, основанные на имитации накопления знаний искусственными нейронными сетями, получили возможность усваивать информацию значительно быстрее и эффективнее. Совместная команда исследователей из Массачусетского технологического института (MIT) и других стран разработала новый подход к обучению с использованием света вместо электричества. Результаты их исследований были описаны 12 июня в журнале Nature Photonics научным сотрудником MIT Йиченом Шеном (Yichen Shen), аспирантом Николасом Харрисом (Nicholas Harris), профессорами Марином Солжачиком (Marin Soljacic) и Дирком Энглундом (Dirk Englund). / фото Bill Benzon CC Традиционные типы компьютерной архитектуры не очень эффективны в части важных для нейронной сети вычислений — многократного умножения матриц. Команда MIT придумала эффективный способ выполнения этих операций на оптической основе. При этом настроенный чип, по словам профессора Солжачика, имеет практическое применение в отличие от других фотонных концептов. Например, похожую работу проводила команда ученых под руководством Александра Тейта (Alexander Tait) из Принстонского университета в Нью-Джерси. Тогда исследователям удалось создать первую фотонную нейронную сеть, в которой нейроны представлены световыми волноводами. Разработка из MIT, по словам ученых, позволяет мгновенно производить матричное умножение без больших затрат энергии. Некоторые преобразования света, например, фокусирование линзой, можно рассматривать как вычисления. Новый подход фотонных чипов задействует множество световых лучей, направленных таким образом, что их волны взаимодействуют друг с другом. Это создает интерференционные структуры, которые передают результат запланированной операции. Схема фотонного чипа для глубокого обучения Йичен Шен утверждает, что чипы с такой архитектурой смогут выполнять вычисления, осуществляемые типичными алгоритмами искусственного интеллекта, намного быстрее и с использованием менее одной тысячной энергии на операцию в сравнении с обычными электронными микросхемами. Результат исследования ученые именуют «программируемым нанофотонным процессором». Он оснащен набором волноводов, связи между которыми могут быть изменены по мере необходимости для конкретного вычисления. Николас Харрис объясняет, что возможна настройка под любую матричную операцию. Для выполнения расчетов традиционный компьютер кодирует информацию в несколько световых лучей, которые проходят через ряд узлов. Здесь оптический элемент, называемый интерферометром Маха — Цендера, меняет свойства проходящих лучей — это представляет собой эквивалент матричного умножения. Далее свет проходит через ряд аттенюаторов, слегка приглушающих интенсивность света. Эти процессы обеспечивают обучение оптической нейронной сети. Однако для поддержания ее в обученном состоянии все же требуется подача небольшого количества энергии. Авторы исследования указывают, что у них есть решение, позволяющее чипу поддерживать свое состояние, не затрачивая энергию. Если это сработает, то единственными потребителями энергии станут лазер — источник световых лучей — и компьютер, который кодирует информацию. Чтобы продемонстрировать работу системы, команда использовала фотонный чип для распознавания четырех основных гласных звуков. Даже в самом примитивном исполнении система обеспечила уровень точности в 77% по сравнению 90% в случае с традиционными моделями. Солжачик не видит препятствий для совершенствования системы. Дирк Энглунд считает, что программируемый нанофотонный процессор команды MIT может быть применим в обработке сигналов для передачи данных. Разработка исследовательской группы, по его мнению, способна справляться с задачей преобразования сигнала в цифровую форму быстрее конкурентов, так как свет по своей сути является аналоговой средой. Возможными прикладными областями использования технологии команда называет обслуживание дата-центров или систем безопасности, а также применение в строении беспилотных транспортных средств. Но, так или иначе, до массового распространения потребуется гораздо больше усилий и времени, чем уже было затрачено на первичную разработку технологии. Джон Тиммер (John Timmer), научный редактор Ars Technica, утверждает, что у концепции есть ряд существенных ограничений. Главное из них — размер оптических микросхем: для решения ряда коммерческих задач, их нужно делать или большими, или пропускать через них свет несколько раз. В последнем случае нужно будет разработать грамотный алгоритм для вычислений. Из-за этого в контексте более сложных операций может быть потеряна большая часть заявленных преимуществ, однако если исследователи смогут преодолеть препятствия, а также повысить точность обучения, система, по мнению Тиммера, сможет поддерживать глубокое обучение, используя в 100 тыс. раз меньше энергии, чем традиционные GPU. Источник: habrahabr.ru Комментарии:

В MIT разработали фотонный чип для глубокого обучения

Комментарии: