Разработан чип для вычислений в памяти

Исследователи из Университета Цинхуа, Китайского научно-исследовательского института мобильной связи и Университета Хэбэй разработали новый чип для федеративного обучения, который основан на мемристорах — энергонезависимых электронных компонентах, способных выполнять вычисления и хранить информацию, изменяя своё сопротивление в зависимости от прошедшего через него электрического тока.

«Федеративное обучение предоставляет платформу для коллективного обучения нескольких участников нейронной сети с сохранением конфиденциальности данных и обычно достигается с помощью гомоморфного шифрования», — пишут Сюэци Ли, Бин Гао и их коллеги в своей статье. «Однако реализация этого подхода на локальном уровне требует генерации ключей, генерации полинома ошибок и обширных вычислений, что приводит к значительному потреблению времени и энергии.

«Мы представляем архитектуру мемристорного вычислительного чипа с функцией физического клонирования на месте для генерации ключа и генератором случайных чисел на месте для генерации полинома ошибок.»

Поскольку новая архитектура на основе мемристоров может выполнять вычисления и хранить информацию, она может сократить передачу данных и, таким образом, снизить энергозатраты, необходимые для коллективного обучения различных сторон с помощью искусственной нейронной сети (ИНС) посредством федеративного обучения.

Чип, разработанный командой, также включает в себя функцию физического клонирования — аппаратный метод генерации безопасных ключей во время зашифрованной связи, а также настоящий генератор случайных чисел — метод создания непредсказуемых чисел для шифрования.

«Наша архитектура, которая включает в себя метод формирования конкурирующих массивов, схему извлечения энтропии на основе вычислений в памяти и схему кодирования на основе избыточной системы остаточных классов, позволяет реализовать вычисления с низкой частотой ошибок, физическую неклонируемую функцию и настоящий генератор случайных чисел в рамках одного массива мемристоров и периферийных схем», — пишут исследователи.

Чтобы оценить потенциал своего чипа с вычислениями в оперативной памяти, исследователи использовали его для коллективного обучения сети долговременной кратковременной памяти — метода глубокого обучения, часто используемого для прогнозирования на основе последовательных данных, текстов или медицинских записей с участием четырёх человек. Четверо участников совместно обучали эту сеть прогнозированию сепсиса — серьёзного и потенциально смертельного заболевания, возникающего в результате серьёзных инфекций, — на основе данных о состоянии здоровья пациентов.

«Точность тестирования массива мемристоров всего на 0,12% ниже, чем при централизованном программном обучении», — пишут авторы. «Наш подход также позволяет сократить энергопотребление и время по сравнению с обычным цифровым федеративным обучением».

Источник: techxplore.com

Комментарии: