'Grow and prune' AI имитирует развитие мозга, сокращает потребление энергии

Подражая дуге развития мозга, новый подход приводит к точности сравнения, используя часть энергии других систем. Слева: Прерит Тервей, Хонгу Инь, Нирадж Джа, Сейед Шаян Хассантабар. Фото: Sameer A. Khan/Fotobuddy

Это может стать шоком для родителей, столкнувшихся с ежедневным хаосом жизни малыша, но сложность мозга достигает пика около трех лет.

Количество связей между нейронами практически взрывается в наши первые несколько лет. После этого мозг начинает отсекать неиспользуемые участки этой обширной электрической сети , уменьшаясь примерно до половины к тому времени, когда мы достигаем зрелости. Чрезмерное обеспечение мозга малыша позволяет нам приобрести язык и развить мелкую моторику. Но то, что мы не используем, мы теряем.

Теперь эти приливы и отливы биологической сложности вдохновили команду исследователей в Принстоне на создание новой модели искусственного интеллекта, создавая программы, которые соответствуют или превосходят отраслевые стандарты точности, используя только часть энергии. В паре статей, опубликованных ранее в этом году, исследователи показали, как начать с простого дизайна для сети ИИ, вырастить сеть путем добавления искусственных нейронов и соединений, а затем обрезать неиспользуемые части, оставляя постный, но очень эффективный конечный продукт.

"Наш подход - это то, что мы называем парадигмой роста и обрезки",-сказал профессор электротехники Нирадж Джа. "Это похоже на то, что делает мозг, когда мы еще младенцы, чтобы когда мы малыш.- На третьем году жизни человеческий мозг начинает отсекать связи между клетками мозга. Этот процесс продолжается и во взрослом возрасте, так что полностью развитый мозг работает примерно на половине своего синаптического пика.

- Взрослый мозг специализирован на том обучении, которое мы ему дали, - сказала Джа. "Это не так хорошо для обучения общего назначения, как мозг малыша."

Рост и обрезка приводят к созданию программного обеспечения, которое требует доли вычислительной мощности и поэтому использует гораздо меньше энергии, чтобы делать одинаково хорошие прогнозы о мире. Ограничение использования энергии имеет решающее значение для получения такого рода продвинутого ИИ—называемого машинным обучением—на небольших устройствах, таких как телефоны и часы.

"Очень важно запускать модели машинного обучения локально, потому что передача [в облако] занимает много энергии", - сказал Сяолян дай, бывший аспирант Принстона и первый автор этих двух работ. Dai теперь является научным сотрудником в Facebook.

В первом исследовании исследователи вновь рассмотрели основы машинного обучения-абстрактные кодовые структуры, называемые искусственными нейронными сетями . Позаимствовав вдохновение из раннего детского развития, команда разработала инструмент синтеза нейронных сетей (NeST), который автоматически воссоздал несколько лучших нейронных сетей с нуля, используя сложные математические модели, впервые разработанные в 1980-х годах.

NeST начинается с небольшого количества искусственных нейронов и соединений, увеличивается сложность за счет добавления большего количества нейронов и соединений в сеть, и как только он соответствует заданному критерию производительности, начинает сужаться со временем и обучением. Предыдущие исследователи использовали аналогичные стратегии обрезки, но сочетание роста и чернослива-переход от "детского мозга" к "мозгу малыша "и похудение к" взрослому мозгу " —представляло собой прыжок от старой теории к новой демонстрации.

Во втором документе, который включает в себя сотрудников Facebook и Университета Калифорнии-Беркли, была представлена структура под названием Chameleon, которая начинается с желаемых результатов и работает в обратном направлении, чтобы найти правильный инструмент для работы. С сотнями тысяч вариаций, доступных в конкретных аспектах дизайна, инженеры сталкиваются с парадоксом выбора, который выходит далеко за рамки человеческих возможностей. Например: архитектура для рекомендации фильмов не похожа на ту, которая распознает опухоли. Система, настроенная на рак легких, выглядит иначе, чем система, настроенная на рак шейки матки. Слабоумие помощники могут выглядеть по-разному для женщин и мужчин. И так далее, до бесконечности.

Jha описал хамелеон как инженеров-рулевых к благоприятному подмножеству конструкций. "Это дает мне хороший район, и я могу сделать это за несколько минут процессора", - сказал Джа, ссылаясь на измерение времени вычислительного процесса. "Так что я могу очень быстро получить лучшую архитектуру."Вместо того, чтобы весь растянувшийся мегаполис, нужно только обыскать несколько улиц.

Chameleon работает путем обучения и выборки относительно небольшого числа архитектур, представляющих широкий спектр вариантов, а затем предсказывает производительность этих конструкций с заданным набором условий. Поскольку он сокращает первоначальные затраты и работает в рамках бережливых платформ, высокоадаптивный подход "может расширить доступ к нейронным сетям для исследовательских организаций, которые в настоящее время не имеют ресурсов, чтобы воспользоваться этой технологией", согласно сообщению в блоге от Facebook.

Источник: techxplore.com

Комментарии: