Насколько сложным с вычислительной точки зрения является один нейрон?

МЕНЮ


Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


Вычислительные нейробиологи научили искусственную нейронную сеть имитировать биологический нейрон. Результат предлагает новый способ мышления о сложности отдельных клеток мозга.

Наши мягкие мозги кажутся далекими от твердых кремниевых чипов в компьютерных процессорах, но у ученых есть долгая история сравнения этих двух. Как выразился Алан Тьюринг в 1952 году: “Нас не интересует тот факт, что мозг имеет консистенцию холодной каши”. Другими словами, среда не имеет значения, важна только вычислительная способность.

Сегодня самые мощные системы искусственного интеллекта используют тип машинного обучения, называемый глубоким обучением. Их алгоритмы обучаются, обрабатывая огромные объемы данных через скрытые слои взаимосвязанных узлов, называемых глубокими нейронными сетями. Как следует из их названия, глубокие нейронные сети были вдохновлены реальными нейронными сетями в мозге, с узлами, смоделированными по образцу реальных нейронов — или, по крайней мере, после того, что нейробиологи знали о нейронах еще в 1950-х годах, когда родилась влиятельная модель нейронов, называемая персептроном. С тех пор наше понимание вычислительной сложности отдельных нейронов значительно расширилось, поэтому биологические нейроны, как известно, более сложны, чем искусственные. Но на сколько?

Чтобы выяснить это, Дэвид Бениагуев, Идан Сегев и Майкл Лондон из Еврейского университета в Иерусалиме обучили искусственную глубокую нейронную сеть, имитирующую вычисления имитируемого биологического нейрона. Они показали, что глубокая нейронная сеть требует от пяти до восьми слоев взаимосвязанных “нейронов”, чтобы представлять сложность одного биологического нейрона.

Даже авторы не ожидали такой сложности. “Я думал, что это будет проще и меньше”, - сказал Бениагуев. Он ожидал, что трех или четырех слоев будет достаточно, чтобы зафиксировать вычисления, выполняемые внутри ячейки.

Тимоти Лилликрап, который разрабатывает алгоритмы принятия решений в принадлежащей Google ИИ-компании DeepMind, сказал, что новый результат предполагает, что, возможно, потребуется пересмотреть старую традицию свободного сравнения нейрона в мозге с нейроном в контексте машинного обучения. “Эта статья действительно помогает заставить задуматься об этом более тщательно и понять, в какой степени вы можете проводить эти аналогии”, - сказал он.

Самая основная аналогия между искусственными и реальными нейронами заключается в том, как они обрабатывают поступающую информацию. Оба типа нейронов получают входящие сигналы и, основываясь на этой информации, решают, посылать ли свой собственный сигнал другим нейронам. В то время как искусственные нейроны полагаются на простой расчет для принятия этого решения, десятилетия исследований показали, что в биологических нейронах этот процесс намного сложнее. Вычислительные нейробиологи используют функцию ввода-вывода для моделирования взаимосвязи между входными данными, получаемыми длинными древовидными ветвями биологического нейрона, называемыми дендритами, и решением нейрона послать сигнал.

Эту функцию авторы новой работы научили имитировать искусственную глубокую нейронную сеть, чтобы определить ее сложность. Они начали с создания масштабной имитации функции ввода-вывода типа нейрона с различными деревьями дендритных ветвей вверху и внизу, известными как пирамидальный нейрон, из коры головного мозга крысы. Затем они ввели симуляцию в глубокую нейронную сеть, в каждом слое которой было до 256 искусственных нейронов. Они продолжали увеличивать количество слоев, пока не достигли точности 99% на миллисекундном уровне между входом и выходом моделируемого нейрона. Глубокая нейронная сеть успешно предсказала поведение функции ввода-вывода нейрона, по крайней мере, с пятью, но не более чем восемью искусственными слоями. В большинстве сетей это приравнивалось примерно к 1000 искусственным нейронам только для одного биологического нейрона.

Нейробиологи теперь знают, что вычислительная сложность одного нейрона, такого как пирамидальный нейрон слева, зависит от дендритных древовидных ветвей, которые бомбардируются входящими сигналами. Это приводит к локальным изменениям напряжения, представленным изменением цвета нейрона (красный означает высокое напряжение, синий означает низкое напряжение), прежде чем нейрон решит, посылать ли свой собственный сигнал, называемый “всплеском”. Это один из трех шипов, как показано на следах отдельных ветвей справа, где цвета представляют расположение дендритов сверху (красный) донизу (синий).

Давид Бениагуев

“[Результат] образует мост от биологических нейронов к искусственным нейронам”, - сказал Андреас Толиас, специалист по вычислительной нейробиологии из Медицинского колледжа Бейлора.

Но авторы исследования предупреждают, что это еще не прямая переписка. “Связь между количеством слоев в нейронной сети и сложностью сети не очевидна", ” сказал Лондон. Поэтому мы не можем точно сказать, насколько больше сложности достигается при переходе, скажем, от четырех слоев к пяти. Мы также не можем сказать, что потребность в 1000 искусственных нейронах означает, что биологический нейрон в 1000 раз сложнее. В конечном счете, возможно, что использование экспоненциально большего количества искусственных нейронов в каждом слое в конечном итоге приведет к созданию глубокой нейронной сети с одним слоем, но для обучения алгоритму, вероятно, потребуется гораздо больше данных и времени.

“Мы перепробовали много, много архитектур со многими глубинами и многими вещами, и в основном потерпели неудачу”, - сказал Лондон. Авторы поделились своим кодом, чтобы побудить других исследователей найти разумное решение с меньшим количеством слоев. Но, учитывая, как трудно было найти глубокую нейронную сеть, которая могла бы имитировать нейрон с точностью 99%, авторы уверены, что их результат действительно обеспечивает значимое сравнение для дальнейших исследований. Лилликрап предположил, что это может предложить новый способ связать сети классификации изображений, которые часто требуют более 50 слоев, с мозгом. Если каждый биологический нейрон подобен пятислойной искусственной нейронной сети, то, возможно, сеть классификации изображений с 50 слоями эквивалентна 10 реальным нейронам в биологической сети.

Авторы также надеются, что их результат изменит современную архитектуру глубокой сети в ИИ. “Мы призываем к замене технологии глубокой сети, чтобы приблизить ее к тому, как работает мозг, заменив каждый простой элемент в глубокой сети сегодня блоком, представляющим нейрон, который уже сам по себе является глубоким”, — сказал Сегев. В этом сценарии замены исследователи и инженеры ИИ могли бы подключить пятислойную глубокую сеть в качестве “мини-сети” для замены каждого искусственного нейрона.

Но некоторые задаются вопросом, действительно ли это принесет пользу ИИ. “Я думаю, что это открытый вопрос, есть ли реальное вычислительное преимущество”, - сказал Энтони Задор, нейробиолог из лаборатории Колд-Спринг-Харбор. “Эта [работа] закладывает основу для проверки этого".

Помимо приложений искусственного интеллекта, новая статья также добавляет к растущему консенсусу о сильной вычислительной мощности дендритных деревьев и, по доверенности, отдельных нейронов. Еще в 2003 году трио нейробиологов показало, что дендритные деревья пирамидального нейрона выполняют сложные вычисления, моделируя его как двухслойную искусственную нейронную сеть. В новой статье авторы исследовали, какие особенности пирамидального нейрона вызвали гораздо большую сложность в их пяти-восьмислойных глубоких нейронных сетях. Они пришли к выводу, что он исходит от дендритных деревьев и от специфического рецептора, который получает химические мессенджеры на поверхности дендритов — выводы, которые соответствовали предыдущей работе в этой области.

Некоторые считают, что результат означает, что нейробиологи должны сделать изучение отдельных нейронов более приоритетным. “Эта статья делает размышления о дендритах и отдельных нейронах гораздо более важными, чем это было раньше”, - сказал Конрад Кординг, специалист по вычислительной нейробиологии из Пенсильванского университета. Другие, такие как Лилликрап и Задор, предположили, что сосредоточение внимания на нейронах внутри схемы будет столь же важно для изучения того, как мозг на самом деле использует вычислительную сложность отдельных нейронов.

Как бы то ни было, язык искусственных нейронных сетей может дать новое представление о силе нейронов и, в конечном счете, о мозге. “Мышление в терминах слоев, глубины и ширины дает нам интуитивное представление о вычислительной сложности”, - сказала Грейс Линдсей, специалист по вычислительной нейробиологии из Университетского колледжа Лондона. Тем не менее Линдсей также предупреждает, что новая работа по-прежнему заключается только в сравнении модели с моделью. К сожалению, в настоящее время нейробиологи не могут записать полную функцию ввода-вывода реального нейрона, поэтому, скорее всего, происходит больше, чем модель биологического нейрона. Другими словами, реальные нейроны могут быть еще более сложными.

“Мы не уверены, что между пятью и восемью действительно окончательное число", - сказал Лондон.


Источник: www.quantamagazine.org

Комментарии: