О биологических и искусственных нейронных сетях

Я давно не писал о темах, которые меня волнуют, но в которых я только начинаю хорошо разбираться. Как обычно, один из способов разобраться в чем-либо и увидеть что-то в перспективе, это попытаться об этом кому-либо рассказать. Как говорил один профессор из MIT – креативность это вопрос неверной интерпретации (https://youtu.be/brslF-Cy3HU). Пытаясь рассказать что-либо своими словами, нам приходится быть креативными, чтобы передать основную суть.

Если говорить об искусственных нейросетях, как области искусственного интеллекта, которая зародилась еще в конце 50х годов, то можно увидеть большое количество параллелей с развитием наших знаний о мозге и построении искусственных систем. Например, Фрэнк Розенблатт предложил модель нейрона, которая называется перцептрон. Ее принцип заключается в том, что искусственный нейрон, как и свой биологический прототип, получает информацию от других нейронов и передает ее дальше. Но происходит это только в том случае, если вход от других нейронов превосходит порог. Обучение нейрона заключается в том, что подбирая веса входов можно научить искусственные нейрон делать что-то полезное. Например, отличать свойства кошек от собак. Для этого необходимо, чтобы информация о свойствах кошек и собак была особенным образом закодирована в весах связей, которые он получает. С изменения весов входных связей можно добиться того, чтобы обучить нейрон выполнять такую задачу.

Любопытно, что примерно в то же время, в 1952 году вышла статья Аллана Ходжкина и Эндрю Хаксли, в которой они описали принцип формирования потенциала действия в аксоне кальмара. Оказалось, что в мембранах нейронов существуют электрические токи, которые создаются ионами натрия и калия, которые протекают через мембрану и позволяют биологическому нейрону генерировать и передавать нервные импульсы. Позже выяснилось, что механизм формирования потенциалов действия за счет ионов натрия и калия является общим для многих других нейронов, в том числе клеток млекопитающих. За это Ходжкину и Хаксли дали Нобелевскую премию в 1963 году.

Тем не менее, понимание элементов, из которых состоит мозг не является конечным знанием о том, как он работает. Например, представьте, что вы купили книгу в магазине и открыв коробку обнаружили там только набор букв. Из букв можно сложить любую книгу, но важен порядок букв, слов и предложений. Также и в нервной системе, знание отдельных элементов и того, как они работают это только начало, гораздо более важным является то, как эти элементы связаны друг с другом. Вопросом о том как нейроны связаны между собой занимается область нейробиологии, которая называется коннектомикой (https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BD%D0%BD%D0%B5%D0%BA%D1%82%D0%BE%D0%BC). В рамках этого подхода, изучают то, как связаны отдельные нейроны и группы нейронов друг с другом. Например, недавно в рамках этого подхода люди ученые описали все связи нейронов между собой у маленькой плодовой мушки (https://www.wired.com/story/most-complete-brain-map-ever-is-here-a-flys-connectome/). Это заняло у группы ученых около 12ти лет и стоило около 40 миллиардов долларов. В нашем институте мы тоже занимается коннектомикой (https://alleninstitute.org/what-we-do/brain-science/news-press/articles/automated-pipeline-understanding-how-brain-wired), но в пределах коры мозга млекопитающих. Любопытно, что вся плодовая мушка может уместиться в пределах 1 мм^3, что соответствует размеру мозга который мы пытаемся изучить. Нейроны человека и млекопитающих значительно больше нейронов беспозвоночных, что сильно затрудняет их изучение такими методами.

Напротив, в искусственных нейросетях довольно редко задумываются о том, как точно связываются нейроны друг с другом. Предполагается, что сеть нейронов изначально ничего не знает, т. е. является чем-то вроде чистой доски, где связи инициализируются случайно. Затем эти связи подстраиваются для того, чтобы решить определенную задачу. Тем не менее, здесь небольшая связь искусственных нейросетей с нейробиологией. Искусственные нейросети для распознавания изображений, так называемые сверточные нейросети (https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C), были предложены Яном Ле Куном в 1988 году и были вдохновлены зрительной системой млекопитающих. Например, в ранних слоях таких сетей есть искусственные нейроны, которые активны только тогда, когда на входе видят объекты с четким границами. Похожие нейроны есть в зрительной коре млекопитающих, которые называются простыми клетками. Они тоже активны только тогда, когда животное видит границы объектов. За открытие такие клеток у кошки (https://ru.wikipedia.org/wiki/%D0%97%D1%80%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D1%80%D0%B0), Дэвид Хьюбел, Роджер Сперри и Торстен Визел получили нобелевскую премию в 1981 году.

Любопытно, что наше понимание работы мозга и построение искусственных систем в начале развития искусственного интеллекта происходили в схожее время. Тем не менее, успех искусственных нейросетей во многом связаны не столько с открытиями нейробиологии, а с увеличением мощности современных компьютеров и большим объемами данных, которые разбиты на категории. Однако, в последнее время многим ученым стало понятно (https://www.wired.com/story/sobering-message-future-ai-party/), что дальнейший прогресс искусственных нейросетей вряд ли будет связан с дальнейшим увеличением вычислительных ресурсов и объемов данных. Многие исследователи склоняются к тому, что нам необходимо лучше понять работу биологических нейронных сетей, чтобы сделать искусственные сети более эффективными. Хотелось бы, чтобы это привело к тому, что для обучения будет возможным использование гораздо меньших сетей, которые будут обучаться на гораздо меньших данных.

Возникает вопрос о том, какие принципы из нейробиологии мы сможем использовать в новых искусственных сетях? Пока что у нас нет однозначного ответа на этот вопрос. Однако, некоторые нейробиологии, например, Тони Задор (https://www.nature.com/articles/s41467-019-11786-6) предлагает посмотреть на эту проблемы с точки зрения эволюции. Мозг многих животных при рождении уже практически сформирован. Например, жеребенок может ходить уже через несколько часов после рождения, утята могут плавать почти сразу. При этом, у новорожденных нет времени обучаться на тысячах примеров, как это делают искусственные нейросети. Это позволяет предположить, что многие критические связи в мозге сформированы генетически. Это позволяет животным столь быстро и эффективно обучаться, обладая связями, которые уже «подготовлены» предыдущими поколениями. Более того, возможность передать все связи генетически невозможно из-за физических ограничений самой ДНК. В мозге человека примерно 10^11 нейронов, где каждый нейрон связан примерно с 10^3 другими клетками. Т. е. нужно каким-то образом запомнить 10^14 элементов. Такой размер информации просто физически не может быть закодирован в ДНК. В ней не хватит места, даже если мы используем для этого всю молекулу (~3 x 10^9 нуклеотидов). Возможным решением этой проблемы может быть то, что для описания связей не нужно описывать каждую связь жестко, для этого не хватит места. Вместо этого можно задать определенный набор правил, который позволит приблизительно построить нове связи. Не смотря на астрономическое число нейронов в мозге, отдельные клетки можно разобрать на типы, которые имеют похожие генетические свойства. Например, в человеческой коре их около 77 (https://www.nature.com/articles/s41586-019-1506-7?proof=t). Безусловно, количество типов обычно зависит от метода их определения, но важным является то, что типов гораздо меньше чем нейронов. Именно это может помочь сохранить место для описания связей, если нейроны одного и того же типа будут связаны определенным образом. Нейроны схожего типа обычно обладают похожим наборов генов, поскольку произошли от одних и тех же клеток в процессе развития мозга.

На данном этапе исследователям искусственного интеллекта пока не совсем понятно как можно использовать принципы организации мозга в искуственных системах. Но вполне возможно, что дальнейшие исследования архитектур нейростей будут вдохновлены строением биологических, что поможет продвинуть искусственный интеллект на следующий уровень. Например, стартап Най-Най (NinAI) (https://www.ninai.org/) уже сейчас готовится обрабатывать биологические данные коннкектома коры мыши из нашего института для того, чтобы сделать искусственные интеллект более эффективным. Так что будем ждать что будет происходить на стыке между нейробиологией и искусственными нейросетями в ближайшее время.

Anatoly Buchin

Источник: www.ninai.org

Комментарии: