Об искусственных и биологических нейросетях

Рисунок из этой работы.

Я давно не писал о темах, которые меня волнуют, но в которых я только начинаю хорошо разбираться. Как обычно, один из способов разобраться в чем-либо и увидеть что-то в перспективе, это попытаться об этом кому-либо рассказать. Как говорил один профессор из MIT – креативность это вопрос неверной интерпретации. Пытаясь рассказать что-либо своими словами, нам приходится быть креативными, чтобы передать основную суть.

Если говорить об искусственном интеллекте, как области, которая зародилась еще в 50х годах, то можно увидеть большое количество параллелей с развитием наших знаний о мозге и об искусственных системах. Например, Фрэнк Розенблатт предложил модель нейрона, которая называется перцептрон. Как и другие клетки нервной системы, отдельный нейрон получает информацию от других нейронов и передает ее другим в том случае, если вход от других нейронов превосходит порог. Фокус заключается в том, что подбирая веса входов можно научить такой нейрон делать что-то полезное. Например, отличать свойства кошек от собак или выполнять другие виды классификации.

Примерно в то же время, в 1952 году вышла статья Аллана Ходжкина и Эндрю Хаксли, в которой они описали принцип формирования потенциала действия в аксоне кальмара. Оказалось, что в мембранах нейронов существуют ионные токи калия, натрия и дргих ионов, которые протекают через мембрану и позволяют ему передавать информацию на большие расстояния в нервной системе. Позже выяснилось, что этот механизм является общим для других нейронов, в том числе млекопитающих, т. е. наших с вами. За это обоим ученым дали Нобелевскую премию в 1963 году.

Тем не менее, понимание элементов, из которых состоит мозг не является конечным знанием о том, как он работает. Представьте, что вы купили книгу в Икее и открыв коробку обнаружили там только набор букв. Из букв можно сложить любую книгу, но важен порядок букв, слов и мыслей. Без этого ничего не получится. Также и в нервной системе, знание отдельных элементов и того, как они работают это только начало, гораздо более важным является то, как эти элементы связаны друг с другом. Именно этим занимается отдел нейробиологии, который называется коннектомикой. В рамках этого подхода, изучают то, как связаны отдельные нейроны и группы нейронов друг с другом. Например, недавно в рамках этого подхода люди ученые описали все связи нейронов между собой у маленькой плодовой мушки. Это заняло у большой группы ученых около 12ти лет и стоило около 40 миллиардов долларов.

Тем не менее, в искусственных нейросетях довольно редко задумываются о том, как связывать нейроны друг с другом. В рамках инженерного подхода обычно используют те связи, которые позволяют решать конкретные задачи. Иными словами, предполагается, что сеть нейронов изначально ничего не знает, т. е. является чем-то вроде чистой доски по выражению философа Джона Лока. Тем не менее, искусственные нейросети для распознавания изображений (сверточные нейросети), которые были предложены Яном Ле Куном в 1988 году были вдохновлены зрительной системой млекопитающих. Например, в ранних слоях таких сетей есть искусственные нейроны, которые активны только тогда, когда на входе видят объекты с четким границами. Иными словами, эти нейроны реагируют на границы объектов на изображении, границы полосок зебры. Похожие нейроны есть в зрительной коре животных, которые называются простыми клетками. Они тоже активны только тогда, когда животное видит границы объектов. За открытие такие клеток у кошки, Дэвид Хьюбел, Роджер Сперри и Торстен Визел получили нобелевскую премию в 1981 году.

Любопытно, что наше понимание работы мозга и построение искусственных систем в начале развития искусственного интеллекта происходили в схожее время. Однако, в последнее время успех искусственных нейросетей во многом связаны не с открытиями нейробиологии, а с увеличением мощности современных компьютеров и большим объемами данных, которые разбиты на категории. Однако, в последнее время многим ученым стало понятно, что дальнейший прогресс искусственных нейросетей вряд ли будет связан с дальнейшим увеличением вычислительных ресурсов и объемов данных. Многие исследователи склоняются к тому, что нам необходимо лучше понять работу биологических нейронных сетей, чтобы сделать искусственные более эффективными. Это может привести к тому, что для обучения будет возможным использование гораздо меньших сетей, которые будут обучаться на гораздо меньшем размерах данных.

Возникает вопрос о том, какие принципы из нейробиологии мы сможем использовать в новых искусственных сетях? Пока что у нас нет однозначного ответа на этот вопрос. Однако, некоторые нейробиологии, например, Тони Задор предлагает посмотреть на эту проблемы с точки зрения эволюции. Мозг многих животных при рождении уже практически сформирован. Например, жеребенок может ходить уже через несколько часов после рождения, утята могут плавать, а котята хорошо знают как сосать молоко. При этом, у новорожденных нет времени обучаться на тысячах примеров, как это делают искусственные нейросети. Это позволяет предположить, что многие критические связи в мозге сформированы генетически. Именно это позволяет животным столь быстро и эффективно обучаться, имея связи, которые уже почти готовы. Стоит сказать, что передать все связи генетически невозможно из-за физических ограничений самой ДНК. В мозге примерно 10^11 нейронов, где каждый нейрон связан примерно с 10^3 другими клетками. Такой размер информации не может физически быть закодирован в ДНК, даже если мы используем для этого всю молекулу (3 x 10^9 нуклеотидов). Поэтом связи могут быть только примерно заданы. Не смотря на астрономическое число нейронов в мозге, отдельные клетки можно разобрать на типы, которые имеют похожие генетические свойства. Например, в человеческой коре около 77 типов. Безусловно, количество типов обычно зависит от метода их определения, но важным является то, что типов гораздо меньше чем число нейронов. Именно это может помочь сохранить место для описания связей, если нейроны одного и того же типа будут связаны определенным образом. Нейроны схожего типа обычно обладают похожим наборов генов, поскольку произошли от одних и тех же клеток в процессе развития мозга.

На данном этапе исследователям искусственного интеллекта пока не совсем понятно как можно использовать принципы организации мозга в искуственных системах. Но вполне вероятно, что дальнейшие исследования архитектур нейростей которые вдохновлены строением биологических нейросетей поможет продвинуть искусственный интеллект на следующий уровень. Например, стартап Най-Най (NinAI) уже сейчас готовится обрабатывать биологические данные коннкектома коры мыши для того, чтобы сделать искусственные интеллект более эффективным. Так что будем ждать что будет происходить на стыке между нейробиологией и искусственного интеллекта в ближайшее время.

Источник: m.vk.com

Комментарии: