Виталий Дунин-Барковский — Естественные и искусственные нейросети

В рамках проекта «Банк знаний», созданного вместе с Корпоративным университетом Сбербанка и посвященного современным технологиям, нейроинформатик Виталий Дунин-Барковский рассказывает о том, какие принципы в работе компьютерных систем имитируют реальные нейронные системы

То, что называется искусственными нейронными сетями, сейчас достигло необыкновенного прогресса. Когда все начиналось, в 1950-х годах, казалось, что компьютер никогда не сможет отличить кошку от собаки. Сейчас это не составляет проблемы. Очень многие интеллектуальные функции, казавшиеся уникально человеческими, сейчас реализуются с помощью искусственных нейронных сетей. Компьютерные переводчики, использующие искусственные нейронные сети, способны переводить с языка на язык, ничего не зная о грамматике. В них не вложено никаких правил, они способны обучиться на примерах других переводов, по данным. Так же, очевидно, действовали переводчики в те времена, когда люди не имели представления о грамматике. Таким образом, и системы из естественных нейронов (мозг человека), и системы из искусственных нейронов способны решать интеллектуальные задачи. Объединяя и те и другие в общий класс нейрональных систем, можно сформулировать принцип, позволяющий этим системам эффективно решать сложные задачи.

Принцип Павлова в работе нейрональных систем

Интеллектуальные функции очень долго пытались воспроизводить, строя общение компьютера с реальным миром, опираясь на строгие логические конструкции, с помощью методов строгого решения четких задач и вычисления математически определенных конкретных функций. Но успехи были скромные. Начиная с 2012 года для задач интеллектуального взаимодействия компьютера с реальным миром появилось множество примеров их решения не по теоретически ясным алгоритмам, а вслепую, путем настройки связей в искусственных нейронных сетях (глубокое обучение в глубоких, многослойных нейронных сетях).

До недавнего времени для настройки связей применялся только один вычислительный принцип, называемый обратным распространением ошибок. Работа таких систем строилась путем передачи разницы между реальным и желаемым выходом нейронной сети от выхода в предыдущие слои и далее, до входа и исправлением связей в сторону уменьшения этой разницы, то есть ошибки работы нейронной сети. Удалось построить конструкции, которые, начиная со сплошных ошибок, постепенно достигали безошибочной работы. Искусственные нейронные сети с обратным распространением ошибок демонстрировали чудеса интеллектуального поведения.

Однако тщательный анализ показал, что в естественных нейронных системах обратное распространение ошибок невозможно. Продолжались поиски тех секретов, за счет которых могут настраиваться связи естественных нейронных систем. И совершенно неожиданно в работе британца Тимоти Лилликрапа с соавторами (ноябрь 2014 года) было обнаружено, что глубокое обучение возможно в нейронных сетях без обратного распространения ошибок. Иными словами, возникло понимание, что мозг для настройки связей может настраиваться по тем же принципам, что и искусственные нейронные сети. В общем виде для любых нейрональных (то есть и естественных, и искусственных) нейронных сетей способность к настройке можно описать принципом Павлова — современной формулировкой основанных на физиологических экспериментах идей И. П. Павлова о том, что совокупность условных рефлексов может лежать в основе разумного поведения и психики животных и человека.

Простейшая (обнаруженная и исследованная И. П. Павловым) схема условного рефлекса включает два стимула и одну реакцию организма: (1) безусловный стимул (пища); (2) безусловная реакция (выделение слюны); (3) условный стимул (звонок). Слюна начинает выделяться на звонок после того, как несколько раз звонок звучит одновременно с появлением пищи. В неявной форме в приведенной схеме присутствует четвертый компонент, который важен для формирования условных рефлексов. Дело в том, что пища в данном случае выполняет две функции: безусловного стимула и подкрепляющего воздействия (появление пищи было благом для подопытных животных). Естественно, Павлов понимал, что образование связи между сигналом и выделением слюны получается за счет образования связей между нейронами, реагирующими на звонок, и нейронами, управляющими выделением слюны. Обученная условному рефлексу собака в обычных для нее условиях, когда после звонка появляется пища, не испытывает трудностей с жеванием благодаря выделяющейся заранее (на звонок) слюне. Практически тот же принцип, реализованный в огромных масштабах элементарных входных и выходных сигналов мозга и многослойных нейронных сетей, занимающих пространство мозга между входами и выходами, обеспечивает разумность нейронных систем.

С открытием глубокого обучения появились все основания думать, что в работе нервной системе не осталось фундаментальных секретов. Разные системы нейронов (например, мозг мыши и мозг человека) различаются по информационной мощности, по «числу элементарных операций в секунду». Начиная с 2007 года появились вычислительные конструкции, не уступающие вычислительной мощности мозга человека. Но, превосходя мозг по способности решения многих сложных задач (таких как многие компьютерные игры, шахматы, игра го, скорость печатания под диктовку, подсчет числа людей в толпе и многие другие), компьютеры пока не получили способностей человека разбираться в науках и искусстве, в тонкостях человеческой психики. Словом, до сих пор полноценного интеллектуального партнера-компьютера пока нет. Сегодня нет конструкции, которая может общаться, разговаривать, изучать любые науки, создавать новое знание, хотя препятствий к ее получению не видно. Над этой задачей бьются многие исследователи и конструкторы, но когда она будет решена — непонятно. И по-прежнему продолжает распространяться мнение о том, что невозможно понять, откуда берется мышление. С другой стороны, не исключено, что у кого-то уже сейчас есть интеллектуальный партнер, и не сегодня, так завтра его покажут миру.

Эта задача — создать интеллектуального партнера — называется задачей сильного искусственного интеллекта, или общего искусственного интеллекта. Два препятствия затрудняют ее решение. Во-первых, когда заходит разговор о том, что необходимо выделить ресурсы на создание общего интеллекта, обычная реакция лиц, принимающих решения, — это непонимание. Нужно решать конкретные задачи: воевать, выполнять конкретные действия. Люди еще способны принимать решения самостоятельно, поэтому сильный искусственный интеллект, честно говоря, никому не нужен.

Вторая проблема связана с конкретикой. Каждый отдельный проект решает конкретную задачу, частную. Решение общей задачи — построение общего интеллекта — вроде бы также требует конкретности. Конкретные задачи описываются небольшим числом слов, которые в конце концов укладываются в какой-то порядок. Но число возможных вариантов требований, — скажем, каждый вариант — это набор каких-то пятидесяти слов из ста возможных. Число сочетаний из ста по пятидесяти равно двум в сотой степени — актуально бесконечно. Все варианты конкретных сложных задач решить невозможно, поэтому, как только заказчик работ по созданию полноценного искусственного интеллекта начинает требовать решения конкретных задач, сама задача получения этого интеллекта как бы куда-то убегает. Этот парадокс сильно затрудняет задачу создания по-настоящему интеллектуальной конструкции.

Система динамического хаоса

Реальные нейронные системы, например наш мозг, состоят из большого числа элементов. Их надо как-то связывать между собой. При конструировании искусственных нейронных сетей, выполняющих конкретные интеллектуальные функции, очень важную роль играет случайный выбор начальных условий в нейронной сети (например, исходной матрицы межнейронных связей). В действительности в компьютерах используются так называемые псевдослучайные наборы чисел и элементов структур. Сама задача получения псевдослучайных данных нетривиальна, но эффективно решаема в компьютере. При выращивании нейронных систем мозга (то есть у каждого из нас), судя по всему, тоже применяются (включаются) механизмы случайного формирования. В силу случайности одинаковые функции разных сетей могут выполняться совершенно по-разному, так как сеть способна сама подстроиться под то, какая начальная структура ей случайно досталась. Сейчас стало понятно, что разные мозги по-разному настраиваются и по-разному выполняют одинаковые задачи. Поэтому практически неразрешима задача детально узнать, как конкретно устроен мозг человека, все его отделы и соединения. Конечно, хоть что-то об этом знать полезно, особенно когда нужно что-то лечить. Но в целом, для того чтобы сделать работающую нейронную сеть, знать детали ее структуры необязательно: одну и ту же задачу может решить любая из огромного количества возможных случайных нейронных сетей.

Еще на заре теории информации и теории кодирования было установлено, что очень хорошим носителем информации является случайная функция. Тут можно провести параллель с физикой. Атомы случайно бьются о стенки, создавая давление. Для того чтобы физическая система обладала детерминированным поведением, нужно, чтобы число частиц, которые взаимодействуют, было порядка числа Авогадро — 6х1023. А в системах кодирования и системах передачи информации случайная система становится эффективной тогда, когда число элементов, из которых она состоит, измеряется сотнями и тысячами. Для статфизики миллион — это ничто, но для информационных систем такое число может обеспечить надежную детерминированную работу.

Эффективные случайные нейронные конструкции впервые были построены в конце 60-х — начале 70-х годов. Случайные сети очень важны для работы нейронных конструкций, потому что их работа — мгновенно превращать случайные вещи в детерминированные. Конечно, реализовать случайность может быть затруднительно, поэтому в вычислительных системах пользуются либо системой так называемого динамического хаоса, либо системами псевдослучайных чисел, но это тоже фактически системы динамического хаоса.

Как получают такие системы? Числа представляются в виде множества нулей и единиц. Датчики складывают число с тем же числом, записанным задом наперед, потом его режут на куски, сбрасывают и мнут, как будто тесто, разрывая и сминая, из одного числа получают следующее. В общем, это развитая и сложная наука. В конце концов по отношению к исходному получается новое случайное число. Динамический хаос — это открытие середины 1970-х — 1980-х годов. До открытия динамического хаоса думали, что система в конце концов либо начинает по кругу ходить, либо разбегается в бесконечность. Но обнаружилось, что существует достаточно много систем, которые бесконечно долго бродят по ограниченному пространству как бы случайно. Динамический хаос — это когда у системы все уравнения написаны, все переменные ограничены, никакого шума нет, вроде бы все должно со временем упорядочиться, все должно куда-то сойтись, но решения уравнений блуждают по возможным значениям без видимого порядка.

Сейчас фактически доказано наличие важной функциональной роли динамического хаоса в мозжечке. Вообще-то, в мозжечке есть четкая структура, все там хорошо, кроме одного: непонятно, что он делает. Но, как говорилось выше, на самом деле и не надо пытаться это до конца понять. То есть в мозжечке тоже есть случайность и хаотичность. Эти вещи, по-видимому, дают нам возможность думать, и не только нам, но и системам, которые мы строим.

Роль языка

Здесь будет уместно добавить еще одно размышление — о языке. Язык — это средство коммуникации, средство передачи информации, средство мышления. Язык — это искусственное изобретение человека. Конечно, с точки зрения эволюции мы такие же животные, как и все другие. Мы долгое время боролись за существование, и, видимо, для того, чтобы преуспеть в этом, у нас вырос мозг. Вырос он настолько, что превратился в единственный мозг, который позволяет нам овладеть речью.

Но сам язык — это искусственная вещь. Говоря языком техники, это созданный гением наших предков (примерно 50 тысяч лет назад) очень широкополосный интерфейс наших персональных компьютеров — мозгов. По сравнению с животными мы обмениваемся гораздо большим количеством информации в единицу времени. То есть дело не только в размере мозга одного человека, но и в том, что изобретение языка создало, как говорят компьютерщики, широкополосную шину обмена данных, канал связи, через который взаимодействуют мозги многих людей. С узкотехнической точки зрения это позволило группам людей иметь как бы большой коллективный мозг, во много раз более умный, чем мозг всех других животных. Если обеспечить широкий интерфейс с компьютером кому угодно — обезьяне или собаке, — то компьютер будет мыслить, а тело будет просто аватаром. Над этими интерфейсами сейчас работают, но неизвестно, как долго они будут создаваться. А появление полноценного сильного искусственного интеллекта произойдет значительно раньше — по моей личной оценке, не позже 2020 года.

Источник: postnauka.ru

Комментарии: