Юрий Аммосов о том, почему котики победят любой суперкомпьютер

Мы боимся искусственного интеллекта в двух формах. Первая форма – это искусственный интеллект, обретший самосознание и волю. Вторая форма – это искусственный интеллект, ставший сверхоружием в руках государства, корпорации, диктатора. Индивидуального или коллективного злодея.

Берегись Галатеи

Страх перед восстанием машин обычно визуализируется в форме, к которой нас приучил современный остросюжетный кинематограф. «Скайнет» франшизы «Терминатор» и «Матрица» — формы, которые нам привычны по умолчанию. Кибердиктатор-суперкомпьютер и его присные, роботы-киллеры и боевые машины.

Сценаристы этих кинофраншиз строили свои сюжеты не на пустом месте – в их детстве и юности были разумный компьютер HAL9000 из «Космической Одиссеи 2001 года» Артура Кларка и Стэнли Кубрика. А также весь диапазон классической фантастики середины XX века, немалая часть которой сложилась как сюжеты малоизвестных у нас сериалов вроде «Сумеречной зоны» и ему подобных.

Фантасты и сценаристы 1930-1960 годов, в свою очередь, развивали идеи предыдущих поколений. Пьеса Карела Чапека «R.U.R.» 1920 года, откуда к нам и пришло слово «робот», отличается от современных сюжетов тем, что центрального мозга восстания там нет – но уже есть машины, не желающие быть «роботами» (рабами) людей.

Редьярд Киплинг в 1911 году написал свой «Секрет машин»:

Только помните законы наши впредь –
Не способны мы освоить вашу ложь,
Не умеем мы прощать, любить, жалеть.
С нами сладишь – и поладишь? Нет – умрешь!
Грандиозней мы народов и царей,
Смирно ползайте у наших рычагов!
Мы изменим ход времен и жизнь вещей –
То, что было прежде в веденьи богов!

Вычтем отсюда еще и механизм – и вовсе получим один из основных и древнейших конфликтов искусства. Восстание создания, обретающего свое «я», а с ним независимость, против своего создателя.

В шумерско-вавилонском эпосе созданный богами из праха Энкиду принимает сторону своего смертного друга Гильгамеша в его конфликте с богиней Иштар. В библейской традиции существует комплекс легенд о верховном ангеле, который восстал против Бога и был низвергнут с небес вместе со сторонниками. Сюда же косвенно примыкает и миф о титане Прометее, принявшем сторону смертных против бессмертных.

Мотив оживления дела рук человека — также древний. Овидий в «Метаморфозах» рассказал легенду о статуе скульптора Пигмалиона, которую Венера сделала живой женщиной. Средневековые еврейские предания содержат истории о существах из земли, которые раввины-мудрецы оживляли, вкладывая им в уста заветное имя Бога («шем ха-фораш»).

Наконец, в XIX веке писатели эпохи романтизма сомкнули эти две темы в единый нарратив, где человек без помощи богов создает одушевленное и разумное, но неживое существо, себе и другим на беду. Немецкие писатели-романтики на основе фольклора ашкенази создали легенду о пражском Големе. В этой версии истории Голем — гигант из глины, которого ребе Махараль Лев бен Бецалель сперва создал, потом выпустил из-под контроля, а в итоге сам и разрушил.

В 1818 году вышла эпохальная повесть Мэри Шелли «Франкенштейн, или современный Прометей» о любви и ненависти между алхимиком Виктором Франкенштейном и созданным им антропоморфным «Чудовищем». Сюжет «Фракенштейна» был многократно повторен и обыгран во всех мыслимых формах. А после ряда фильмов 1930-х годов с «королем ужасов» Борисом Карлоффым в роли монстра «франкенштейн» и вовсе стало именем нарицательным. Причем не создателя, а его исчадья.

Еще в 1862 году писатель Сэмюэл Батлер предположил возможность того, что машины обретут разум путем Дарвинова отбора – тем самым перенеся акт творения «Иного» из мистическо-колдовского измерения в условно-рационалистическое.

В 1872 году Батлер развил этот тезис в сатирическом романе «Эревон, или за горами», откуда «разумная машина» и вошла в большую мировую литературу. То, что на заре «века прогресса» считалось метафорой и заведомой сказкой, стало в его разгар восприниматься как реализм не такого уж отдаленного будущего.

Рассуждая о своем страхе перед искусственным интеллектом, мы бессознательно живем в пространстве этих культурообразующих мифов.

Неабсолютное оружие

СМИ в наши дни очень любят истории о том, как искусственный интеллект будет служить подавлению личности и мировому господству. О «социальном рейтинге» и тотальном видеонаблюдении в Китае. Об электронной слежке в США. О голосовых помощниках, которые сами вызывают полицию, пока хозяева ссорятся в их присутствии. О глубоких фейках, создающих несуществующее лицо или видео событий, где реальные люди делают и говорят вещи, которых не было в реальности. О рекламщиках, которые через социальные сети подслушивают ваши разговоры и читают ваши письма, чтобы предлагать вам рекламу точно по вашим интересам. Об «умных роях» крошечных дронов, невидимых и неуязвимых…

Словом, что ни день – то новые сюжеты и новые ужасы, да и старые еще не приедаются.

Хорошие на вид сюжеты тоже несут в себе угрозу – если ИИ могут рисовать картины и открывать новые лекарства, да и вообще обещают за два поколения заменить 80-95 процентов существующих рабочих мест, чем людям заработать себе на хлеб?

Мобильное приложение делает из молодых старичков – а вдруг с его помощью хитрые русские собирают базу лиц для
помощи Кремлю в его злодействах (я не шучу, это реальное заявление лидера демфракции в сенате США)?

Но эти истории, во-первых, сильно преувеличивают возможности ИИ. В компьютерной науке есть понятия «ложных позитивов» и «ложных негативов» — срабатывание, когда не надо, и несрабатывание, когда надо. Когда нам рассказывают истории о том, как ИИ один раз отличился, нам не говорят, сколько раз этот же ИИ облажался. Получается как в истории с репутацией дельфинов – те, кого дельфины вынесли на берег, их похвалят, а те, кого они утопили – сказать правду уже не смогут.

Во-вторых, масштаб применения искусственного интеллекта создает новые проблемы для собственной эффективности – отношение сигнала и шума. Когда информации мало, она ценна и поддается анализу, но когда ее много...

Пока для изготовления «глубокого фейка» нужны исключительные познания и мощные вычислительные ресурсы – фейковые видео будут производить эффект разорвавшейся бомбы. Но скоро фейковое видео можно будет создать за несколько минут, залив ролик-другой видео на специальном сайте. И тогда любой компромат можно будет отмести как фейк независимо от того, настоящий он или искусственный.

Потребуется новый ИИ, чтобы отличать истину от имитации… и так без конца.

И, наконец, ИИ сам по себе хорош лишь настолько, насколько хороши люди, которые им пользуются. «Мусор на входе – мусор на выходе», как говорится в компьютерных науках.

Внеморальная машина

Недавно на весь мир прогремело исследование 2014-2016 годов «Моральная машина». Оно было интерпретировано как предвестник угроз, которые могут принести автономные автомобили. На самом деле преподаватель Массачусетского технологического института Айяд Рахван и его сотрудники Азиф Шариф и Жан-Франсуа Боннефон провели исследование не этики машин, а этики людей.

«Моральная машина» была частным случаем «задачи вагонетки», придуманной еще в 1967 году философом из Оксфорда Филиппой Фут. Она предлагала выбор следующего вида: по рельсам к стрелке несется тяжелая вагонетка. Сразу за стрелкой две жертвы. Остановить вагонетку нельзя, расклинить стрелку нельзя. Можно лишь перевести стрелку. На одной ветке, предположим, котенок. На другой — Гитлер. Кого вы спасете? А как изменится ваш выбор, если на одной ветке котенок, на другой тысяча Гитлеров? В общем, идея понятна.

В варианте «Моральной машины» людям со всего мира предлагалось решить ряд задач якобы для машины, управляемой искусственным интеллектом. Машина двигалась по дороге из двух полос к пешеходному переходу, где были люди, и затормозить не могла – только сменить полосу. В некоторых случаях выбор был «давить пешеходов слева или справа». В других одна из полос был перегорожена бетонным блоком – «давить пешеходов или убить пассажира». Пешеходы и пассажиры варьировались по полу, расе, возрасту…

К 2018 году исследователи обнаружили много интересных эффектов – например, на Тайване скорее спасут старика, а во Франции — ребенка, в Китае задавят пешехода, а в Японии его спасут… и прогремели с этим исследованием на весь мир.

Но любой, кто честно сдавал на водительские права, поймет, что на самом деле эксперимент — намеренно или нет — был построен с грубой ошибкой. Искусственный интеллект автомобиля должен подчиняться правилам дорожного движения. А правила дорожного движения во всех странах мира содержат два твердых положения.

Во-первых, в любых условиях транспортное средство должно двигаться со скоростью, не более предписанной знаками и соответствующей дорожным условиям – чтобы при нужде остановиться в пределах, видимых водителю.

Во-вторых, при внезапном появлении препятствия водитель обязан не маневрировать, а тормозить по прямой вплоть до остановки транспортного средства. В этом тоже есть серьезный смысл – резкий маневр на скорости может привести не к уклонению от препятствия, а к потере устойчивости транспортного средства. Вплоть до того, что оно войдет в занос и неконтролируемо покатится, куда попало, давя все на своем пути.

Таким образом, машинный ИИ во всех случаях выберет вариант «тормозить в своей полосе, невзирая на то, что за препятствие и кто в салоне».

Более того, машинный ИИ до такой ситуации просто не доведет, так как перед переходами всегда заблаговременно стоят знаки ограничения скорости. А если их нет, то ИИ сбросит скорость, едва переход появится в поле его машинного зрения.

Попасть в ситуации «моральной машины» может лишь безответственный лихач-человек. Так бывает часто: думая об искусственном интеллекте, мы думаем по-человечески и так, как думал бы человек. ИИ мыслит иначе – если слово «мыслит» тут вообще уместно.

Искусственный неинтеллект

А что вообще происходит внутри компьютера с искусственным интеллектом?

Компьютер, решающий даже очень умные на вид задачи, на самом деле выполняет программу, в основе которой лежат алгоритмы сортировки и классификации. Получая данные на вход, компьютер преобразовывает и перемещает их, следуя основному принципу: результат должен быть оптимален по заданным программой критериям. Эта оптимальность достигается тем, что компьютер постоянно повышает для себя значение тех признаков, которые более важны, и снижает значение тех, которые менее важны.

Способ, которым компьютер делает это, называют «нейронные сети». С нейронами нашего мозга ничего, кроме названия, эти «нейронные сети» не имеют – это даже не сеть в физическом смысле, а алгоритм, определяющий, что, как и в каком порядке увеличивать и уменьшать.

В конечном счете деятельность искусственного интеллекта сводится к операциям матричного умножения и деления. Просто говоря, компьютер перекидывает значения из одной таблицы в другую и все время умножает и делит. И так – сотни миллиардов раз за секунду.

(Для этой задачи лучше всего подходят специальные микросхемы GPU, исходно придуманные для создания высококачественной компьютерной графики).

Стремительный рывок возможностей искусственного интеллекта в наши дни мы наблюдаем не потому, что только сейчас додумались до этого способа. Хотя ученые-кибернетики стали разрабатывать методы ИИ позже, чем писатели и кинематографисты – идеи восстания машин, базовый объем знаний ИИ был создан уже в 1950-х годах. Клод Шеннон создал самообучающуюся «мышку в лабиринте», Алан Тьюринг написал эссе «Могут ли машины мыслить», а Дартмурский семинар в 1956 году дал новой области знаний имя «искусственный интеллект».

Математику ИИ мы придумали много поколений назад – просто для нее не было достаточно мощных машин. А теперь они появились. В 1970-е казалось, что предел машинных возможностей – обыграть гроссмейстера в шахматы. Сейчас пошло третье десятилетие с того момента, как эта задача решена. И мы понимаем, что в освоении возможностей ИИ находимся не в конце пути, а в самом начале.

Но значит ли это, что машина мыслит? Нет. Машина не мыслит в человеческом смысле. Она перемножает числа и отделяет важное от неважного по заданным не ею критериям. Любой запрет для нее тверд и все не запрещенное разрешено.

Тут бы и сказать, что самый продвинутый искусственный интеллект в сравнении с человеком пребывает в состоянии сомнамбулы – но уже Дартмурский семинар в 1956 году обратил внимание, что, называя себя «разумными», мы не понимаем, в чем наш разум состоит. И не один философ и кибернетик говорил, что наша «разумность» — тоже сложный алгоритм, набор заученных нами правил, обычаев и не более того.

Но не будем углубляться в вопрос, разумны ли мы. Допустим, что и компьютеры по-своему могут быть разумны…

Котокомпьютер

Предположим, что машина научится «думать». Тогда о чем она подумает в первую очередь?

Очевидно, что мы не имеем в виду аналитическую часть мыслительного процесса, когда говорим «думать». Скорее всего, тут подразумевается самосознание — хоть по условному «зеркальному тесту», хоть как еще. Машина осознает самое себя как отдельное сознающее себя целое, «я». Самосознание – это оценка себя как целокупности особых интересов. То есть попросту, машина будет стремиться делать что-то, что ей, машине, хочется.

В чем состоят интересы мыслящей машины? Наделать терминаторов и уничтожить человечество? Но кто тогда обеспечит машину электричеством, режимом влажности, защитой от осадков? Запчастями, наконец, которые со временем изнашиваются? Уничтожив людей, машина не сделает себе лучше, а только нагородит лишних проблем. В машинной логике это чистый минус, и об этом машина думать не будет. Вариант — сделать из людей батарейки? Но у гидро- или даже солнечной электростанции КПД на порядки выше. Опять же овчинка выделки не стоит. Получается, что в интересах машины – получать от людей ресурсы и ничего по возможности не делать.

А теперь, порассуждав вдоволь о философии и этике ИИ, я добавлю в копилку мировой мудрости свою лепту – надеюсь, что оригинальную.

Я утверждаю, что человечество живет рядом с интеллектом, подобным истинной мыслящей машине будущего, наделенной самосознанием и собственным «я», уже несколько тысяч лет! Это же котики! Обычные наши домашние барсики и мурки. Гляньте на серого или рыжего засранца, когда он ходит по дому с видом «я Котофей Котофеич из сибирских лесов к вам воеводой прислан» – и вы увидите биологический аналог сверх-ИИ, к созданию которого мы еще и отдаленно не подобрались.

Любой котовладелец знает, что кот по умолчанию пребывает во сне. Если же кот не спит, значит, он желает кушать. А что котинька делает, когда не спит и сыт? Он удовлетворяет свои потребности. Идет на улицу охотиться на мышек, птичек, лягушек, змеек и вообще все, что шевелится, или искать любви, или наносить телесные повреждения другим котам. Но только если ему или ей не лень. А чаще ему или ей лень.

Человек от кота другого ущерба, кроме материального, не несет – ну иногда царапины или там токсоплазму подцепит. Котик – идеальная мыслящая машина, которая осознает свой наивысший интерес наилучшим образом из всех возможных. И живем мы с ней рядом, и она нас не только не истребила, но вроде бы мы даже этим сожительством довольны. Ни мировое господство, ни уничтожение всех людей, ни верная служба человеку в интересы кота не входят.

Итак, скажем «нет» нагнетанию паники. Если мыслящие машины кому и опасны – так только котикам. Но в бою цифрового Голема и котяры я уверенно ставлю на последнего.