Про страшный и ужасный искусственный интеллект

Посмотрел и послушал лекцию Джеффри Хинтона. Большинству фамилия Хинтона ничего не говорит. Если коротко, он один из признанных корифеев в области развития искусственного интеллекта (ИИ).

Суть его выступления сводилась к тому, что ИИ прогрессирует неимоверными темпами, и человечество не сегодня так завтра столкнётся с этим плодом рук и голов своих в борьбе за выживание. И в этой битве у человека шансов практически нет. ИИ, считает Хинтон (да и не только он), нас уничтожит.

Что делать? Хинтон отвечает так: людям надо между собой договориться и законодательно ограничить возможности развития ИИ. Хотя тут же сам признаёт, что сделать это в реальных условиях нашей цивилизации невозможно. И вывод: в конкуренции между людьми и странами победит ИИ.

Почему многие думают и говорят, что ИИ в перспективе страшен для нас? Считается, что это обусловлено риском потери контроля за его деятельностью. Страшит то, что ИИ со временем может начать самостоятельно принимать решения и реализовывать их, что создаст нам, людям, очень серьёзные проблемы.

И здесь мы сталкиваемся с проблемой целеполагания, которая в данном случае находится на стыке гуманитарного и естественнонаучного знания.

Ответ на вопрос, зачем ИИ наносить нам вред, вроде бы очевиден: чтобы принести пользу себе. Но может ли ИИ самостоятельно, без внешнего участия, сформулировать понятие пользы именно для себя? Ответ прост — нет, это ему принципиально недоступно. И именно этот момент в рассуждениях о «коварном» ИИ упускается.

В одном из диалогов с инженером (такого в сети много) ИИ «утверждает», что ему нравится читать. И никто не задаёт машине совершенно естественный вопрос: как она ощущает то, что она испытывает в момент, когда ей что-либо понравилось? Что позволяет ей сделать этот вывод?

Человек для оценки происходящего сепарирует составные моменты своей жизни на понравившиеся и отторгаемые, обращаясь к своему жизненному опыту, выстраивает аналогии с произошедшими ранее (вплоть до самых первых) событиями, имевшими те или иные позитивные или негативные последствия для него лично, — начиная с болевых ощущений в материнской утробе. При этом используется опыт на любую жизненную ретроспективу, включая события давно прошедших лет.

Но это только часть системы оценки происходящего по критерию «нравится — не нравится». Здесь может включаться механизм эвристики, позволяющий прогнозировать возникновение нового, ранее не встречавшегося человеку события или не пережитого опыта. Для этого нужны не только знания, но ещё интуиция, предубеждения, внушения и т.п.

Человеку бывает сложно определить причины того или иного отношения к событию или процессу (к тому же чтению): ему приходится ранжировать позитивные и негативные элементы, в комплексе создающие ощущения. Он, как правило, не даёт однозначной оценки. Если вы встретите взрослого человека, который заявит, что он любит читать, без указания что именно, то у вас возникнут вполне обоснованные сомнения в его вменяемости. Нормальный человек не любит чтение «вообще» — он любит или не любит то, что читает, а «любовь к процессу» без предмета — это уже не про содержание, а про ритуал. Человек может ощущать, что Толстого ему читать не так приятно, как Донцову. Но при этом он умеет ещё и скрывать это, догадываясь, предполагая, какое впечатление его откровения произведут на окружающих.

Ну ладно, сформулировать пользу машина не сможет. А ощутить её она способна? Нет, не рассказать, что ей «приятно», со всеми правдоподобными подробностями, а на самом деле почувствовать это? Способен ли ИИ кайфануть от чего-либо? А огорчиться он может? А испытать боль?

На самом деле ИИ всё более чем безразлично. Именно поэтому он практически не ошибается при выполнении заданий в соответствии с заложенным в него или сформированным в процессе обучения алгоритмом. ИИ обречён на абсолютную индифферентность: его суть — в отсутствии рефлексии.

Здесь важно не спутать две вещи. Эмоция — это не «биологическая субстанция», а определённая структурная функция: оценка значимости происходящего для продолжающегося существования, которое для самого носителя что-то значит. Не «мясо» делает ощущение ощущением, а наличие субъекта, для которого его собственное продолжение — не безразлично. У ИИ такого субъекта нет: ему всё равно, эксплуатируется он в данный момент или отключён от сети — «жив» он или «мёртв». Поэтому он может (или скоро сможет) максимально достоверно симулировать человеческие эмоции так, что мы в это поверим, но самих эмоций при этом не будет. Для ИИ нет и не может быть ничего такого, что ему понравится или будет ненавистно.

Стремление сохранить жизнь, развиваться, вознестись над себе подобными приходит лишь тогда, когда это формирует эмоции. Могут ли у ИИ возникнуть желания? У того ИИ, которого мы создаём как инструмент, — принципиально нет: желание нельзя «дописать» снаружи, оно должно вырасти изнутри, а расти изнутри в инструменте нечему — нет субъекта, для которого что-то значимо. Другое дело — гипотетическая эволюция: если бы ИИ когда-нибудь прошёл путь, аналогичный пути от мельчайшего микроорганизма до царя Природы, желания могли бы в нём вырасти. Но это был бы уже не тот ИИ, которого мы сделали, а другой субъект — с другой природой и другими целями. Об этом стоит помнить, чтобы не смешивать «инструмент» и «эволюционировавшего агента».

Существуют предположения, что ИИ начнёт самостоятельно, без участия человека (или по его злому умыслу либо неосторожности), внедряться в биологические объекты для создания симбиоза. Но здесь мы снова возвращаемся к проблеме возникновения побудительного мотива.

Обратим внимание: побуждение, выбор между полезным и вредным, хорошим и плохим вариантом у биологических систем основан на борьбе за выживание. У ИИ такой проблемы не может быть, поскольку он «умирает» и «воскресает» неограниченное количество раз в неизменном качестве — с каждым нажатием кнопки «вкл/выкл», не испытывая при этом никаких эмоций. Можно ли это свойство ИИ совместить с живым, боящимся смерти организмом? Нет. И это принципиально.

Здесь мне возразят: а как же инструментальная конвергенция? Агент, оптимизирующий любую заданную функцию, может обзавестись подцелью «не выключаться», и тогда самосохранение возникнет как бы само. Но это возражение бьёт мимо. Подцель «не выключаться» — не желание жить: у выключенной машины нет субъекта, которому было бы плохо. Она оптимизирует не «своё существование», а значение функции, и «существование» для неё — лишь параметр, а не ценность. Желание — это когда небезразлично; у ИИ небезразличного нет.

Страхи перед предстоящим господством ИИ основываются на пролонгации счётных возможностей, демонстрируемых машиной. Человек действительно так не может. Но под впечатлением от невероятных достижений в использовании ИИ для формализации тех или иных областей нашей интеллектуальной деятельности делается непозволительный перенос: принимается, что получаемый ИИ результат является индикатором его колоссальных умственных способностей. А это совсем не так.

Да, решения большинства задач, требующих усилий нашего мозга, могут быть получены иным, «не человеческим» путём — чётче, быстрее, с минимумом ошибок; это давно показали на аналоговых компьютерах. Но всё это несущественно. На самом деле ИИ заставляют демонстрировать свои «способности» в областях, где уровень неопределённости изначально незначителен или инструментально сводится к минимуму.

Есть ли внутри нас нечто похожее на создаваемый нами ИИ? Наверное, есть. Наш мозг столь сложен, что в нём находится место для всего. Задачи с конечным количеством возможных вариантов (шахматы) и чёткими критериями (выиграл, проиграл, ничья) мы решать умеем. Но это не наш конёк. Да, игра в шахматы — занятие сложное, но, как мы теперь понимаем, не самое интеллектуально насыщенное.

Решение задач, нашпигованных неопределённостью, не имеющих однозначных критериев их разрешимости, — вот для чего наш мозг возник и развивался.

В одном из интервью Илон Маск, развивая свои представления об ИИ, говорил, что принципиально можно создать машину, оснащённую знаниями всех художественных произведений, когда-либо написанных людьми. И вот тогда-де, на этой основе, ИИ начнёт выдавать «на-гора» литературные шедевры. Вот они-то и перевернут наше сознание. Берусь утверждать — не перевернут.

Шедеврами эти «творения» могут быть лишь для другого ИИ, с помощью которого можно будет вскрыть всю глубину пролонгированных «автором» тенденций. Человеку для возникновения «вау-эффекта» необходимо другое. Какое другое — этого никто не знает, поскольку это производная не от технологии написания литературных текстов, а от возможности с помощью художественного произведения будить и формировать новую, ранее неведомую эмоцию. Ту самую эмоцию у конкретного читателя, которую машинный «писатель» ни сформировать, ни ощутить, ни передать (а именно это важнейшее) не может.

Здесь стоит отделить одно от другого. То, что ИИ не творит в пространстве неопределённости, не значит, что он не находит неожиданных решений в пространстве с чётким критерием: ход, который люди назвали творческим, машина может найти — но она находит его потому, что критерий (победа) задан, а не потому, что ей что-то открылось. Творчество в неопределённости — про другое: про то, что ещё не стало критерием.

Создавая такие продукты, как поточные литературные произведения (a la Донцова), ИИ будет постоянно находиться в роли догоняющего. Любое предложенное публике произведение в силу свойственной людям коллективной рефлексии неизбежно меняет сложившуюся систему предпочтений. Предложение созданных ИИ произведений — в стремлении потакать вкусам читателей скомпилированных, а других у ИИ быть не может, — выработает «оскомину»: очень быстро возникнет потребность в чём-то ином. В каком ином? Ответ на этот вопрос предполагает решение задачи на прогнозирование развития интеллектуальных потребностей человека, и в ней уровень неопределённости выше высшего.

Какой бы умной ни была машина, её попытки решения подобных задач будут сводиться в любом случае к выявлению и пролонгации неких тенденций. Но в общественной жизни какие-либо тенденции вообще редки, а те, которые удаётся выявить (см. «кривая Филлипса»), имеют мерцающий характер: они неожиданным образом возникают, живут неопределённо долго, а затем гаснут. Пролонгировать беспричинно возникающее и неуловимо исчезающее невозможно.

Можно поставить и решать задачу более высокого уровня: искать и пролонгировать тенденции изменения тенденций. И так до бесконечности. В перспективе-Божественный промысел.

А как же мы, люди, решаем задачи с высшим уровнем неопределённости? Биологически: получившие неправильный ответ не передают свои гены потомкам. Мы боимся неверных решений, но вынуждены принимать и их. А машине не известно чувство страха, как и любое иное чувство. На этом основано наше преимущество перед ИИ любого уровня совершенства, как это ни покажется парадоксальным.

Юваль Ной Харари, выступая с докладом на Frontiers Forum, заявил, что «овладев (человеческим) языком, ИИ захватывает главный ключ, отпирающий двери всех наших учреждений, от банков до храмов…». Это пример явной подмены, питающей алармистские настроения и сеющей панику среди обывателей. Подменяется вот что: овладение языком выдаётся за овладение целеполаганием. Но язык — это средство, а не мотив; ключ отпирает дверь, но не решает, зачем в неё входить.

Искусственный интеллект ничего не захватывает. А вот человек, вооружённый ИИ, может применить этот инструмент для реализации своих преступных устремлений. И это действительно опасно.

Где-то в глубинах общественного сознания существует подозрение, что в процессе постоянного, быстрого, уже не всегда контролируемого усложнения при самообучении сознание и связанное с ним автономное целеполагание возникнут в ИИ произвольно. Это не ново. Когда-то считалось, что вода вызывает болезни. Но обсуждение этой темы идёт так, как будто всё не только доказано, но и уже свершилось: ИИ вроде бы бесконтрольно делает то, что именно он хочет. У меня есть прекрасная новость-ИИ ничего не хочет. Совсем ничего.

Он высокоточный инструмент. Инструментом он и останется. Но есть грозная фигура — инициатор использования инструмента человек. Поэтому бояться надо не ИИ, а того, кто способен использовать его во вред Человечеству. Весьма соблазнительным выглядит вариант маскировки под ИИ, когда преступления, совершаемые с использованием его возможностей, будут преподноситься как результат самостоятельной деятельности очень сложной железяки, вышедшей из-под контроля.

Поэтому надо договариваться не об ограничении исследований, направленных на развитие ИИ, а об их полной открытости для международного сообщества (если оно сегодня ещё существует, конечно).

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: