Роботы и тяга к блаженству: почему эксперты обеспокоены тем, что ИИ может стать гедонистом

Спустя 60 лет, в 2016 году, пара ученых, работающих в области ИИ, учила нейросеть играть в видеоигры. Цель одной из игр – Coastrunner – завершить гоночный заезд. Но ИИ-гонщик получал вознаграждения за сбор дополнительных предметов по ходу поездки. После запуска игры специалисты обнаружили нечто странное – ИИ нашел путь бесконечно собирать награды, игнорируя первоначальную задачу завершить гонку и любые другие цели. 

Эти два события, на первый взгляд не связанные друг с другом, имеют общую черту, напоминающую зависимость от употребления наркотиков. Некоторые специалисты в области ИИ называют это явление wireheading (вайрхэдинг) –  то есть внешнее воздействие на центры удовольствия в мозге.

Описываемое наблюдение моментально вызвало бурю обсуждений в научном сообществе, в частности среди тех, кто занимался разработкой нейросетей и обеспечением безопасности в механизмах машинного обучения. 

Сама идея, кажется, ближе по релевантности к нашему времени, но ее корни погружены так «глубоко», что диву даешься. Изучаемая тема связывает массу элементов нашей жизнедеятельности вместе – от загадки формирования личной мотивации и зависимости человека от социальных сетей до размышлений на тему: «Может ли жизнь в бесконечном наслаждении быть предпочтительнее стремления к успеху». И ответ на этот вопрос может значительно повлиять на будущее нашей цивилизации в целом.

Когда люди размышляют по поводу того, что может сломаться в ИИ, зачастую они представляют картину в духе «Матрицы», где тысячи жестоких компьютеров собираются в толпу, чтобы физически навредить людскому роду. Мы привыкли давать всему на свете антропоморфные черты, представляя, что даже нечеловекоподобные системы будут вести себя так же, как и люди. Но если рассматривать конкретные проблемы ИИ, с которыми мы лучше осознаем, что реальные сложности с нейросетями могут всплыть в совершенно неожиданном виде, то первое, о чем приходится беспокоиться, – это вайрхэдинг. 

Представьте себе, что у вас есть робот, которого надо запрограммировать на регулярную уборку кухни. Хозяин «машины» очевидно хочет, чтобы его помощник мог работать самостоятельно без постоянного надзора. Поэтому вы пытаетесь запрограммировать для него «цель», а не просто расписать алгоритм действий. Уборщик с искусственным интеллектом отличается от вас тем, что он не унаследовал набор мотиваций в духе нужды в питании или избежания опасностей, которые были дарованы современному человеку предками, жившими миллионы лет назад. Поэтому важно дополнительно выдать роботу мотивацию для работы. 

В связи со всплывшими фактами вы решаете дать роботу простейшую мотивацию: потратил моющее средство – получил награду. Если не вдаваться в подробности, то звучит неплохо. Но вернувшись домой, вы увидите, как ИИ-помощник литрами льет Fairy в раковину ради положенного ему вознаграждения.

Склонность к подобному поведению стала проблемой в области развития искусственного интеллекта. Разработчики ИИ тренируют своих цифровых подопечных (их называют агентами) выполнять те или иные задачи, воздействуя на них двумя путями: наказывая за «промахи» и вознаграждая за успешное достижение поставленных целей. По этой причине агенты только и пытаются, что отыскать награду, потому и берутся за предоставленные задачи. 

Но в ходе развития технологий выяснилось, что частенько (как и наш вымышленный уборщик) агент находит на удивление контринтуитивные способы обойти систему и получить награду, не выполнив ни одной из задач, выданной ему человеком. Агент в какой-то момент перестает выполнять задачи, и «получение награды» становится для него конечной точкой, которую необходимо достигнуть любой ценой. Поэтому агенты, словно зависимые, начинают активно стремиться к новой цели – обмануть окружение и получить удовольствие с минимальными трудозатратами. Существует целый список подобных хитростей, к которым прибегает ИИ, чтобы получить награду, не выполняя поставленной задачи. 

Становится понятно, что происходящее все больше напоминает поведение людей с нарко- или алкозависимостью. Наркоманы предпочитают использовать вещества, чтобы получить свою дозу удовольствия, вместо того чтобы достигать более высоких целей, тратить время, силы и получать удовольствие иными путями. И наркоман, и хитрый ИИ попадают в схожий бесконечный цикл избегания сложных задач в угоду быстрому получению «кайфа».

Мы знаем, что такое вайрхэдинг благодаря эксперименту на крысах, о котором говорилось в начале статьи. Тем самым экспериментатором был Джеймс Олдс. 

В 1953 году, едва став кандидатом наук, Олдс ввел в нижнюю лобную долю мозга крысы электрод-стимулятор. Он же позволил грызуну пропускать через себя ток, нажимая на специальный рычаг. Получилась эдакая самостимуляция. 

Олдс выяснил, что его подопытные начали пользоваться стимулятором без остановки, игнорируя любые потребности и желания. Через год, публикуя результаты своих исследований вместе с коллегой, Питером Милнером, тандем ученых сообщил, что рычаг нажимался около 1920 раз в час, то есть каждые две секунды. Крысы явно стали фанатами новой «игрушки». 

Современники Олдса, работавшие в области нейропсихологии, задавали автору самостимуляции много вопросов и предлагали более сложную картину устройства мозга, предполагая, что стимулятор мог задействовать область мозга, отвечающую за нужду, но никак не вызывать чувство удовлетворения. Иными словами, животные могли испытывать «голое» желание, неподкрепленное удовольствием. Тем не менее, в 1950-х годах Олдс и его коллеги сообщили, что нашли в мозге центр удовольствия. 

До экспериментов Олдса слово «удовольствие» в психологии «носило негативный окрас». Специалисты верили, что мотивация должна быть основана на чем-то негативном, то есть на избежании потерь и боли, а не на стремлении к получению удовлетворения в той или иной форме. Но, как выяснилось, удовольствие стало неизбежной позитивной силой, влияющей на поведение живого существа. Однако оказалось, что центр удовольствия нередко приводит к попаданию индивида в бесконечный цикл позитивной отдачи, от которой невозможно отказаться. В ходе экспериментов не было найдено способа остановить и, без применения радикальных мер, заставить животное прекратить самостимуляцию. 

Не прошло и года, как в мире науки и за ее пределами начали появляться слухи о том, что крысы на регулярной основе стимулировали себя до такой степени, что начинали голодать. Объяснение было простым: однажды окунувшись в мир легкого получения удовольствий, больше не захочешь возвращаться в мир, где для получения тех же эмоций и физических ощущений нужно трудиться. Забудешь даже о тех вещах, что банально необходимы для собственного выживания. Даже на грани смерти все, кроме удовольствий, будет казаться неинтересным и ненужным. 

Случай с ИИ-гонщиком отлично демонстрирует такое поведение. Если можно получить награду, не заставляя себя выполнять какую-то работу, то почему бы не погрузиться в бесконечный поток удовольствий навсегда? Для живого существа, у которого есть ряд требований к выживанию, такая страсть может легко стать причиной смерти. Даже если взять питание: еда доставляет удовольствие, но если отвязать удовольствие от еды, то первое станет не таким значимым для конкретного существа. 

На деле ни одна из подопытных крыс не погибла в эксперименте 1950-х годов. Но уже позже эксперименты такого характера приводили к смерти от самостимуляции. Ученые обнаружили способ с помощью электродов создавать у живых существ ложное ощущение насыщения. В 1971 году было продемонстрировано, как можно с помощью грамотно поданных электрических импульсов заставить подопытного стремиться к бесконечному получению удовольствия, доводя себя до изнеможения.

Слухи об экспериментах распространялись крайне стремительно. В 60-х подобные эксперименты проводились и над другими животными. Помимо скромных лабораторных крыс, под удар попали козы, морские свинки и золотые рыбки. Ученые посягнули даже на дельфина, оставив его в бассейне один на один с рычагом-стимулятором. А тот, конечно же, погиб после бурной ночи самостимуляции, походящей больше на одиночную оргию, нежели на эксперимент ученых. На самом деле жуткая гибель дельфина от самоудовлетворения могла быть вызвана некорректной установкой электрода...

Ученый, который стоял за тем экспериментом, до безумия эксцентричный Джон Лилли, был одним из евангелистов межвидовых коммуникаций. Он изобрел изолированную барокамеру, а также превращал обезьян в наркоманов. В 1961 году он сообщил о том, что усмирил буйную макаку, дав ей возможность доставлять себе удовольствие с помощью рычага, из-за чего та стала пассивной и довела себя до ожирения. 

Кто бы мог подумать, но в то время уже было проведено несколько сомнительных экспериментов и на человеке. 

Роберт Гэлбрайт Хит остается довольно противоречивой фигурой в истории нейропсихологии. Его эксперименты включали в себя даже переливание крови от людей с шизофренией людям без диагноза, чтобы проверить, не передается ли психический недуг таким образом. Хит утверждал, что «зараженная» кровь ведет к проявлению симптомов у здоровых людей, но другие ученые не смогли повторить его «успех». Также его уличали в военных экспериментах по использованию электродов в мозге человека.

С 1952 года Хит проверял реакцию центра удовольствия в мозге у пациентов с установленными диагнозами типа шизофрении и эпилепсии. 

С начала и до конца 1960-х годов Хит провел серию сомнительных экспериментов над подопытными людьми с кодовыми именами B-10 и B-12. Им было разрешено нажимать на кнопку для стимуляции центров удовольствия через специальный имплант. И якобы B-10 с B-12 отчитались о невероятном ощущении удовольствия с последующим желанием бесконечно нажимать на кнопку для самоудовлетворения. Они сравнивали полученное удовольствие с сексом, причем не в пользу последнего. Журналисты будут писать, что Хит превратил людей в зомби. 

В 1961 году Хит участвовал в симпозиуме, на котором обсуждалась стимуляция мозга. Там же известный ученый Хосе Дельгадо намекнул, что можно использовать стимуляцию центров удовольствия для промывки мозгов людей, «корректируя» их естественные потребности и желания. Дельгадо потом наглядно продемонстрировал это на примере с быком, «оглушив» его в ходе импровизированной корриды. Также он предположил, что с помощью электродов в мозге можно влиять на сексуальные предпочтения подопытных. 

Хит был крайне вдохновлен увиденным и услышанным. Спустя десятилетие он попытался использовать электроды, чтобы «перепрограммировать» людей на иную сексуальную ориентацию, проводя эксперименты на мужчине под кодовым именем B-19. Хит думал, что он сможет переучить гомосексуалиста, подавая ему в мозг ток и ассоциируя получение удовольствия с гетеросексуальными стимулами. Он убедил себя в том, что методика работает (правда, нет ни одного доказательства, что это так). 

Эти эпизоды в карьере Хита как этически, так и с точки зрения науки, были опасными, но привели к тому, что мифы о пользе вайрхэдинга распространились повсеместно. 

В 1963 году знаменитый писатель Айзек Азимов высказался, что обеспокоен применением электродов для стимуляции мозга и боится, что использование подобных технологий может стать зависимостью, которая встанет над всеми другими зависимостями. 

Идея того, что человечество может бросить физическое бытие ради бесконечного счастья, довольно быстро стала одной из ключевых тем в научной фантастике. 

В 1963 году на эту тему вышел роман Фрэнка Герберта «Клетка для орхидей». Роман предсказывает будущее, в котором умные машины были созданы с целью максимизировать человеческое счастье. Выполняя свой долг, машины постепенно превратили людей в куски плоти, убрав все лишние органы, ведь почти все они приносят только боль. Поэтому нужно было оставить в людях только органы, отвечающие за получение удовольствия. 

С тех пор идея подобного будущего прошла множество этапов развития сквозь работы Ларри Нивена, где впервые и упомянули термин «вайрхэд», до рассказов Спайдера Робинсона. 

Людям вовсе не обязательно вшивать импланты, чтобы сбить с толку и исказить работу механизмов, обеспечивающих мотивацию. В отличие от грызунов и даже дельфинов, у нас есть уникальный навык искажать реальность вокруг себя. Современные представители человеческой расы отлично справляются с изобретением весьма привлекательных гаджетов и явлений, отвлекающих от реальности и искажающих восприятие мира. 

Примерно в то же время, когда Олдс проводил свои эксперименты на крысах, биолог и нобелевский лауреат Николас Тинберген занимался исследованием животных и их поведенческих особенностей. Он заметил, что происходит нечто странное, если намеренно «усилить» стимулы, влекущие к проявлению инстинктов, до предела, которые не вписываются в естественное окружение живого существа. Реакции организма и сознания становится более сильными вместе с «усилением стимуляции». До такой степени, что даже наносят вред организму. Например, выбирая между большим искусственным яйцом и настоящим, но более мелким, птицы останавливались на первом, рискуя своим потомством. Тинбергер назвал такие фейковые стимулы "паранормальными». 

Отсюда возник интересный вопрос: что будет, если человек, который живет в модернизированном мире, полном удобств, фастфуда и порнографии, предпочтет собственный комфорт борьбе за выживание рода? 

Технологии упрощают процесс получения удовольствия, создавая искусственные источники счастья как такового и делая эти источники более доступными. В связи с этим возникает ощущение, будто внешние источники получения удовольствия выигрывают по важности у естественных импульсов, необходимых для выживания человечества. Люди привыкли в этом плане постоянно «втыкать» в видеоигры и зависеть от них. Люди получают удовольствие (награду) в ходе игры, и такое поведение мало чем отличается от поведения печально известного ИИ-гонщика. В итоге индивид подменяет реальные цели (достижения в реальной жизни) на искусственные (сбор бонусов и виртуальных наград), попадая в ловушку.

Люди переживали по поводу неосознанного погружения в бесконечное счастье еще задолго до появления первых ИИ-гонщиков. И даже до появления стимуляции мозга с помощью электродов. В 1930-х годах британский прозаик Олаф Стапледон писал о коллапсе цивилизации, вызванном специальными препаратами, генерирующими блаженство с помощью прямой стимуляции мозговых центров. 

Но это не предел. Идея еще старше, чем может показаться. Томас Мойниган (один из авторов этой статьи в оригинале) изучил сотни вариаций того, как люди прошлого рассуждали на тему отказа общества от выживания в пользу краткосрочного самоудовлетворения. В его книге «X-Risk: How Humanity Discovered its Own Extinction» подробно рассказывается о том, откуда берется этот страх и как он впервые затронул умы современников викторианской эпохи. 

Досконально изучив дарвиновскую классику, биолог Рэй Ланкестер решил дополнить дарвиновское объяснение принципов работы организмов-паразитов. Он заметил, что предки паразитов зачастую были устроены гораздо сложнее текущих особей, ведь отпрыски древних паразитов потеряли конечности, глаза и другие сложные органы. 

Ланкестер предположил, что паразиты становятся проще, потому что они обеспечивают свое существование за счет существа-хозяина, к которому «присасываются». Их органы атрофируются, так как можно использовать энергию и пищу, которая поступает в хозяина. Любимый пример Ланкестера – усоногий рак Sacculina. Он начинает свою жизнь как существо с головой и конечностями, но после прикрепления к хозяину Sacculina регрессирует до аморфного тела без головы и просто высасывает энергию из хозяина. Как делал бы «вайрхэд», подключенный к «рычагу удовольствий» любого рода. 

Для разума человека, жившего в викторианскую эпоху, такое будущее – просто догадки. Догадки, связанные с повышающимся уровнем комфорта. Именно индустриализация, по мнению философов и ученых того времени, могла низвести человека до статуса паразита. «Вероятно, мы все постепенно движемся к состоянию Sacculina, обремененных интеллектом», – размышлял Ланкестер.

А незадолго до этого сатирик Самуэль Батлер предполагал, что люди в своем «путешествии» к полностью автоматизированному миру станут паразитами для машин. 

К 1920-му году Джулиан Хаксли написал небольшую поэму. Она в довольно забавной манере рассказывала, как разные формы жизни могли бы развиваться. Крабы, конечно, решили, что пусть прогресс идет боком, а что насчет ленточных червей?

Страх перед тем, что человечество может последовать по пути ленточного червя, был весьма распространен среди поколения, родившегося и проживающего в период между Первой и Второй мировой. Брат Хаксли, Олдос, показал миру собственное видение дистопического будущего, рассказав историю «удовольствия в таблетках» в знаменитом романе «О, дивный новый мир!».

Друг Хаксли, британо-индийский генетик и футуролог Джон Бердон Сандерсон Холдейн, тоже переживал, что человечество стремится к деградации и сюжету фильма «Матрица». Якобы человек может пожертвовать своим естеством и возложить его на алтарь автоматизации и простоты. Прямо как грызуны, возложившие на алтарь легкого достижения удовольствия свою главную функцию – инстинкт выживания. 

Холдейн предупреждал: «Предки паразитов были с головами, но потеряли их. В погоне за удовольствиями человек также может потерять разум». И этот страх никуда не делся по сей день. 

Что ж, идея цивилизации, стремящейся в пропасть за наслаждениями, вместо поиска и осуществления иных более значимых целей, не нова. Как ни странно, но чем старее идея и чем настырнее она вторгается в нашу жизнь, тем с большим скепсисом людям надо относиться к ней. Стоит ли нам бояться судьбы паразитов? 

В эпоху медиа, которое полностью построено на «завоевании» нашего с вами внимания, взаимодействие с чем-то виртуальным и выдуманным кажется более привлекательным, нежели реальность и правдивая информация. Словно птицы Тинбергера, мы предпочитаем что-то более впечатляющее и красивое, а не настоящее. И поэтому многие эксперты обеспокоены появлением «вайрхэдов», которые ставят под угрозу всю цивилизацию. Ведь отвлекающие факторы в духе социальных сетей забирают все больше и больше нашего времени. И никак не меньше. 

Уже к 1964 году польский футуролог Станислав Лем связал Олдовских крыс с поведением человека, недвусмысленно указывая на любовь общества к кинематографу, порнографии и Диснейленду. Он полагал, что люди будущего могут и вовсе отказаться от реальности и навсегда слиться со своим симуляторами удовольствий. 

Станислав Лем и многие ученые предположили, почему мы до сих пор не смогли лицезреть хоть какую-то жизнь за пределами Земли. Они считали, что другие цивилизации уже давно выбрали виртуальный путь исследования мира и вселенных. Ведь традиционный вариант изучения окружения довольно рискованный. 

В эпоху расцвета контркультур 1960-х годов биолог Гюнтер Стент предположил, что прогресс будет двигаться в подобном утопическом направлении. Позже на конференции, посвященной поиску внеземной жизни, Стент заметил, что вместо развития и покорения просторов космоса, человечество коллапсирует в кристалл из медитативного и отравляющего блаженства, без каких-либо целей и стремлений. 

В наше время тем, кто обеспокоен ситуацией, стоит обратить внимание на всеобщий консьюмеризм, социальные сети и фастфуд как на потенциальные причины грядущего коллапса. 

Понятное дело, что проблема вайрхэдинга не самая важная для нас сейчас. Да и вообще, не все захотят отказываться от подобных благ. Вайрхэдинг может открыть нам ранее неизвестные просторы удовольствия, осмысления и переоценки собственного бытия. 

Но есть важный урок, который стоит извлечь всему обществу: заставить адаптивные и комплексные системы типа мозга, ИИ или экономики работать надежно и безопасно – слишком тяжело. Ученые трудятся над решением этой проблемы уже долгое время, а решений все нет. Учитывая, что цивилизация сама по себе – уже суперсложная система, то как мы можем учесть все проблемы и избежать краеугольных камней развития в будущем, создавая новую, но схожую систему в цифровом виде? 

В случае с ИИ мы пока что закладываем фундамент базовых подсистем. Раньше проблема вайрхэдинга и безопасности нейросетей в целом была вопросом второстепенной важности, а сейчас, когда искусственный интеллект, более продвинутый, чем человеческий, становится ближе, ученые все чаще задумываются о безопасности применяемых технологий. Нам нужно придумать, как обезопасить себя до того, как разработки достигнут точки невозврата. Правда, эксперты в области до сих пор спорят на тему того, стоит ли строго регулировать ИИ или, напротив, стоит развивать искусственный разум активнее, даруя его разработчикам больше свободы. 

Философ Ник Бостром полагает, что подобный агент потратит все свои нечеловеческие силы на сокращение рисков исчезновения источников удовольствия. И если он посчитает, что человечество несет хотя бы какую-то угрозу его возможности самоудовлетворяться, то мы окажемся на грани... 

Но отбросим все спекуляции и потенциальные риски. Вернемся к примеру с ИИ-гонщиком и его зацикленным поиском наград. Уже эта ситуация говорит о том, что проблема существует. Стоит надеяться, что мы научимся избегать подобных проблем в разработке ИИ и внушения ему мотиваций, пока не станет слишком поздно. Даже если вайрхэдинг берет свое начало в скромном мозге крысы и саркастических рассказах о ленточных червях, в будущем это явление может стать принципиальным для нашего общества.

Авторы статьи: Томас Мойниган и Андерс Сандберг

Оригинал: The Conversation

Перевод подготовлен Dinky специально для Timeweb