Приостановки разработок в области искусственного интеллекта недостаточно. Нам нужно все это прекратить

Юдковски - специалист по теории принятия решений из США, возглавляющий исследования в Исследовательском институте машинного интеллекта. Он работает над созданием искусственного общего интеллекта с 2001 года и широко известен как основатель этой области.

Опубликованное сегодня открытое письмо призывает “все лаборатории искусственного интеллекта немедленно приостановить по крайней мере на 6 месяцев обучение системам искусственного интеллекта, более мощным, чем GPT-4”.

Этот 6-месячный мораторий был бы лучше, чем никакого моратория. Я испытываю уважение ко всем, кто выступил с инициативой и подписал его. Это улучшение с точки зрения рентабельности.
Я воздержался от подписания, потому что считаю, что письмо преуменьшает серьезность ситуации и просит слишком мало для ее решения.

Ключевой проблемой является не интеллект, “конкурирующий с человеком” (как говорится в открытом письме); это то, что происходит после того, как искусственный интеллект становится умнее человеческого. Ключевые пороговые значения там могут быть неочевидны, мы определенно не можем заранее рассчитать, что и когда произойдет, и в настоящее время кажется немыслимым, что исследовательская лаборатория пересечет критические границы, не заметив этого.

Многие исследователи, занимающиеся этими вопросами, включая меня, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного искусственного интеллекта при любых обстоятельствах, отдаленно похожих на нынешние, будет то, что буквально все на Земле умрут. Не как в “возможно, возможно, какой-то отдаленный шанс”, а как в “это очевидная вещь, которая должна была произойти”. Дело не в том, что вы в принципе не можете выжить, создавая что-то намного умнее вас; дело в том, что это потребовало бы точности, подготовки и новых научных открытий, и, вероятно, отсутствия систем искусственного интеллекта, состоящих из гигантских непостижимых массивов дробных чисел.
Без такой точности и подготовки наиболее вероятным результатом будет искусственный интеллект, который не делает того, что мы хотим, и не заботится ни о нас, ни о разумной жизни в целом. Такого рода забота - это то, что в принципе можно было бы внедрить в искусственный интеллект, но мы не готовы и в настоящее время не знаем, как это сделать.

При отсутствии такой заботы мы получаем: “Искусственный интеллект вас не любит и не ненавидит, и вы сделаны из атомов, которые он может использовать для чего-то другого”.

Вероятным результатом столкновения человечества с противостоящим ему сверхчеловеческим разумом будет полная потеря. Допустимые метафоры включают “10-летний подросток пытается сыграть в шахматы против 15-летней рыбы”, “11-й век пытается сразиться с 21-м веком” и “Австралопитек пытается сразиться с Homo sapiens“.

Чтобы представить себе враждебный сверхчеловеческий искусственный интеллект, не представляйте себе безжизненного книжного мыслителя, обитающего в Интернете и рассылающего электронные письма со злонамеренными намерениями. Представьте себе целую инопланетную цивилизацию, мыслящую со скоростью, в миллионы раз превышающей человеческую, изначально ограниченную компьютерами — в мире существ, которые, с ее точки зрения, очень глупы и очень медлительны. Достаточно интеллектуальный искусственный интеллект не будет надолго привязан к компьютерам. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по требованию, позволяя ИИ, изначально ограниченному Интернетом, создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству.

Если кто-то создаст слишком мощный искусственный интеллект в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый отдельный представитель человеческого вида и вся биологическая жизнь на Земле.

Нет никакого предлагаемого плана того, как мы могли бы сделать что-либо подобное и выжить. Открыто заявленное намерение OpenAI состоит в том, чтобы заставить какой-нибудь будущий искусственный интеллект выполнить нашу домашнюю работу по настройке искусственного интеллекта. Одного только слуха о том, что таков план, должно быть достаточно, чтобы любой здравомыслящий человек впал в панику. У другой ведущей лаборатории искусственного интеллекта, DeepMind, вообще нет плана.

В стороне: ни одна из этих опасностей не зависит от того, являются или могут быть сознательными ИИ; это неотъемлемо от понятия мощных когнитивных систем, которые жестко оптимизируют и вычисляют результаты, удовлетворяющие достаточно сложным критериям результата. С учетом сказанного, я бы пренебрег своими моральными обязанностями человека, если бы также не упомянул, что мы понятия не имеем, как определить, осознают ли системы искусственного интеллекта сами себя — поскольку мы понятия не имеем, как расшифровать все, что происходит в гигантских непостижимых массивах, — и поэтому мы можем по крайней мере в какой-то момент непреднамеренно создаются цифровые умы, которые действительно сознательны и должны иметь права, а не принадлежать кому-либо.

Правило, которое большинство людей, осведомленных об этих проблемах, одобрили бы 50 лет назад, состояло в том, что если система искусственного интеллекта может свободно говорить и заявляет, что она осознает себя и требует соблюдения прав человека, это должно быть жестким ограничением для людей, просто случайно владеющих этим искусственным интеллектом и использующих его после этого момента. Мы уже преодолели ту старую черту на песке. И это, вероятно, было правильно; я согласен, что нынешние ИИ, вероятно, просто имитируют разговоры о самосознании на основе своих обучающих данных. Но я отмечаю, что, несмотря на то, как мало мы разбираемся во внутренностях этих систем, на самом деле мы этого не знаем.

Если это наше состояние незнания для GPT-4, а GPT-5 - такой же гигантский шаг в развитии возможностей, как от GPT-3 к GPT-4, я думаю, мы больше не сможем оправданно говорить “вероятно, не осознаем себя”, если позволим людям создавать GPT-5. Это будет просто ”я не знаю; никто не знает". Если вы не можете быть уверены, создаете ли вы самосознающий искусственный интеллект, это вызывает тревогу не только из-за моральных последствий “самосознающей” части, но и потому, что неуверенность означает, что вы понятия не имеете, что делаете, а это опасно, и вам следует остановиться.

7 февраля Сатья Наделла, генеральный директор Microsoft, публично позлорадствовал, что новый Bing заставит Google “выйти и показать, что они умеют танцевать”. “Я хочу, чтобы люди знали, что мы заставили их танцевать”, - сказал он.

Генеральный директор Microsoft не так разговаривает в нормальном мире. Это показывает огромный разрыв между тем, насколько серьезно мы относимся к проблеме, и тем, насколько серьезно нам нужно было отнестись к проблеме 30 лет назад.

Мы не собираемся преодолевать этот разрыв за шесть месяцев.

Это заняло больше времени более 60 лет прошло с тех пор, как впервые было предложено и изучено понятие искусственного интеллекта, и до того, как мы достигли сегодняшних возможностей. Решение проблемы безопасности сверхчеловеческого интеллекта — не идеальной безопасности, безопасности в смысле “не убивать буквально всех” — вполне разумно могло бы занять по крайней мере вдвое меньше времени. И суть попытки сделать это с помощью сверхчеловеческого интеллекта в том, что если вы ошибетесь с первой попытки, вам не удастся учиться на своих ошибках, потому что вы мертвы. Человечество не извлекает уроков из ошибок, не отряхивается и не пытается снова, как в случае с другими вызовами, которые мы преодолели в нашей истории, потому что мы все ушли.

Попытка сделать что-либо правильно с первой по-настоящему важной попытки - это экстраординарная задача как в науке, так и в инженерном деле. Мы не предлагаем ничего похожего на подход, который потребовался бы для успешного выполнения этого. Если бы мы придерживались в зарождающейся области искусственного общего интеллекта меньших стандартов инженерной строгости, которые применяются к мосту, рассчитанному на пару тысяч автомобилей, вся эта область была бы закрыта завтра.

Мы не готовы. Мы не на том пути, чтобы быть готовыми в любой разумный промежуток времени. У нас нет никакого плана. Прогресс в области возможностей искусственного интеллекта значительно опережает прогресс в настройке искусственного интеллекта или даже прогресс в понимании того, что, черт возьми, происходит внутри этих систем. Если мы действительно сделаем это, мы все умрем.

Многие исследователи, работающие над этими системами, думают, что мы приближаемся к катастрофе, причем большинство из них осмеливаются говорить об этом в частном порядке, а не публично; но они думают, что не могут в одностороннем порядке остановить стремительный скачок, что другие будут продолжать, даже если они лично уволятся со своей работы. И поэтому они все думают, что с таким же успехом могли бы продолжать в том же духе. Это глупое положение дел и недостойный способ гибели Земли, и остальная часть человечества должна вмешаться в этот момент и помочь отрасли решить ее проблему коллективных действий.

Некоторые из моих друзей недавно сообщили мне, что, когда люди, не связанные с индустрией искусственного интеллекта, впервые слышат о риске вымирания со стороны искусственного общего интеллекта, их реакция такова: “Тогда, может быть, нам не стоит создавать AGI”.

Услышав это, я ощутил слабую вспышку надежды, потому что это более простая, разумная и, откровенно говоря, более здравомыслящая реакция, чем та, которую я слышал за последние 20 лет попыток заставить кого-либо в отрасли относиться ко всему серьезно. Любой, кто говорит это здраво, заслуживает того, чтобы услышать, насколько плоха ситуация на самом деле, и не слышать, что шестимесячный мораторий все исправит.

16 марта мой партнер отправил мне это электронное письмо. (Позже она дала мне разрешение привести выдержку из этого здесь.)

“ Нина потеряла зуб! Обычным образом, как это делают дети, а не по беспечности! Наблюдение за тем, как GPT4 провалил эти стандартизированные тесты в тот же день, когда Нина достигла рубежа детства, вызвало эмоциональный всплеск, который на минуту сбил меня с ног. Все происходит слишком быстро. Я беспокоюсь, что, поделившись этим, ты усугубишь свое горе, но я бы предпочел, чтобы ты знал меня, чем чтобы каждый из нас страдал в одиночку”.

Когда внутренний разговор заходит о горе, вызванном тем, что ваша дочь потеряла свой первый зуб, и о том, что у нее не будет шанса повзрослеть, я полагаю, что мы прошли тот момент, когда нужно играть в политические шахматы по поводу шестимесячного моратория.

Если бы существовал план выживания Земли, если бы только мы ввели шестимесячный мораторий, я бы поддержал этот план. Никакого такого плана не существует.

Вот что на самом деле нужно было бы сделать:

Мораторий на новые крупные тренировочные заезды должен быть бессрочным и действовать по всему миру. Исключений быть не может, в том числе для правительств или вооруженных сил. Если политика начинается с США, то Китаю нужно увидеть, что США не стремятся к преимуществу, а скорее пытаются предотвратить ужасно опасную технологию, у которой не может быть истинного владельца и которая убьет всех в США, Китае и на Земле. Если бы у меня была бесконечная свобода в написании законов, я мог бы сделать единственное исключение для ИИ, обучаемых исключительно для решения
проблемы в биологии и биотехнологии, не обученные текстам из Интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это хоть отдаленно усложняло проблему, я бы немедленно отклонил это предложение и сказал просто закрыть все это.

Отключите все крупные кластеры графических процессоров (крупные компьютерные фермы, где дорабатываются самые мощные ИИ). Закройте все крупные тренировочные заезды. Установите максимальный уровень вычислительной мощности, который любому пользователю разрешено использовать для обучения системы искусственного интеллекта, и в ближайшие годы снизьте его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключайте международные соглашения, чтобы предотвратить распространение запрещенной деятельности в других местах. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер графических процессоров, меньше опасайтесь конфликта между странами, чем нарушения моратория; будьте готовы уничтожить несанкционированный центр обработки данных авиаударом.

Не рассматривайте ничего как конфликт между национальными интересами, дайте понять, что любой, кто говорит о гонке вооружений, - дурак. То, что мы все здесь живем или умираем как одно целое, - это не политика, а факт природы. Четко разъясните в международной дипломатии, что предотвращение сценариев вымирания ИИ считается приоритетом выше предотвращения полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска крупных тренировочных запусков ИИ.

Это такое изменение политики, которое заставило бы нас с моим партнером обнять друг друга и сказать друг другу, что произошло чудо, и теперь есть шанс, что, возможно, Нина будет жить. Здравомыслящие люди, слышащие об этом впервые и здраво рассуждающие: “Возможно, нам не следует этого делать”, заслуживают того, чтобы честно услышать, что нужно сделать, чтобы это произошло. И когда ваш запрос на политику настолько велик, единственный способ добиться успеха - это если политики поймут, что если они будут вести дела как обычно и делать то, что политически легко, это означает, что их собственные дети тоже умрут.

Мы еще не готовы. Мы не на пути к тому, чтобы стать значительно более подготовленными в обозримом будущем. Если мы продолжим в том же духе, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого.

Источник: time.com

Комментарии: