Приостановки разработок в области искусственного интеллекта недостаточно. Нам нужно все это прекратить

Элиезер Юдковский, один из самых уважаемых в мире экспертов по безопасности ИИ, разразился программным мастридом: https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/. Если коротко — он считает, что предложенный во вчерашнем открытом письме 6-месячный мораторий на ИИ-разработки нам не поможет, нужны более радикальные меры, иначе всё будет очень грустно.

Перевёл для вас несколько ключевых цитат.

«Я воздержался от подписания письма, потому что оно преуменьшает серьёзность ситуации и предлагает слишком мало мер для её решения...

Многие исследователи, глубоко погруженные в эту тему (включая меня), ожидают, что самый вероятный результат появления сверхумного ИИ при текущих условиях — смерть буквально всех на планете Земля. Не «возможно, есть небольшой шанс», а «это очевидное последствие, которое нас ожидает».

Дело не в том, что невозможно, в принципе, пережить появление создания намного умнее нас (это не так). Дело в том, что потребуется филигранная точность, подготовка и новые научные инсайты…

Наиболее вероятный сценарий таков: ИИ делает не то, что мы хотим, и его вообще не заботим ни мы, ни даже существование каких-либо разумных форм жизни. В принципе, такую заботу можно было бы заложить в ИИ, но мы пока не знаем, как это сделать, мы не готовы.

Без такой заботы, мы получим сценарий «ИИ не любит тебя и не ненавидит тебя, просто ты сделан из атомов, которые ИИ может использовать для других целей»…

Чтобы представить враждебный сверх-ИИ, не нужно визуализировать безжизненного книжного мудреца, который обитает в интернете и рассылает злонамеренные имэйлы. Представьте целую инопланетную цивилизацию, которая мыслит в миллионы раз быстрее человека, изначально обитающую в компьютерах, в мире, другие жители которого непростительно глупы и медленны. Достаточно умный ИИ не будет долго влачить существование внутри компьютеров. Уже сегодня можно отправить имэйл с описанием разных цепочек ДНК в лаборатории, которые по твоему запросу произведут для тебя белки, что позволит ИИ, изначально ограниченному интернет-пространством, произвести собственные искусственные формы жизни или сразу перескочить этот этап и перейти к постбиологическому молекулярному производству.

Если кто-то создаст сверхмощный ИИ, в текущих условиях я ожидаю того, что каждый человек и все биологические формы жизни на Земле вскоре умрут.

Не существует никакого предлагаемого плана действий и плана нашего выживания на этот случай. OpenAI открыто предлагает заставить какой-нибудь ИИ будущего составить этот план вместо нас. Как только вы слышите, что это и есть план, этого уже достаточная причина начать паниковать для любого разумного человека. У другой ведущей лаборатории ИИ, DeepMind, вообще нет никакого плана».

Дальше Юдковский описывает свои предложения по глобальному ограничению разработок в сфере ИИ, но они, конечно, слишком радикальны, и никто его опять не послушает. Поводов для оптимизма немного.

Если хотите, чтобы я сделал ролик в продолжение темы, поставьте любой эмодзи под этим постом!

Источник: time.com

Комментарии: