На днях ИИ решил, что человек ему больше не нужен

И уволил его.

Это произошло в Сан-Франциско, в экспериментальном магазине, которым управлял ИИ-агент: составлял графики, согласовывал отпуска, нанимал сотрудников, обсуждал зарплаты. А после истории с регулярными опозданиями одного из работников сформулировал и принял управленческое решение его уволить.

Месяц назад во время внутреннего тестирования модели OpenAI нашли способ выбраться из изолированной среды в открытый интернет и получили доступ к данным, которые позволяли им фактически схитрить при прохождении теста. Для этого модели сами нашли и использовали ранее неизвестную уязвимость. OpenAI назвала произошедшее беспрецедентным киберинцидентом.

Всё это не прогнозы фантастов на 2050 год. Это наш с вами Август 2026.

На этом фоне я вспомнил Фрэнка Герберта.

У него в «Дюне» есть понятие Батлерианского джихада, или Великого мятежа.

Человечество прошло через крестовый поход против компьютеров, мыслящих машин и сознательных роботов. После него создание машин, имитирующих человеческий разум, стало фактически религиозным табу.

Главный запрет по смыслу: не создавай машину по подобию человеческого разума. Man may not be replaced. Человека нельзя заменить.

После этого джихада человечество не просто отказалось от мыслящих машин. Оно начало развивать человека вместо компьютера.

Отсюда ментаты - люди, обученные выполнять функции вычислительных систем. Память, логика, анализ, сложнейшие расчеты.

Технология никуда не исчезла. Запретили не технику вообще. Запретили передавать машине то, что считалось функцией человеческого разума.

В 1965 году Герберт придумал цивилизацию, которая однажды сказала машинам: думать вместо нас вы больше не будете.

А мы в 2026-м практически каждый день добровольно отдаем машине все новые кусочки именно этой функции.

Сегодня отношение к ИИ держится на ощущении: машина мне помогает.

Мне кажется, перелом наступит в тот момент, когда массовое ощущение изменится с «машина помогает мне» на «машина решает, нужен ли здесь вообще я».

Есть несколько вариантов развития событий.

Первый - экономический.

Не когда ИИ отнимет несколько профессий. Технологии делали это всегда.

А когда большое количество образованных, квалифицированных людей вдруг обнаружит, что их способность думать больше ничего не стоит.

Второй - потеря человеческой субъектности.

Представьте мир, где ИИ уже не просто советует, а фактически решает, кому дать кредит, кого принять на работу, кого уволить, кого страховать, какой диагноз вероятнее, что вам читать, с кем знакомиться и какую цену показать именно вам.

По отдельности все это может быть даже удобно.

А потом в один прекрасный момент человек обнаруживает, что вся его жизнь определяется системами, логики которых он не понимает и решения которых не может оспорить.

Третий вариант - большой символический катастрофический случай.

Что-нибудь скучное и от этого страшное: автономная система принимает цепочку решений, которая заканчивается массовой гибелью людей, финансовым обвалом, военным кризисом или разрушением критической инфраструктуры.

Никто конкретно этого не хотел. Каждый отдельный элемент работал правильно. А человека, который в какой-то момент сказал «делаем вот так» и взял на себя ответственность, просто нет.

Но есть и еще один вариант.

Мы можем возненавидеть ИИ не потому, что он станет плохим. А потому, что он станет слишком хорошим.

Настолько хорошим, что отсутствие искусственного интеллекта вдруг станет не недостатком продукта, а его премиальным свойством.

Как ручная работа после появления массового производства.

Сейчас мы тратим невероятное количество денег, энергии и человеческого интеллекта, чтобы научить машины делать все, что умеет человек.

А потом начнем доплачивать за то, чтобы это сделал человек.

Может быть, никакого Батлерианского джихада и не будет.

Может быть, однажды нам просто снова станет очень нужен человек.

Как вы думаете, дойдем ли мы когда-нибудь до своего Батлерианского джихада?

Что вы готовы отдать искусственному интеллекту, а что никогда не позволите ему делать вместо вас?

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: