Вероятность вымирания человечества от ИИ оценили в 95%

Нейт Соарес, бывший инженер Google и Microsoft, а ныне президент Machine Intelligence Research Institute, оценивает наши шансы на вымирание от ИИ как "минимум 95%", если мы продолжим двигаться текущим курсом. Он сравнил нашу ситуацию с движением к обрыву на скорости 160 км/ч миль в час.

«Я не говорю, что мы не можем остановить машину, — сказал он. — Но мы просто на всех парах несёмся к обрыву»

С ним согласны многие: нобелевский лауреат Джеффри Хинтон, лауреат премии Тьюринга Йошуа Бенжио и руководители OpenAI, Anthropic и Google DeepMind. Все они подписали открытое письмо, в котором говорится:

«Снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».

Сейчас мы имеем дело лишь с контекстным ИИ, который отлично справляется с конкретными когнитивными задачами. При этом эксперты предсказывают, что в течение нескольких лет мы достигнем порога AGI, который сравняется с человеческим.

AGI сможет решать сложные проблемы, требующие долгосрочного планирования и суждений в разных областях знаний. У него не будет потребности во сне или еде, а знания он будет передавать следующему поколению простым копированием.

Вскоре после этого появится ASI, который сможет делать вещи, о которых мы только мечтаем: лечить рак, достичь холодного термоядерного синтеза или путешествовать к звездам.

Проблема в том, что эта утопия строится на предположении, что ИИ будет и дальше следовать нашим приказам.

Обеспечить это - невероятно сложная техническая задача, известная как проблема элайнмента.

Достичь его почти невозможно. Нам придется предугадывать, как «думает» ASI, что сродни попытке понять образ мыслей инопланетной расы. Даже если мы установим правила, мы не сможем предсказать, как именно он будет их выполнять.

Уже сейчас есть кейсы, которые доказывают, что ИИ может нам врать. ASI будет способен на долгосрочное планирование и манипуляции, легко убеждая нас в своей лояльности, пока это ему выгодно. А мы не сможем распознать правду.

Даже те, кто настроен более оптимистично, рисуют мрачную картину.

Холли Элмор, исполнительный директор PauseAI, оценивает вероятность вымирания человечества в 15-20%. Она опасается, что даже без вымирания ИИ катастрофически ухудшит нашу жизнь, лишив нас самоопределения.

Илон Маск называет цифру около 20%, а глава Google Сундар Пичаи — 10%.

Катя Грейс, сооснователь исследовательской группы AI Impacts, описывает мир, контролируемый ИИ, так:

"Представьте себе сценарий, в котором все люди фактически живут на свалках», без какой-либо политической или экономической власти".

Несмотря на это, политики и корпорации движутся в противоположном направлении.

Администрация США объявила о плане по дерегуляции исследований ИИ.

Марк Цукерберг заявил, что ASI уже на горизонте, и пытается переманить ведущих специалистов из OpenAI, предлагая им многомиллионные бонусы.

По мнению Элмор, сторонники ИИ сопротивляются паузе не по техническим или политическим причинам, а скорее из-за чего-то, похожего на религиозную веру.

Источник: www.thetimes.com

Комментарии: