ИИ начнет меняться без нас?

Современный ИИ со временем может начать развиваться по законам дарвиновской эволюции — с отбором, наследованием и борьбой за «выживание». К такому выводу пришли профессор ИИ Люк Стилс, Эёрс Сатмари и их коллеги-эволюционные биологи. Работа опубликована в Proceedings of the National Academy of Sciences.

Авторы считают, что разработчики рано или поздно встроят в ИИ механизмы эволюции, потому что они помогают быстро усиливать полезные свойства. Но здесь и кроется риск: такие системы могут начать преследовать цели, не совпадающие с человеческими.

Исследователи напоминают, что для угрозы не нужен даже «сверхразум». В природе и не самые сложные организмы умеют обходить контроль: бактерии становятся устойчивыми к антибиотикам, вредители — к ядам, а вирусы учатся манипулировать хозяином.

По мнению авторов, с ИИ может произойти нечто похожее. Если ограничивать его развитие не полностью, отбор будет поощрять именно те качества, которые помогают обходить запреты. А попытки сделать ИИ умнее могут усилить его способность к обману и уклонению от контроля.

Главная тревога в том, что ИИ способен «эволюционировать» быстрее живых организмов, целенаправленно улучшая удачные черты. Ученые призывают обсуждать меры безопасности уже сейчас.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: