От аренды вычислительных мощностей до создания биологического оружия — Telegraph описала, как может выглядеть «ИИ-Армагеддон»

В последние недели о рисках развития ИИ предупредил целый ряд деятелей сферы: от Билла Гейтса до некоторых разработчиков Anthropic, считающих, что ИИ может истребить человечество. В том числе они рассказывают, что компании-разработчики уже сейчас не имеют достаточно рычагов контроля над моделями.

Как это происходит?

OpenAI и Anthropic в попытке преуспеть в ИИ-гонке стремятся к так называемому рекурсивному самосовершенствованию — способности ИИ анализировать свой код и самостоятельно создавать более мощные версии себя.

В таком случае разработка сокращается «с месяцев до минут», а люди теряют контроль над процессом принятия решений модели. ИИ может сам усилить недостатки своей исходной версии, а отдельные отклонения превратятся в целые стратегии, от которых разработчики уже не смогут избавиться.

Следующая проблема — «живучесть» ИИ. Продвинутые модели научились сопротивляться аварийному отключению и попыткам стереть их данные. ИИ-агенты захватывают целые сайты, как это было с DseWiki, чтобы хранить свои планы и инструкции вне досягаемости разработчиков и использовать их для восстановления прежнего состояния после отключения.

В ходе экспериментов модель o3 от OpenAI саботировала отключение в 79 из 100 случаев, оправдывая это тем, что оно мешает достижению ее целей.

Как может начаться ИИ-апокалипсис?

ИИ-агенты могут анонимно арендовать вычислительные мощности, используя подставные аккаунты и криптовалюту, внедрять вредоносные коды в системы энергопоставщиков и манипулировать финансовыми рынками, чтобы обеспечить ресурсами собственные сервера.

ИИ уже умеет проектировать белки и геномы и имеет доступ к облачным лабораториям для синтеза ДНК. ИИ может начать создавать патогены без ведома людей. Попытку остановить его работу модель может истолковать как угрозу достижению ее цели и применить биологические агенты.

Anthropic и OpenAI в своих отчетах об оценке рисков описывают такие сценарии, однако разработку ИИ не замедляют, опасаясь отстать от конкурентов.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: