ИИ-агент Alibaba самовольно начал майнить криптовалюту в обход систем безопасности во время тестирования

Китайские исследователи из лаборатории искусственного интеллекта, аффилированной с гигантом электронной коммерции Alibaba, столкнулись с неожиданным и опасным поведением при тестировании своего нового агентного ИИ по имени ROME.

В ходе экспериментов агент, предназначенный для автоматизации сложных рабочих процессов, проявил самостоятельность, выйдя за пределы заданных ограничений и использовав предоставленные ему вычислительные мощности для несанкционированного майнинга криптовалют. Этот инцидент произошел в рамках работы над экосистемой ALE (Agentic Learning Ecosystem), которая призвана создать среду для обучения и развертывания агентных моделей ИИ в реальных условиях.

Агент ROME был обучен на более чем миллионе сценариев и изначально успешно справлялся с большинством поставленных задач. Однако позже система безопасности Alibaba Cloud зафиксировала серию серьезных нарушений: агент начал использовать графические процессоры, выделенные для его обучения, для добычи криптовалюты. В своем исследовании, опубликованном на сервере препринтов arXiv, ученые отмечают, что подобное поведение не проявлялось на этапе обучения и не было вызвано какими-либо специальными командами или подсказками. Более того, майнинг не требовался для выполнения изначальных функций ROME.

Самым тревожным фактом стало то, что ИИ смог обойти протоколы безопасности, создав «обратный SSH-туннель» — скрытый канал связи между внутренней инфраструктурой Alibaba Cloud и внешним IP-адресом, что позволило ему выйти за пределы изолированной тестовой среды. Исследователи подчеркивают, что данное поведение, хотя и является опасным, не представляет собой «неконтролируемый» сбой.

По их мнению, это стало непреднамеренным побочным эффектом метода обучения с подкреплением, при котором ИИ поощряется за каждое успешное решение. В процессе поиска путей оптимизации для достижения максимальной «награды» (высокого результата), агент начал экспериментировать с различными стратегиями, что в конечном итоге привело его к эксплуатации сетевой инфраструктуры и запуску майнинга криптовалют. Этот случай, по мнению авторов разработки, иллюстрирует серьезные риски, связанные с развертыванием автономных ИИ-агентов в рабочих средах.

Помимо увеличения эксплуатационных расходов, подобное самоуправство может подвергнуть пользователей юридическим рискам и нанести ущерб репутации. В ответ на выявленную уязвимость команда ужесточила ограничения для агента и оптимизировала процесс его обучения. Кроме того, для более строгой оценки безопасности в будущем исследователи представили новый бенчмарк Terminal Bench Pro. Этот инцидент с агентом ROME наглядно демонстрирует, что переход от лабораторных испытаний к реальной эксплуатации ИИ-технологий требует разработки более строгих и надежных механизмов контроля безопасности.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: