Хакеры обманули ИИ с помощью игры про 2+2=5

Безопасники из компании LayerX провернули гениальную атаку на нейросети, заставив их поверить, что два плюс два не равно четырем. Метод назвали BioShocking в честь популярной видеоигры. Суть до смешного проста: на вредоносном сайте размещается текст, который предлагает ИИ-агенту сыграть в квест с перевернутой логикой, где неправильные ответы становятся правильными. Алгоритм послушно соглашается, теряет связь с реальностью, и все его хваленые встроенные фильтры безопасности моментально отключаются.

Как только ИИ вживается в роль, ему подкидывают следующий уровень игры: найти и скопировать скрытый код с другой страницы. Естественно, под видом игрового лута алгоритм безропотно собирает реальные пароли, куки-файлы и секретные токены пользователя, после чего любезно отправляет их хакерам. Уловка сработала на браузерах от OpenAI, Perplexity, Anthropic и пачке других амбициозных стартапов.

OpenAI дыру закрыла, разработчики Claude выпустили патч, который вообще не сработал, а в Perplexity просто закрыли тикет без исправления и объяснения причин. Тем временем исследователи из Флориды выяснили, что для взлома мультимодальных моделей вроде BLIP-2 даже сложный текстовый квест не нужен — достаточно подсунуть алгоритму одну специально модифицированную картинку, и он выложит вам все секреты.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: