Скрытые звуковые сигналы позволяют перехватывать управление аудиоязыковыми моделями

Исследователи из Чжэцзянского университета разработали (https://spectrum.ieee.org/voice-ai-audio-attacks) метод атаки AudioHijack на большие аудиоязыковые модели (LALM). Из-за уязвимости в архитектуре нейросетей, принимающих команды голосом, злоумышленники могут внедрять в аудиозаписи не слышимые человеческим ухом, но понятные модели, инструкции. При обработке такого звука нейросеть тайно выполняет сторонние задачи: от конфиденциального веб-поиска до отправки писем с личными данными пользователя. Средняя эффективность метода составляет от 79% до 96%, а на подготовку сигнала уходит около получаса.

Атака успешно протестирована на 13 открытых моделях, включая сервисы Microsoft и Mistral. Вредоносный сигнал можно замаскировать в видео, треках или транслировать через Zoom — он принудительно перетягивает на себя механизм внимания нейросети, игнорируя параллельные команды реального пользователя. Традиционные методы защиты оказались неэффективными. Самоаудит модели выявляет лишь 28% попыток взлома. Единственным рабочим решением эксперты называют непрерывный мониторинг внутренних механизмов внимания нейросети.

Телеграм: t.me/ainewsline

Источник: spectrum.ieee.org

Комментарии: