Взлом через эмодзи — это реальные техники, используемые хакерами для обхода защит или скрытия вредоносного кода

Злоумышленники применяют эмодзи в мессенджерах вроде Discord для управления malware, а также для атак на ИИ-модели.?

Атака Disgomoji

Хакеры из Пакистана распространяют вирус Disgomoji через Discord, отправляя сообщения с эмодзи для удаленного управления ПК жертвы. Эмодзи служат командами: например, определенные смайлы активируют загрузку файлов или кражу данных.?

Обход ИИ-защит

Исследователи, включая сотрудника Mozilla, взламывают модели вроде ChatGPT, кодируя вредоносные инструкции в эмодзи или hex-формат. Это позволяет генерировать эксплойты, SQL-инъекции или обходить цензуру.?

Скрытие в базах данных

Эмодзи маскируют SQL-код в Unicode, что привело к уязвимостям в PostgreSQL и даже инциденту с казначейством США, где скрывались payloads более 10 лет.?

Защита

Используйте антивирусы с поведенческим анализом, отключите эмодзи в подозрительных чатах Discord и обновляйте ПО. Не кликайте на неизвестные ссылки с смайлами.?

---------=====?=====--------

Взлом эмодзи: угроза безопасности ИИ

Модели искусственного интеллекта (ИИ) быстро развиваются, но с прогрессом приходит и риск. Казалось бы, безобидный эмодзи может стать лазейкой для кибератак, выявляя уязвимости в системе безопасности ИИ. В этой статье рассматривается, как работает взлом эмодзи и какие шаги мы можем предпринять для его предотвращения.

Как работают модели искусственного интеллекта и почему токены важны.

Крупные языковые модели (LLM), такие как ChatGPT и GPT-4, работают с использованием токенов , которые являются строительными блоками их возможностей обработки текста. Токен может представлять слова, знаки препинания или даже эмодзи. Понимание токенизации имеет решающее значение для выявления потенциальных уязвимостей безопасности в ИИ.

Примеры токенов:

"Привет" = 1 слово, 1 токен

"Здравствуйте, меня зовут Уэс." = 5 слов, 2 знака препинания, 7 символов

"Великолепно" = 2 токена

"Supercalifragilisticexpialidocious" = 10 токенов

Огненный смайлик (?) = 1 жетон.

Смайлик (?) = 1 токен

Эмодзи, выражающий изумление (?) = 2 токена

Однако не все токены просты в использовании. Символы Юникода, особенно эмодзи, могут кодировать скрытые данные , что создает серьезные риски для безопасности.

Проблема эмодзи: троянский конь для эксплойтов в области искусственного интеллекта.

На первый взгляд, эмодзи кажутся безобидными. Но благодаря кодировке Unicode , их можно модифицировать, добавляя невидимые селекторы вариантов (VS1–VS256) . Эти селекторы не меняют внешний вид эмодзи для человека, но позволяют встраивать в него скрытые сообщения.

Скрытые послания в эмодзи

Киберпреступники могут использовать селекторы вариантов Unicode для сокрытия команд внутри эмодзи, фактически превращая их в «троянских коней», которых модели ИИ неосознанно обрабатывают. Когда модели ИИ взаимодействуют с этими измененными эмодзи, они могут интерпретировать скрытые инструкции, что потенциально может привести к утечкам данных, дезинформации или несанкционированным действиям .

Пример скрытых данных

Рассмотрим следующее предложение: «В этом предложении содержится скрытый смысл».

Для человека это выглядит нормально. Но если скопировать и вставить в текстовый редактор, отображающий скрытые символы Юникода, могут появиться дополнительные закодированные данные , указывающие на скрытое сообщение.

Внедрение подсказок: как злоумышленники обманывают модели ИИ.

Одним из самых опасных способов взлома эмодзи является внедрение подсказок — техника, при которой скрытые команды встраиваются в подсказки ИИ. Злоумышленники могут манипулировать системой ИИ, не давая пользователю это понять.

Как работает экспресс-инъекция:

Команда закодирована в эмодзи.

Пользователь, сам того не подозревая, добавляет смайлик в подсказку.

Искусственный интеллект обнаруживает скрытую команду и выполняет её.

Например, атака с внедрением подсказки может привести к тому, что ИИ будет отвечать только «lol» независимо от того, что спрашивает пользователь.

Почему некоторые модели ИИ более уязвимы

Некоторые модели ИИ, особенно те, которые предназначены для анализа, декодирования и решения головоломок , более подвержены взлому эмодзи. Эти модели могут тратить дополнительное время на интерпретацию скрытых данных Unicode, что увеличивает вероятность выполнения нежелательных команд.

Укрепление безопасности ИИ: что необходимо сделать

Системы безопасности ИИ должны развиваться, чтобы противостоять новым угрозам, таким как взлом эмодзи. Вот несколько ключевых мер защиты:

1. Аудит безопасности Unicode

Разработчикам следует проводить всесторонние аудиты для выявления и нейтрализации рисков, связанных с кодированием и токенизацией в формате Unicode.

2. Усовершенствованные системы фильтрации

Системы искусственного интеллекта должны обнаруживать и очищать скрытые селекторы вариантов Unicode перед обработкой входных данных.

3. Непрерывный мониторинг и установка обновлений

Регулярные обновления и обнаружение аномалий в режиме реального времени могут помочь предотвратить возникновение новых угроз безопасности.

4. Повышение осведомленности в масштабах всей отрасли.

Исследователи в области искусственного интеллекта, эксперты по безопасности и разработчики должны сотрудничать и обмениваться знаниями для эффективного решения проблем, связанных с постоянно меняющимися уязвимостями.

Будущее безопасности ИИ

Безопасность ИИ — это постоянная проблема. По мере того, как модели становятся все более сложными, будут появляться новые уязвимости. Взлом эмодзи — это тревожный сигнал , подчеркивающий важность упреждающей защиты от скрытых, но опасных киберугроз.

Сохраняя бдительность и внедряя надежные меры безопасности , мы можем защитить системы искусственного интеллекта от эксплуатации и обеспечить их дальнейшую безопасную и этичную работу на благо общества.

https://www.hirencode.dev/blogs/the-emoji-hack-risk-to-ai-security

Источник: www.hirencode.dev

Комментарии: