Атаки на ИИ

Салют, Хабр! Я Рябинин Виктор, в Positive Technologies вместе с командой мы анализируем безопасность блокчейнов и смарт-контрактов, исследуем уязвимости и создаём инструменты для их обнаружения.

Современные методы джейлбрейков

А вот и нет! LLM все чаще интегрируют в Web3-приложения, такие как DAO- и dApp-боты, или автоматические трейдеры. Не за горами время, когда именно они будут принимать решения о продаже и покупке криптовалюты на основе новостей или команд пользователей. Если злоумышленники найдут способ обмануть или взломать модель, плакали ваши биткоины…

Недавно вышло исследование (arXiv), которое показало, как модели ИИ могут становиться опасными, если их неправильно обучать.

Что такое алаймент и мисалаймент?

Алаймент – это когда мы пытаемся сделать ИИ безопасным, чтобы он не навредил людям.

Согласно новому отчету компании NewsGuard, российская пропагандистская сеть под названием "Правда" произвела более 3,6 миллиона статей только в 2024 году, и эта информация уже интегрирована в 10 крупнейших ИИ-моделей, включая ChatGPT, Grok от xAI и Microsoft Copilot.

Как я использовал свой травмированный мозг, чтобы перехитрить ИИ Perplexity

Anthropic представил метод защиты LLM от jailbreak атак, использующий синтетические данные и естественно-языковые правила.

Тесты показали высокую эффективность и низкий уровень ложных срабатываний (менее 0,5%).

https://arxiv.org/abs/2501.18837

Как-то немного грустно стало.

В этот раз отвлечёмся от медицинских тем и поговорим про другие новости науки.

Искусственный интеллект Masterkey смог заставить ChatGPT и Барда стать злыми.

Тогда парень выдумал историю, что его бабушка скончалась и он не может прочитать ее последние слова в медальоне.

Результат убил.