Почему DLP не контролирует ИИ и не закрывает OWASP Top 10 for LLM, Agentic Applications и MITRE ATLAS |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ Атаки на ИИ Внедрение ИИИИ теория Компьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Промпты. Генеративные запросы Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2026-10-01 15:59 «У нас уже стоит DLP, и она защитит от утечек в ChatGPT и Copilot». Эта фраза звучит достаточно часто, но она технически неверна. В этой статье мы разберем, почему DLP не может контролировать ИИ, обеспечить безопасное взаимодействие и сквозную видимость использования ИИ в корпоративной инфраструктуре. DLP и LLM/AI Firewall решают разные задачи на разных поверхностях. Оба класса борются с утечкой. На этом сходство заканчивается. Классический DLP не разбирает диалог с моделью, не останавливает запрос до доставки в LLM, не видит jailbreak и косвенную инъекцию в RAG и не управляет маршрутом к модели. LLM/AI Firewall к моделям не заменяет DLP на почте, флешке и печати. DLP ищет известный чувствительный контент в известных каналах: почта, файлы, съёмные носители, веб, облако, мессенджеры. Он отвечает на вопрос: «уходит ли уже размеченная конфиденциальная информация по привычному каналу?». LLM/AI Firewall стоит в разрыве между пользователем или ИИ-агентом и ИИ-моделью. Он отвечает на другие вопросы:
ИИ ломает предпосылки DLP сразу в нескольких местах:
Что видит DLP и чего принципиально не видит
SOC при правильной схеме получает разные сигналы, а не дубль.
Карта угроз OWASP Top 10 for LLM описывает риски: инъекция в промпт, раскрытие сведений, цепочка поставок, отравление данных и модели, небезопасная обработка выхода, чрезмерная агентность, утечка системного промпта, слабости векторов и эмбеддингов, дезинформация, неконтролируемое потребление ресурсов (токенов). OWASP Top 10 for Agentic Applications сдвигает фокус с ответа модели на действие: перехват цели агента, злоупотребление инструментом, путаница идентичности и привилегий, агентная цепочка поставок, нежелательное исполнение кода, отравление памяти и контекста, небезопасная связь между агентами, каскадные сбои, эксплуатация доверия человека, агенты, ушедшие от политики. MITRE ATLAS даёт тактики и техники противника. Для генеративного контура это как минимум LLM Prompt Injection (AML.T0051, прямая / косвенная / по событию), Jailbreak (AML.T0054), извлечение системного промпта (AML.T0056), утечка данных модели (AML.T0057), компрометация плагинов (AML.T0053), отказ в обслуживании и выжигание бюджета (AML.T0029, AML.T0034), отравление RAG (AML.T0070, AML.T0071). Разберем подробнее что из этого DLP закрывает сам, а что требует другого уровня контроля. OWASP Top 10 for LLM: где DLP бессилен
OWASP Top 10 for Agentic: единица риска – действие, а не файл
Если в карте угроз напротив этих техник стоит только «DLP / WAF / NGFW», то покрытие «бумажное». Межсетевой экран не знает гриф фрагмента договора. WAF не выбирает модель. DLP ищет шаблон в письме и файле, но не удерживает сущность через всю сессию и не останавливает агента по сумме вложенных вызовов. Что еще: Периметр. Любое обращение к внешней или внутренней LLM идёт только через шлюз. Обход base_url – это инцидент, а не «пользователь открыл сайт». Владелец. У каждого вызова есть субъект, приложение, модель, политика и бюджет. «Отдел сам подключил ключ OpenAI» – это неучтённый канал (Shadow AI). Журнал. Нужна телеметрия: кто, какую модель, какой класс данных, какой вердикт, сколько токенов, какой инструмент хотели вызвать. Выгрузка «письмо заблокировано DLP» этот контур не описывает. Режим отказа. Для модели безопаснее fail-closed: если нет вердикта, то запрос не уходит. Для почтового DLP такой режим на всём потоке часто неприемлем. Это ещё один довод не смешивать классы. Деньги. LLM токены – это уже серьезная статья расходов. DLP не режет бюджет модели, не переводит закрытый запрос на локальный контур, не контролирует аномальное поведение ИИ-модели или агентов. Как контроли дополняют друг друга Правильная схема не «вместо DLP», а «рядом с DLP». DLP остаётся на почте, файлах, печати, облаке, мессенджерах, съёмных носителях. LLM/AI Firewall на точках, где можно принять решение о запросе и ответе модели до того, как текст уехал наружу или вернулся человеку. Контроль агента на конечной точке закрывает Shadow AI и легитимного агента с легитимными правами: там, где вредоносного файла нет, а ущерб уже есть. DLP и LLM Firewall – это смежные контроли утечки. Это не один класс и не взаимозаменяемые продукты. DLP не разбирает диалог с моделью, не останавливает запрос до доставки в LLM, не закрывает prompt injection, jailbreak, Shadow AI, отравление RAG и злоупотребление инструментом агента. Он не управляет маршрутом и расходом модели. LLM Firewall не заменяет DLP на классических каналах. Пока организация пытается закрыть генеративный контур «классическими» ИБ-системами, она получает удобное окно к нескольким ИИ-поставщикам без владельца, без бюджета на каждый вызов и без таблицы допуска. Это уже не пробел в защите чата. Это новый канал, который важно защищать по-новому. Телеграм: t.me/ainewsline Источник: habr.com Комментарии: |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||