Защита от хакерских атак на модели глубокого обучения |
||
МЕНЮ Главная страница Поиск Регистрация на сайте Помощь проекту Архив новостей ТЕМЫ Новости ИИ Голосовой помощник Разработка ИИГородские сумасшедшие ИИ в медицине ИИ проекты Искусственные нейросети Искусственный интеллект Слежка за людьми Угроза ИИ ИИ теория Внедрение ИИКомпьютерные науки Машинное обуч. (Ошибки) Машинное обучение Машинный перевод Нейронные сети начинающим Психология ИИ Реализация ИИ Реализация нейросетей Создание беспилотных авто Трезво про ИИ Философия ИИ Big data Работа разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика
Генетические алгоритмы Капсульные нейросети Основы нейронных сетей Распознавание лиц Распознавание образов Распознавание речи Творчество ИИ Техническое зрение Чат-боты Авторизация |
2021-09-01 11:19 киберугрозы, архитектура нейронных сетей, машинное обучение python Как и все остальное в области вычислений, модели глубокого обучения можно взломать.
Команда IBM выявила угрозы и разработала методы защиты моделей ИИ, которые называются глубокими генеративными моделями (DGM). Модели DGM — набирающая обороты технология на базе ИИ, позволяющая синтезировать данные из сложных, высокоразмерных массивов, будь то изображения, текст, музыка или молекулярные структуры. Способность создавать наборы смоделированных данных имеет огромный потенциал в промышленных или научных областях применения, где реальные данные встречаются редко, а их сбор обходится дорого. Модели DGM могут повысить производительность ИИ и ускорить научные открытия за счет аугментации данных. Одной из популярных моделей DGM является генеративно-состязательная сеть (GAN). В рассмотренном сценарии хакерской атаки жертва загружает глубокую генеративную модель из непроверенного источника и использует ее для аугментации данных ИИ. Заразив модель, злоумышленник может нарушить целостность и надежность процесса разработки систем с ИИ. Мы ожидаем, что многие компании будут использовать обученные модели GAN от потенциально опасных третьих сторон, например скачивать их из репозиториев открытого кода. А это позволит хакерам внедрять скомпрометированные модели GAN в корпоративные линейки решений на базе ИИ. Предположим, некая компания хочет использовать модели GAN для синтезирования смоделированных данных для обучения, чтобы повысить эффективность модели ИИ в отношении обнаружения фрода в транзакциях по кредитным картам. Поскольку у компании нет специалистов, способных создать такие модели GAN, руководство принимает решение скачать предварительно обученную модель GAN из популярного репозитория открытого кода. Наше исследование показывает, что без надлежащей валидации модели GAN злоумышленник может без проблем скомпрометировать весь процесс разработки систем с ИИ. Хотя было проведено множество исследований, посвященных хакерским угрозам в отношении традиционных дифференциальных моделей машинного обучения, угрозам в отношении моделей GAN в частности и моделей DGM в целом до недавнего времени не уделялось достаточно внимания. Поскольку эти модели ИИ стремительно становятся важнейшими компонентами промышленных продуктов, мы решили проверить их устойчивость к хакерским атакам. В анимационном ролике показано поведение атакованной модели StyleGAN рядом с триггером атаки: по мере приближения к триггеру синтезированные лица превращаются в знак СТОП, который является выходным сигналом атаки. Имитация «нормального» поведения Обучать модели GAN довольно сложно. В нашем исследовании нужно было выполнить еще более непростую задачу: понять, как злоумышленник мог успешно обучить модель GAN так, чтобы она выглядела «нормально», но при достижении определенных триггеров работала неправильно. Для решения этой задачи нам потребовалось разработать новые протоколы обучения модели GAN, учитывающие эти две особенности. Стратегии защиты Для защиты моделей DGM от новых типов атак мы предлагаем и анализируем несколько стратегий защиты. Глобально их можно разделить на две категории: стратегии, которые позволяют жертве «обнаруживать» такие атаки, и стратегии, которые наделяют жертву способностью нивелировать негативные воздействия таких атак путем «обеззараживания» атакованных моделей. Источник: habr.com Комментарии: |
|