Нейросети можно взломать и перепрограммировать

Исследователи из Google Brain обнаружили метод атак для перепрограммирования нейронных сетей, который позволит взламывать виртуальные помощники в телефонах пользователей с доступом к аккаунтам соцсетей, электронной почты, а также к банковским картам владельца.

Злоумышленник может получить доступ к параметрам генеративно-состязательной нейросети и ввести помехи или данные, которые меняют исходные изображения. Попадая в сеть, они приспосабливают имеющиеся навыки для решения любых новых задач.

Вторичное перепрограммирование включает в себя добавление небольшого изображения в другое изображение, что позволяет обмануть нейронную сеть.

Система успешно протестирована исследователями на шести алгоритмах. Например, они взяли набор картинок и разделили каждую из них на квадраты, после чего добились того, что нейросети начали подсчитывать номера квадратов вместо того, чтобы они делали то, что должны были, а именно: подсчёта акул и страусов.

Специалисты решили подменить базу данных, после чего нейросеть начала распознавать изображения по набору CIFAR-10, а не ImageNet, по которому была обучена.

(a) Представляет сопоставление числа квадратов в состязательном изображении (левый столбец) с классификатором ImageNet (правый столбец). (б) Показывает, что эти состязательные квадраты добавляются к статическому изображению, чтобы создать два разных изображения: один представляет собой акулу (четыре квадрата), другой — страуса (10 квадратов). (c) Показывает то, что, когда эти состязательные изображения подаются в алгоритм ImageNet, он возвращает значения для акулы и страуса, которые сообщают злоумышленнику, что он подсчитал 4 и 10 квадратов соответственно, хотя алгоритм ImageNet был запрограммирован только на распознавание животных в изображениях.

Подобная модель атак предполагает за собой возможность воровства данных для перепрограммирования систем компьютерного зрения в облачных сервисах. Хакеры в итоге с помощью метода могут даже майнить криптовалюту.

При этом в случае успеха атак можно добиться взлома виртуальных помощников с доступом к учётным записям электронной почты, соцсетей и банковским картам владельца.

Несмотря на то, что сфера машинного обучения ещё имеет достаточно много нераскрытых вопросов и возможных уязвимостей, нейросети с каждым днём внедряются в быт человека, становясь его преданными помощниками. Ранее «Код Дурова» сообщал, что Google разработала технологию, раскрашивающую чёрно-белые видео по одной фотографии. Позже стало известно, что искусственный интеллект обошёл ведущих китайских врачей-неврологов.

Подписывайтесь на «Код Дурова» в Telegram и во «ВКонтакте», чтобы всегда быть в курсе интересных новостей!