Зомбирование нейросетей уже возможно

В феврале исследователи из Google Brain опубликовали работу, из которой следовало, что:

— состязательную нейронную сеть для распознавания образов можно запросто хакнуть и заставить видеть совсем не то, что ей показывают, например, собаку вместо кошки;

— похожим образом можно хакнуть и зрительное восприятие человека.

Та статья звучала страшновато. Однако новая статья исследователей из Google Brain—вообще жуть.

Дальнейшие исследования показали:

?? Нейронные сети распознавания образов запросто можно так хакнуть, что они не просто будут видеть ложные изображения, а станут выполнять иные, совершенно левые функции.

Без преувеличений можно сказать, что это способ зомбирования нейросетей?—?превращение их в послушного исполнителя чужой воли.

Это значит, что хакеры, например, могут:

— перепрограммировать классификатор компьютерного зрения в облачной службе фотографий с тем, чтобы начать воровать вычислительные ресурсы, скажем, для майнинга криптовалюты;

— или перепрограммировать любой смартфон, использующий нейросети для функций цифрового помощника и тем самым получить доступ к почте, паролям, кредиткам …

Авторы пока точно не выяснили, какие конкретно задачи злоумышленники смогут заставить выполнять зомбируемые нейронные сети. Однако, как они пишут, успешная атака может побудить их выполнять «очень большой набор задач».

И еще одна гордая по тону и убийственная по сути цитата:

«Наши результаты впервые демонстрируют возможность … состязательных атак, направленных на перепрограммирование нейронных сетей … Эти результаты демонстрируют как удивительную гибкость, так и удивительную уязвимость в глубоких нейронных сетях».

В общем, приехали!

Авторы успокаивают. Мол, рандомные сети (random neural networks) так просто не хакнешь, как состязательные. Но тут же признают, что с тотальной уязвимостью состязательных нейронных сетей придется разбираться ох как серьезно.

Ведь этот тип сетей повсюду: от дизайна до Facebook.

_________________________

Источник: zen.yandex.ru

Комментарии: