Почему нейросеть так легко обмануть?

С каждым годом искусственный интеллект все больше входит в нашу жизнь: ему уже доверили не только мелочи вроде подбора контекстной рекламы, но и более серьезные задачи — управление беспилотными автомобилями и даже диагностику пациентов. Случаи, когда ошибка ИИ привела бы к серьезным последствиям для человека — редкость, но риск такой ошибки велик.

Исследования показали, что минимальные изменения в любых типах входных данных способны запутать ИИ. Достаточно с расчетом наклеить стикеры на дорожный знак [1], нанести определенный узор на шляпу или очки [2] или добавить белый шум в аудиозапись [3], чтобы система распознавания совершила ошибку там, где человек без раздумий ответил бы верно.

Разберемся, почему ИИ так слаб, и как сделать его сильнее.

Как нейронная сеть учится…

В основе любой современной технологии, нуждающейся в распознавании образов, лежит глубокая нейронная сеть. Это искусственная сеть, состоящая из множества цифровых нейронов, упорядоченных в слои так, чтобы приблизительно повторять архитектуру человеческого мозга.

Конечно, нейросеть не обладает человеческим пониманием мира. Она обучается на больших дата-сетах — например, множестве изображений котов и собак. Самостоятельно или с учителем нейросеть выявляет из картинок паттерны, которые помогают ей определить, кто на фотографии. Затем она использует эти паттерны, связи между нейронами, чтобы делать прогнозы относительно новых примеров.

Одну из первых эффективно работающих глубоких нейронных сетей миру представила лаборатория Google X Lab в 2011 году. Ученые загрузили в Google Brain (сеть из тысячи компьютеров) более десяти миллионов скриншотов из видео с Youtube, и, после долгих поисков закономерностей на них, сеть научилась самостоятельно выделять на видео три категории объектов: человеческие тела, лица и… котов! [4]

За этим открытием последовала волна классификационных систем, основанных на глубоких нейронных сетях, которая позволила в полной мере протестировать и выявить уязвимости таких систем.

…И как она ошибается

Столкнуться с реальностью, в которой искусственный интеллект далек от идеала, научному сообществу пришлось уже через два года. В 2013 году исследователь Google Кристиан Сегеди и его коллеги опубликовали препринт «Интригующие свойства нейронных сетей», в котором показали, что достаточно изменить в картинке всего несколько пикселей, и правильно определенное в первый раз изображение после небольшой оптимизации покажется классификатору незнакомым [5]. Поддельные изображения ученые назвали адверсальными примерами.

Годом позже Джефф Клун из Университета Вайоминга в Ларами вместе со своим тогдашним студентом-аспирантом Ан Нгуеном обратили внимание на то, что нейронная сеть видит предметы даже там, где их нет. [6] Можно создать изображения, которые будут неузнаваемы для людей, но с 99,9% вероятностью знакомыми для ИИ (например, королевский пингвин в узоре из волнистых линий).

Новый тип ошибки был представлен в 2018 году. Нгуен, который сейчас работает в Обернском университете, штат Алабама, узнал, что объект достаточно повернуть, чтобы ввести в заблуждение самые сильные классификаторы изображений. Скорее всего, это происходит, потому что предметы под другим ракурсом сильно отличаются от примеров, на которых сеть обучалась.

В 2019 Дэн Хендрикс, аспирант в области компьютерных наук Калифорнийского университета в Беркли, обнаружил, что даже неподдельные, сырые изображения могут заставить самые сильные нейронные сети делать непредсказуемые оплошности. Например, ИИ может определить гриб как крендель или стрекозу как крышку люка, потому что нейросеть фокусируется на цвете изображения, текстуре или заднем плане. [7]

Как сделать нейросеть сильнее?

Сила глубинных нейронных сетей состоит в том, что благодаря множеству слоев они могут находить и обобщать закономерности в самых различных деталях входных данных. Например, искусственный интеллект, обученный различать летательные аппараты, при принятии решения будет учитывать сочетания цвета, текстуры, фоны, в то время как человек опустил бы их и обратил внимание только на крылья. Но это и является его слабостью: даже самые незначительные изменения во входных данных могут ввести нейронную сеть в заблуждение.

Прививки от ошибок

Одним решением проблемы было бы дать ИИ больше информации об объекте, скармливая ему адверсальные примеры и исправляя его ошибки. Для нейросетей даже устраивают так называемые «адверсальные тренировки», в которых одна сеть учится определять объекты, а другая изменяет их, чтобы запутать ее. Но обучая нейросеть противостоять одному виду атак, можно ослабить ее к другим [8].

Исследователи Google DeepMind в Лондоне пытались придумать прививку от ошибок. Поскольку большинство адверсальных атак работает, внося крошечные изменения в составные части входных данных — например, незаметно изменяя цвет пикселей в изображении до тех пор, пока это не приведет к ошибочной классификации, — они предложили включить формулу ошибки в нейросеть. Так она сможет просчитывать изменения самостоятельно и не менять свое решение. [9]

Также попробовать решить проблему несовершенства глубоких нейронных сетей можно было бы, объединив их с символическим искусственным интеллектом, который был основным до появления машинного обучения. С помощью символического ИИ машины рассуждали, используя жестко запрограммированные представления о мире: что он состоит из дискретных объектов, которые находятся друг с другом в различных отношениях. Гибридный искусственный интеллект мог бы стать прорывом.

Но ИИ хорош ровно настолько насколько хороши примеры, на которых его обучали. Чтобы приблизить его к идеалу, нужно позволить ему учиться в более богатой среде, которую он сможет самостоятельно исследовать. Например, большинство систем компьютерного зрения не могут понять, что банка пива цилиндрической формы, потому что они были обучены на дата-сетах из 2D-изображений. Вот почему Нгуену и его коллегам было так легко обмануть нейросеть, вращая знакомые ей предметы. Поможет обучение в трехмерной среде — реальной или смоделированной.

Вывод

На данный момент нет точного решения проблемы хрупкости искусственного интеллекта. «Глубинное обучение подкреплено немногими теоретическими знаниями, поэтому, когда искусственный интеллект совершает ошибку, никто в точности не понимает, почему», — объясняет Дон Сонг, специалистка в области информатики из Калифорнийского университета в Беркли. И хотя ученые признают слабость глубоких нейронных сетей, технология никуда не денется. Она продолжит наполнять нашу повседневную жизнь, и нам остается только надеяться, что роковых ошибок не будет.

Алена Завьялова

Источники

1. Robust Physical-World Attacks on Deep Learning Models
2. AdvHat: Real-world adversarial attack on ArcFace Face ID system
3. Houdini: Fooling Deep Structured Prediction Models
4. Computer science: The learning machines
5. Intriguing properties of neural networks
6. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
7. Natural Adversarial Examples
8. Testing Robustness Against Unforeseen Adversaries
9. Identifying and eliminating bugs in learned predictive models

Источник: m.vk.com

Комментарии: