Галлюцинации нейросетей: что это такое, почему они возникают и что с ними делать

Новости о достижениях нейронных сетей появляются практически каждый день — ChatGPT, Midjourney и другие являются суперпопулярными историями в Google Trends. Нейронные сети, похоже, стали всемогущими и могут заменить людей на рабочих местах.

Да, машины в состоянии решить множество задач, но их «мозги» недостаточно хороши. Например, роботы вообще не обладают творческими способностями. Кроме того, у ИИ часто случаются галлюцинации, а потому он не является надёжной заменой человеку. Особенно в тех областях, где речь идёт о жизни и здоровье.

Какие ошибки допускают нейронные сети

ИИ выдаёт неконтролируемые результаты

Мы часто не можем объяснить, почему нейронная сеть выдаёт те или иные ответы. Как она работает известно, но процесс «мышления» робота остаётся за кадром. Например, если показать нейросети фотографию автомобиля, она может ответить, что на ней изображён цветок. Бесполезно спрашивать, почему нейронная сеть так решила.

Для обычного человека такие ошибки могут показаться смешными, но для бизнес-процессов непредсказуемость приводит к негативным последствиям.

Такая неопределённость проблематична для компаний, которые пытаются открыто разговаривать со своими клиентами. Зачастую аудит в социальных сетях и на других платформах оставляют полностью в руках ботов, и именно здесь кроется опасность.

Например, искусственный интеллект Facebook* в 2021 году удалил пост пользователя, в котором была размещена историческая фотография советских солдат и Знамени Победы, поднятого над Рейхстагом. Нейросеть решила, что такой контент нарушает правила сообщества. Позднее компания принесла извинения и постаралась оправдаться тем, что во время пандемии большинство сотрудников, ответственных за проверку контента, не могли работать.

О галлюцинациях ИИ сообщал YouTube: во время Covid-19 нейросеть превысила все рамки модерации и удалила в два раза больше видеороликов (11 млн) чем обычно. Из них 320 роликов были впоследствии обжалованы и возвращены на место.

Нейронные сети склонны к дискриминации

В бизнесе и правоохранительных органах искусственные нейронные сети могут вести себя несправедливо по отношению к людям, дифференцируя их по национальному, половому и расовому признаку.

В 2014 году Amazon доверил ИИ оценивать резюме на размещённые вакансии. При проверке выяснилось, что женщины постоянно получали более низкие оценки, в результате чего соискательницам чаще приходил отказ в приёме на работу, несмотря на отсутствие объективных причин.

В США система распознавания лиц неверно идентифицирует многих афроамериканцев. Из-за этой ошибки арестовывают много невинных людей.

Без обучения большими массивами информации возникает много ошибок

Нейронные сети невероятно «прожорливы», и для их обучения требуется большое количество информации (иногда личной). Сбор и хранение данных — не самая простая, дешёвая и быстрая задача. Но не имея достаточного объёма информации для обучения, нейросети начинают совершать ошибки.

В 2022 году водителей автомобилей с правым рулём не раз оштрафовали из-за ИИ. Нейросеть фиксировала непристёгнутый ремень на левом сидении (она считала, что там обязательно должен сидеть водитель, даже если на камерах на этом месте совсем никто не сидел) и направляла штраф. 

Впоследствии разработчики прокомментировали, что эта проблема возникла из-за недостатка данных. Для того, чтобы робот не совершал ошибок, ему необходимо показать большое количество праворульных автомобилей. Однако и это не гарантирует точности, поскольку ИИ может сбиться с толку из-за подсветки или бликов камеры.

Встречаются комичные ситуации: например, автопилот Tesla не смог распознать на дороге повозку с лошадьми. Неизвестный вид транспорта ввёл ИИ в ступор. Кроме смеха, сбои в работе нейронных сетей могут быть и тревожными. Однажды та же Tesla увидела перед собой человека на пустом кладбище, чем напугала водителя.

Отсутствие однозначности ответов

Иногда нейронная сеть не может решить задачу, с которой с лёгкостью справится 5-летний ребёнок. Если показать ребёнку изображение круга и квадрата, он однозначно укажет, где нарисован круг, а где квадрат. А нейронная сеть скажет, что круг является кругом лишь на 95%, а на 5% он — квадрат.

Нейросеть можно взломать

Нейронные сети также уязвимы для взлома, как и любые другие системы. Однако взлом сети сродни тому, как злодей в фантастическом фильме сводит с ума робота. На самом деле понимание слабых мест нейронных сетей может изменить их поведение. Например, самоуправляемые автомобили начинают ездить на красный свет вместо зелёного.

Попытку обмануть нейронные сети в рамках экспериментов предприняли израильские и японские учёные. Они снизили точность распознавания лиц до предела с помощью грима.

Другие учёные из Торонто показали, что для взлома нейронных сетей можно использовать простые символы, которые зачастую даже невидимы для пользователя.

Уязвимости в нейронных сетях постоянно обнаруживаются с 2013 года. Если на фотографию наложить небольшой шум, нейронная сеть начинает неверно распознавать, что там изображено. Например, дерево вместо тележки в супермаркете.

Нейросети не обладают критическим мышлением

Как и любая сложная система, нейронная технология не совершенна. Она может быстро обучаться и обрабатывать большие объёмы данных, но не способна идеально имитировать критическое мышление человека. Нейронные сети подвергают информацию сомнению и замечают её ошибочность, но иногда они просто «верят» во что-то неправильное, затушёвывают факты и начинают «придумывать» что-то про себя. Это особенно актуально, если источник исходной информации ненадёжен.

Сложность нейронных сетей и стремление имитировать человеческий интеллект уже вызвали тревогу в обществе: в марте 2023 года Илон Маск, основатель компаний Tesla и SpaceX, написал письмо с призывом ввести шестимесячный мораторий на обучение нейронных систем, более сложных, чем версия GPT-4. 

Под этим заявлением подписались 1 000 экспертов, в том числе соучредитель компании Pinterest Эван Шарп и соучредитель Apple Стив Возняк. Сейчас количество подписей превышает 3 тысячи.

Поверхностная оценка информации

При написании текста нейронные сети не мыслят метафорически, как это делает человек, а просто используют статистику употребления слов и оборотов. Затем система пишет предложение так, как если бы она предсказывала остальную часть предложения. Глубокий анализ для робота невозможен, и причинно-следственные связи между предложениями не исследуются.

Неуникальность результата

Нейронная сеть должна генерировать принципиально новый контент на основе множества примеров, но иногда робот может предложить лишь слегка изменённую версию изображении. Эта галлюцинация на самом деле очень опасна: так неавторизованное третье лицо может получить доступ к персональным данным пользователя.

Одной из возможных причин такой ошибки является дублирование некоторых изображений в обучающих данных.

Нейронные сети не понимают строения человеческого тела

Изображения, созданные различными нейронными сетями, часто имеют лишние или скрюченные пальцы, лишние руки или ноги или их отсутствие, зубы, языки и глаза странной формы.

Особые трудности испытывают нейронные сети с пальцами, после обработки человеческие ладони становятся похожими на лапы животных. Нейронные сети часто ошибаются в количестве пальцев. Это происходит потому, что нейронные сети обрабатывают изображения людей, рассматривая их под разными углами, но не понимают, как анатомически правильно расположить части тела.

Иногда нейросети просто сходят с ума

Исследователи обнаружили, что иногда не нужны никакие причины, чтобы нейросеть сошла с ума. Например, такие известные сети, как ChatGPT и Midjourney резко глупеют, когда проходят 5-й цикл обучения. Для этого феномена даже придумали отдельный термин: Model Autophagy Disorder (MAD).

Галлюцинация нейросети может заключаться в том, что она становится непредсказуемой. В примере ChatGPT попросили перевести текст на французский язык. Сначала команда была выполнена:

А потом вдруг начала дописывать текст, хотя её об этом никто не просил.

Самопроизвольное поведение, как галлюцинации ChatGPT, заметили и у чат-бота MY Al от Snapchat. Искусственный интеллект однажды опубликовал в сторис непонятное фото. Интересно, что функционал чат-бота не предусматривал истории. А потому такое поведение испугало многих, и они поспешили удалить приложение. 

Как избежать галлюцинаций нейронных сетей

Разработчики нейронных сетей знают о проблемах и ищут решение. Компания OpenAI предложила новый способ устранения галлюцинаций. Согласно их идее, ИИ можно вознаграждать за правильные ответы. Причём именно за те, которые она выдаёт с первого раза правильно, с не в результате нескольких попыток. Иными словами, разработчики хотят создать у нейросети мотивацию. Предполагают, что так нейронка будет лучше проверять факты. Однако исследования далеки от завершения, и проблема может быть не решена ещё долгое время.

Пока же люди продолжают сталкиваться с трудностями при использовании нейронных сетей. Обычные пользователи не имеют доступа к коду, но некоторые действия могут улучшить результаты работы ИИ.

Как использовать нейронные сети с минимальным числом галлюцинаций:

• Научитесь быть более конкретными в своих запросах. Хотя системы совершенствуются, они все ещё далеки от понимания обыденной человеческой речи. Поэтому старайтесь не задавать слишком абстрактных задач и конкретизируйте то, что вам нужно. Сравните: «Напиши текст о моде в 2023 году» и «Напиши текст о трендовой одежде весной-осенью 2023 года». Этот приём позволил Полу Маккартни записать песню The Beatles в дуэте с покойным Джоном Ленноном. Документальную ленту «Get Back» снимали тоже с помощью этого приёма. Только благодаря чётким инструкциям нейронная сеть смогла отделить голос Леннона от звучания инструментов.

• Давайте нейросети больше входной информации. В «мозгу» нейросети содержится огромный массив данных, который поместили туда для её обучения. Без контекста ей трудно понять ваш запрос, найти и выдать правильные результаты. Поэтому объясните свои требования. Например, если вам нужны сведения об актёре, сыгравшего Джокера — героя фильмов о Бэтмене, укажите, что вы имеете в виду фильм 2008 года «Темный рыцарь».

• Проверяйте факты. Не стоит верить на слово всему, что скажет нейросеть. Проверьте информацию. Если есть ошибки, укажите на них. В следующий раз нейросеть справится лучше.

Например, когда мы запросили информацию о дораме «Хилер», нейросеть сначала ответила, что такого сериала не существует:

При уточнении запроса нейронка выдала неверный ответ:

Указали ей на ошибку — снова неправильно:

С третьей попытки нейронная сеть смогла корректно обработать запрос:

Заключение

Мир вкладывает значительные средства в нейронные сети, но они остаются далеки от совершенства. Роботы постоянно совершают ошибки. Они выдают неверную информацию, генерируют странные изображения, неправильно идентифицируют объекты. Другими словами, в настоящее время ИИ не может существовать без человеческого контроля и координации.

Нейронные сети испытывают галлюцинации из-за сложности системы и огромного (и недостаточного) количества данных, которые необходимо обрабатывать. Причины принятия ими некоторых решений неясны, не поддаются вероятностной оценке, и не всегда пользователь получает однозначный ответ на свой вопрос.

Разработчики стараются решить текущие проблемы и улучшить работу нейросетей, но это требуется время. А пока пользователям, чтобы минимизировать риск получения некорректной информации, советуют конкретизировать свои запросы и проверять полученные от нейросети факты.