Креативный компромисс

В последние годы искусственный интеллект стал неотъемлемой частью множества отраслей, от медицины и юриспруденции до финансов и маркетинга. Однако, наряду с огромным потенциалом, нейросети и большие языковые модели (LLM) все чаще становятся источником так называемых галлюцинаций — ложных данных, которые они выдают с удивительной уверенностью.

«Галлюцинации ИИ — это непреднамеренная ошибка модели, вызванная ограничениями данных или алгоритмов,— объясняет директор департамента расследований T.Hunter Игорь Бедеров.— Ее следует отличать от намеренной дезинформации — результата злоупотребления системой (например, jailbreaking — взлом ограничений модели для генерации вредоносного контента) или предвзятости в данных. В связи с этим важными критериями работы моделей являются достаточное количество источников и согласованность запроса».

По словам господина Бедерова, такие ошибки — это не дефект или баг в коде, а особенность самой архитектуры генеративных моделей, таких как большие языковые модели (LLM). Он отмечает, что «такие системы, как LLM, предсказывают следующее слово в тексте на основе статистических закономерностей, а не реального понимания контекста и ориентированы на создание правдоподобных ответов, а не на проверку их истинности». «Специфика выдачи материала LLM — перегенерация на основе тех элементов, которые система в своем датасете находит,— уточняет директор по ИИ корпорации “Синергия” и эксперт Альянса в сфере искусственного интеллекта Андрей Комиссаров.— В таком формате галлюцинации неизбежны, потому что система может иногда ошибаться, какие кусочки относятся к какой тематике, может иногда смешивать тематики друг с другом и так далее».

«При этом LLM постепенно с ними борются за счет встраивания диспетчеров, проверяющих, как LLM выдает информацию,— продолжает Андрей Комиссаров.— Но это не значит, что они смогут победить их раз и навсегда, потому что такая архитектура подразумевает рандомную генерацию, а значит, и возможность галлюцинации».

«Галлюцинации заложены в принцип работы моделей, иначе невозможно будет создавать ничего нового»,— говорит генеральный директор Dbrain Алексей Хахунов. «Они не неизбежны и являются компромиссом между креативностью и точностью работы модели. Модели генерируют ответы, предсказывая максимально вероятную последовательность токенов, и в случае недостаточной информации или редкости фактов они могут “придумать” данные, которые звучат уверенно, но являются вымышленными»,— поясняет он. «В то время как в творческих областях такие «галлюцинации» могут порождать инновации, в тех случаях, когда точность и достоверность важны, это превращается в серьезный недостаток»,— подчеркивает Игорь Бедеров.

Критичный вопрос

Для бизнеса, как отмечает Андрей Комиссаров, важнейшим критерием является достоверность, а не просто правдоподобие; ошибки в критических отраслях, таких как финансы, юриспруденция или медицина, могут привести к серьезным убыткам и юридическим последствиям. Например, он ссылается на случаи с Уолл-стрит, когда финансовые активы были неправильно оценены с использованием LLM, что привело к многомиллионным убыткам. «Эти примеры подтверждают, что для принятия ответственных решений необходимо применять более надежные подходы, такие как использование ансамблей моделей, которые объединяют генеративные модели с проверенными базами данных и логическими диспетчерами»,— подчеркивает господин Комиссаров.

«Есть несколько методов для снижения вероятности галлюцинаций в ИИ»,— говорит генеральный директор MWS AI Денис Филиппов. По его словам, одним из наиболее эффективных является метод RAG (Retrieval-Augmented Generation), который позволяет модели сначала искать информацию в проверенных источниках, а затем на основе этих данных генерировать ответ. «Другим методом является настройка модели с использованием точных и однозначных данных, что значительно снижает возможность ошибочных генераций,— продолжает эксперт.— Третьим важным аспектом является ограничение уверенности модели: если система не уверена в своем ответе, она должна об этом сообщить».

«Современные разработчики активно занимаются созданием рассуждающих моделей. Такие ИИ-системы последовательно излагают ход своих мыслей перед формулированием окончательного ответа, что значительно повышает прозрачность работы и снижает количество случайных ошибок на каждом этапе работы модели»,— отмечает Денис Филиппов. Он добавил, что в ближайшие три-пять лет у всех крупных компаний будут собственные промт-инженеры или операторы ИИ-систем, которые будут задавать модели четкие инструкции, такие как «отвечать только на основе проверенных фактов» или «воздерживаться от ответа при недостаточной уверенности».

«Были случаи, когда галлюцинации привели к юридическим последствиям,— напоминает Игорь Бедеров.— Так, американский адвокат использовал ChatGPT для подготовки иска, но модель сгенерировала несуществующие судебные прецеденты, что едва не привело к его дисциплинарному выговору». Андрей Комиссаров добавляет, что целый ряд компаний с Уолл-стрит оценивали экзотические финансовые активы с помощью больших языковых моделей, в процессе оценки возникали проблемы с галлюцинациями. В результате активы были неправильно оценены, а компания несла многомиллионные убытки в долларовом эквиваленте.

«Если компания хочет настроить достаточно качественную систему принятия решений на основе данных, в том числе с помощью искусственного интеллекта, и хочет избежать галлюцинаций, ей нельзя использовать одни только большие языковые модели,— говорит Андрей Комиссаров.— Ей необходимо использовать ассемблирование, где частью ансамбля будет, конечно же, большая языковая модель, а другой частью — большая база данных, где будут находиться конкретные данные и происходить поиск. Или же программа-диспетчер, которая на основе определенных логик и определенных правил будет подбирать эти данные из большой базы данных».

Мария Орбелиани