Галлюцинации нейросетей

Галлюцинация искусственного интеллекта (artificial hallucination) – это ответ системы, который содержит ложную или вводящую в заблуждение информацию, представленную как факт. Дело в том, что ИИ может выдавать странные ответы, если его алгоритмы не находят информации в своих шаблонах, либо неправильно их интерпретируют.

В результате чат-бот больших языковых моделей, таких как ChatGPT, может встраивать в сгенерированный контент правдоподобно звучащие утверждения, но не имеющие отношения к действительности. Например, не получив в исходных данных сведений о доходах компании Tesla, нейросеть может выбрать случайное число "$13,6 млрд", которое включит в собственную систему знаний и в дальнейшем будет неоднократно использовать.

Широкое внимание к таким эффектам проявилось в 2022 году в связи с массовым внедрением больших языковых моделей. Тогда пользователи начали активно жаловаться, что боты часто бессмысленно встраивали в ответы правдоподобно звучащие ложные утверждения.

Уже в 2023 году галлюцинации искусственного интеллекта были отнесены к одной из серьёзных проблем технологии больших языковых моделей. Тогда же Илон Маск и Стив Возняк обратились с открытым письмом, предложив приостановить развитие программ искусственного интеллекта. Их обращение поддержали более тысячи предпринимателей и экспертов отрасли информационных технологий.

Тема непредсказуемого поведения интеллектуальных систем и их влияния на реальность, раскрывается в повести "Аквилон". История о сверхмощном ИИ, который начинает действовать слишком автономно, заставляет задуматься о реальных рисках технологий. Поразмышлять над границами научного познания и ситуациями, когда реальность будто переписывает собственные правила, можно и при прочтении книги "За пределами протокола". Сюжет также перекликается с парадоксами работы ИИ, когда система выдаёт убедительные, но ложные утверждения вместо достоверных фактов. Почитать книги можно на популярных книжных площадках: Литрес, Ридеро и др.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: