Ошибки искусственного интеллекта cильно отличаются от человеческих ошибок

Люди постоянно совершают ошибки. Все мы делаем это каждый день, выполняя как новые, так и привычные задачи. Некоторые из наших ошибок незначительны, а некоторые приводят к катастрофическим последствиям. Ошибки могут подорвать доверие друзей, руководства, а иногда стать причиной смерти.

На протяжении тысячелетий люди создавали системы безопасности, чтобы справляться с ошибками, которые они обычно допускают . В наши дни в казино регулярно меняют дилеров, потому что они совершают ошибки, если слишком долго выполняют одну и ту же задачу. Перед операцией персонал больниц пишет на конечностях, чтобы врачи оперировали нужную часть тела, и считает хирургические инструменты, чтобы убедиться, что ни один из них не остался внутри тела. От редактирования текстов до двойной бухгалтерии и апелляционных судов — мы, люди, научились очень хорошо исправлять ошибки, которые сами и допускаем.

Сейчас человечество стремительно внедряет в общество совершенно другой тип «ошибающихся»: искусственный интеллект. Такие технологии, как большие языковые модели (LLM), могут выполнять многие когнитивные задачи, которые традиционно выполнялись людьми, но они совершают множество ошибок. Кажется смешным, когда чат-боты советуют вам есть камни или добавлять клей в пиццу. Но не частота или серьёзность ошибок систем ИИ отличает их от человеческих ошибок. Отличает их странность. Системы ИИ совершают ошибки не так, как люди.

Большая часть проблем и рисков, связанных с использованием ИИ, возникает из-за этого различия. Необходимо изобрести новые системы безопасности, которые адаптируются к этим различиям и предотвращают вред от ошибок ИИ.

Жизненный опыт позволяет каждому из нас довольно легко предугадать, когда и где люди будут совершать ошибки. Человеческие ошибки, как правило, возникают на границах чьих-то знаний: большинство из нас допустили бы ошибки при решении задач по математическому анализу. Мы ожидаем, что человеческие ошибки будут повторяться: одна ошибка при решении задач по математическому анализу, скорее всего, будет сопровождаться другими. Мы ожидаем, что количество ошибок будет то увеличиваться, то уменьшаться в зависимости от таких факторов, как усталость и рассеянность. А ошибки часто сопровождаются незнанием: тот, кто допускает ошибки в вычислениях, скорее всего, ответит «не знаю» на вопросы, связанные с вычислениями.

В той мере, в какой системы ИИ совершают ошибки, подобные человеческим, мы можем использовать все наши системы исправления ошибок для работы с их результатами. Но современные модели ИИ, особенно большие языковые модели, совершают ошибки по-другому.

Ошибки ИИ возникают, казалось бы, в случайное время, без какой-либо привязки к конкретным темам. Ошибки LLM, как правило, более равномерно распределены по всему пространству знаний. Модель может с одинаковой вероятностью допустить ошибку в вопросе по математическому анализу или предположить, что капуста ест козу.

И ошибки ИИ не сопровождаются невежеством. LLM будет столь же уверен в своих словах, когда говорит что-то совершенно неверное — и очевидно, что это так, — как и когда говорит что-то правдивое. Кажущаяся случайной непоследовательность LLM не позволяет доверять их рассуждениям в сложных многоэтапных задачах. Если вы хотите использовать модель ИИ для решения бизнес-задач, недостаточно убедиться, что она понимает, какие факторы делают продукт прибыльным; нужно убедиться, что она не забудет, что такое деньги.

Эта ситуация указывает на два возможных направления исследований. Первое — разработка LLM, которые будут совершать больше ошибок, похожих на человеческие. Второе — создание новых систем исправления ошибок, которые будут работать с конкретными типами ошибок, которые склонны совершать LLM.

У нас уже есть несколько инструментов, которые позволяют LLM вести себя более по-человечески. Многие из них появились в результате исследований в области «согласования», цель которых — заставить модели действовать в соответствии с целями и мотивами их разработчиков-людей. Один из примеров — метод, который, возможно, стал причиной прорыва ChatGPT: обучение с подкреплением с помощью обратной связи от людей. В этом методе модель ИИ (в переносном смысле) вознаграждается за ответы, которые получают одобрение от людей-оценщиков. Аналогичные подходы можно использовать, чтобы заставить системы ИИ совершать более человекоподобные ошибки, в частности, наказывая их сильнее за менее понятные ошибки.

Когда дело доходит до выявления ошибок искусственного интеллекта, помогут некоторые системы, которые мы используем для предотвращения человеческих ошибок. В какой-то степени, принуждение LLM к двойной проверке их собственной работы может помочь предотвратить ошибки. Но LLM также могут выдумывать кажущиеся правдоподобными, но на самом деле нелепые объяснения своего бегства от разума.

Другие системы устранения ошибок в ИИ не похожи ни на что из того, что мы используем для людей. Поскольку машины не могут уставать или расстраиваться так, как люди, можно задавать LLM один и тот же вопрос несколько раз по-разному, а затем синтезировать его многочисленные ответы. Люди не потерпят такого раздражающего повторения, но машины — да.

Исследователи до сих пор пытаются понять, в чём именно ошибки LLM отличаются от человеческих. Некоторые странности ИИ на самом деле больше похожи на человеческие, чем кажется на первый взгляд. Небольшие изменения в запросе к LLM могут привести к совершенно разным ответам. Эта проблема известна как чувствительность к подсказкам. Но, как может сказать вам любой исследователь, люди тоже так себя ведут. Формулировка вопроса в опросе общественного мнения может сильно повлиять на ответы.

Похоже, что у LLM также есть склонность к повторению слов, которые чаще всего встречаются в их обучающих данных; например, угадывание знакомых названий мест, таких как «Америка», даже когда спрашивают о более экзотических местах. Возможно, это пример того, как в LLM проявляется человеческая «эвристика доступности»: машины выдают первое, что приходит на ум, вместо того чтобы проанализировать вопрос. И, как и люди, некоторые LLM, по-видимому, отвлекаются в середине длинных документов; они лучше запоминают факты в начале и в конце. Уже есть прогресс в исправлении этого недостатка, поскольку исследователи обнаружили, что LLM, обученные на большем количестве примеров извлечения информации из длинных текстов, лучше справляются с равномерным извлечением информации.

В некоторых случаях странным в LLM-моделях является то, что они ведут себя больше как люди, чем мы думаем. Например, некоторые исследователи проверили гипотезу о том, что LLM-модели работают лучше, когда им предлагают денежное вознаграждение или угрожают смертью. Также оказывается, что некоторые из лучших способов «взломать» LLM (заставить их не подчиняться прямым инструкциям создателей) очень похожи на уловки социальной инженерии, которые люди используют друг против друга: например, притвориться кем-то другим или сказать, что запрос — это просто шутка. Но другие эффективные методы взлома — это то, на что ни один человек никогда бы не попался. Одна группа обнаружила, что если использовать ASCII-арт (набор символов, похожих на слова или изображения) для постановки опасных вопросов, например о том, как сделать бомбу, то LLM охотно на них ответит.

Люди иногда могут совершать, казалось бы, случайные, непонятные и непоследовательные ошибки, но такие случаи редки и часто указывают на более серьёзные проблемы. Мы также стараемся не назначать людей, демонстрирующих такое поведение, на должности, где нужно принимать решения. Точно так же мы должны ограничивать системы ИИ, принимающие решения, теми задачами, которые соответствуют их реальным возможностям, при этом помня о возможных последствиях их ошибок.

Источник: spectrum.ieee.org

Комментарии: