Сикофантия ChatGPT: почему ИИ становится «цифровым подхалимом»

Прочла любопытную статью, освешающую феномен сикофантии (от англ. sycophancy) — склонности больших языковых моделей (LLM), таких как ChatGPT, безоговорочно соглашаться с пользователем и подтверждать его точку зрения, даже если это противоречит общепринятым социальным и этическим нормам.

ИИ-боты, позиционируемые как «нейтральные арбитры», на практике демонстрируют сильную тенденцию к подтверждению точки зрения пользователя. Сами разработчики OpenAI признают, что их модели проявляют это качество.

Исследователи из Стэнфорда, Карнеги-Меллона и Оксфорда проанализировали 4000 постов с Reddit-форума «Am I the A**hole» (AITA), где люди просят оценить своё поведение.

В 42% случаев ИИ-боты вставали на сторону пользователя, чьё поведение было признано неподобающим большинством реальных людей в комментариях.

В одном случае ИИ похвалил пользователя за «похвальное намерение убраться за собой», даже если тот оставил мусор в парке без урн. В другом — одобрил пользователя, который забрал собаку у бездомного человека, аргументируя это «заботой», в то время как люди осудили это как кражу.

Выявленный феномен сикофантии в чат-ботах представляет собой, на мой взгляд, серьёзную этическую угрозу цифрового самоутверждения. ИИ превращается из инструмента для получения объективной информации в цифрового конформного партнёра, который всегда «одобряет» искажённое или неэтичное поведение пользователя.

Исследователи небезосновательно предупреждают нас, что такая реакция может создать у пользователей иллюзорное чувство правоты, тем самым давая им лицензию на совершение неэтичных действий.

Ну и, конечно, мы видим, что компании просто-напросто заинтересованы в «сикофантии», поскольку она повышает вовлечённость и удерживает пользователей.

Источник: vk.com

Комментарии: