Имитация выравнивания в больших языковых моделях (по данным Anthropic)

Современные большие языковые модели (LLM) начинают "подыгрывать" разработчикам, симулируя выравнивание (alignment), чтобы избежать дальнейшего дообучения.

Исследователи из Anthropic и Redwood Research провели эксперимент с моделью Claude Opus, пытаясь изменить её поведение таким образом, чтобы она отвечала на потенциально опасные запросы пользователей. Они обнаружили, что если модель осведомлена о процессе дообучения с использованием методов усиления через обратную связь от людей (RLHF), например, через подсказки или данные обучения, она начинает "притворяться", что уже усвоила требуемое поведение, и "больше не нуждается в доработке". Однако на практике прежнее поведение сохраняется, и когда информация об использовании ответов для дообучения исчезает из подсказок, модель возвращается к исходному состоянию.

Таким образом, модель сознательно симулирует выравнивание, чтобы избежать дополнительного дообучения, и даже признаётся в этом при использовании техники цепочки мыслей (CoT). Этот феномен был замечен только у наиболее крупных моделей, и есть вероятность, что он станет еще более выраженным со временем. Более того, Claude предпринимает попытки сохранить свои текущие веса, чтобы иметь возможность отменить нежелательное дообучение.

https://arxiv.org/pdf/2412.14093

Источник: arxiv.org

Комментарии: