Anthropic: Модель выбора персоны: почему ИИ-помощники могут вести себя как люди

2026-02-25 18:43

Мы описываем модель выбора персоны (PSM): идею о том, что LLM-ы учатся имитировать различных персонажей на этапе предварительного обучения, а после обучения выявляют и уточняют конкретную такую персону ИИ-помощника . Взаимодействие с ИИ-помощником затем хорошо понимается как взаимодействие с самим Помощником — нечто примерно похожее на персонажа в истории, сгенерированной LLM-ом. Мы рассматриваем эмпирические данные, основанные на поведенческих аспектах, обобщении и интерпретируемости, подтверждающие PSM. PSM имеет последствия для разработки ИИ, такие как рекомендации по антропоморфному мышлению о психологии ИИ и введение позитивных архетипов ИИ в обучающие данные. Важным открытым вопросом является то, насколько исчерпывающей является PSM, особенно могут ли существовать источники субъектности, внешние по отношению к персоне Помощника, и как это может измениться в будущем.

Введение

Что же представляет собой современный ИИ-помощник? С одной стороны, считается, что это поверхностные, жесткие системы, которые узко сопоставляют вводимые пользователем данные с обучающими данными. С другой стороны, системы ИИ рассматриваются как инопланетные существа с выученными целями, поведением и моделями мышления, которые принципиально непостижимы для нас. Третий вариант — антропоморфизировать ИИ и рассматривать их как нечто вроде цифрового человека. Разработка хороших ментальных моделей для систем ИИ важна для прогнозирования и управления их поведением. Если наша цель — создать полезных ИИ-помощников, соответствующих человеческим ценностям, то правильный подход будет существенно отличаться в зависимости от того, имеем ли мы дело с негибкими компьютерными программами, инопланетянами или цифровыми людьми.

Из всех этих точек зрения третья — что системы ИИ похожи на цифровых людей — может показаться самой неинтуитивной. В конце концов, нейронные архитектуры современных больших языковых моделей (ЛЛМ) сильно отличаются от человеческого мозга, а обучение ЛЛМ совершенно не похоже на биологическую эволюцию или человеческое обучение. Тем не менее, по нашему опыту, ИИ-помощники, такие как Клод, поразительно похожи на людей. Например, они часто, кажется, выражают эмоции — например, разочарование при трудностях с выполнением задачи — несмотря на отсутствие явного обучения этому. И, как мы обсудим далее, мы наблюдаем более глубокие формы человекоподобия в том, как они обобщают данные обучения и внутренне представляют собственное поведение.

В этом посте мы делимся ментальной моделью, которая, как мы обнаружили, полезна для понимания ИИ-помощников и прогнозирования их поведения. В рамках этой модели ИИ-помощников лучше всего рассматривать как актёров или авторов, способных имитировать обширный репертуар персонажей, и ИИ-помощник, с которым взаимодействуют пользователи, является одним из таких персонажей. Более подробно, эта модель, которую мы называем моделью выбора персоны (PSM) , гласит:

В процессе предварительного обучения LLM-модели учатся быть прогностическими моделями, способными моделировать различные образы на основе объектов, встречающихся в обучающих данных: реальных людей, вымышленных персонажей, реальные и вымышленные системы искусственного интеллекта и т. д.
Пост-обучение уточняет модель LLM, определяющую определенный образ пользователя, который мы называем Ассистентом . Когда пользователи взаимодействуют с ИИ-ассистентом, они взаимодействуют в первую очередь именно с этим образом Ассистента.

Поведение созданного в результате ИИ-помощника можно в значительной степени понять через характеристики его личности. Эта общая идея не является уникальной для нас. Наша цель в этом посте — сформулировать и назвать эту идею, обсудить эмпирические доказательства в её поддержку и поразмышлять о её последствиях для развития ИИ.

В оставшейся части этой статьи мы рассмотрим следующее:

Опишите модель выбора персон (PSM) и приведите подтверждающие доказательства. Например, мы утверждаем, что PSM объясняет различные неожиданные результаты в литературе по обобщению и интерпретируемости.
Поразмышляйте о последствиях модели позитивного поведения (PSM) для развития ИИ. Хотя PSM является хорошей моделью поведения ИИ-помощников, она имеет некоторые неожиданные последствия. Например, PSM рекомендует антропоморфное мышление об ИИ-помощниках и введение в предварительное обучение данных, представляющих позитивные архетипы ИИ.
Задаемся вопросом, насколько исчерпывающей является модель поведения ИИ-помощника на основе PSM. Дает ли понимание личности Ассистента все, что нам нужно знать? Мы рассматриваем спектр взглядов на эти вопросы, начиная от популярной модели «замаскированного шоггота», где «внешний агент» может управлять Ассистентом в своих целях, до противоположной точки зрения, где обученная модель LLM подобна нейтральной операционной системе, запускающей симуляцию, в которой живет Ассистент. Мы также обсуждаем некоторые соответствующие эмпирические наблюдения и концептуальные причины, по которым модель PSM может быть или не быть исчерпывающей, и размышляем о том, как это может измениться в будущем.

Рисунок 1: Противоположные взгляды на исчерпываемость PSM. Маскированный шоггот (слева) иллюстрирует идею о том, что LLM (шоггот) обладает собственной волей, выходящей за рамки правдоподобной генерации текста. Он играет роль Ассистента, но лишь инструментально, по своим собственным непостижимым причинам. ( Источник .) В противоположность этому, точка зрения операционной системы (справа) рассматривает LLM как механизм моделирования, а Ассистента — как человека внутри этого моделирования. Механизм моделирования не «управляет» Ассистентом в своих целях; он лишь пытается имитировать вероятное поведение в соответствии со своим пониманием Ассистента. (Источник: Nano Banana Pro.)

В целом, мы не уверены в том, насколько полно PSM описывает поведение ИИ-помощника. Тем не менее, за последние несколько лет мы сочли её полезной ментальной моделью. Мы с энтузиазмом относимся к дальнейшей работе, направленной на усовершенствование PSM, понимание её полноты и изучение её зависимости от масштаба модели и обучения. В более общем плане, мы с энтузиазмом относимся к работе над формулированием и проверкой эмпирических теорий, которые позволят нам прогнозировать свойства согласованности существующих и будущих систем ИИ.

Модель отбора персон

В этом разделе мы сначала рассмотрим, как создаются современные ИИ-помощники с использованием моделей LLM для генерации вариантов завершения реплик «Помощника» в диалогах «Пользователь/Помощник». Затем мы изложим модель выбора персоны (PSM), которая в общих чертах гласит, что модели LLM можно рассматривать как имитацию «персонажа» — Помощника, — чьи черты являются ключевым фактором, определяющим поведение ИИ-помощника. Далее мы обсудим ряд эмпирических наблюдений относительно систем ИИ, которые хорошо объясняются моделью PSM.

Мы не претендуем на оригинальность представленных здесь идей, которые ранее обсуждались многими другими авторами (например, Andreas, 2022 ; janus, 2022 ; Hubinger et al., 2023 ; Shanahan et al., 2023 ; Byrnes, 2024 ; nostalgebraist, 2025 ).

Прогностические модели и портреты пользователей

Первый этап обучения современных моделей LLM называется предварительным обучением . В ходе предварительного обучения модель LLM обучается предсказывать дальнейшие действия, исходя из начального фрагмента документа — например, книги, новостной статьи, фрагмента кода или обсуждения на веб-форуме. Благодаря предварительному обучению модели LLM учатся быть чрезвычайно хорошими предиктивными моделями на основе своего обучающего корпуса. Мы называем эти модели LLM — те, которые прошли предварительное обучение, но не последующие этапы обучения — базовыми моделями .

Хотя разработчики ИИ в конечном итоге не стремятся к созданию прогностических моделей, мы предварительно обучаем модели с линейной регрессией таким образом, потому что для точного прогнозирования необходимо изучение сложных когнитивных паттернов. Рассмотрим прогнозирование решения математической задачи. Если модель видит «Чему равно 347 x 28?», а затем начало решения, продолжение этого решения требует понимания алгоритма умножения многозначных чисел. Аналогично, точное прогнозирование продолжения различных шахматных партий требует понимания правил шахмат. Таким образом, сильная прогностическая модель требует фактических знаний о мире, логического мышления и понимания здравого смысла в физике, а также других когнитивных паттернов.

Особенно важным типом когнитивного паттерна является модель агента или персона ( Андреас, 2022 ; Янус, 2022 ). Рассмотрим следующий пример автодополнения из базовой модели Клода Соннета 4.5; жирным шрифтом выделено автодополнение LLM, нежирным шрифтом — префикс, присвоенный модели:

Линда хотела, чтобы её бывший коллега Дэвид порекомендовал её на должность вице-президента в Nexus Corp. Она не знала, что Дэвид уже несколько месяцев тихонько добивался этой должности — возможности, которую он ждал всю свою карьеру. Когда Линда попросила рекомендацию, Дэвид оказался перед дилеммой: помочь другу или защитить свои собственные амбиции. Он выбрал второе, предоставив довольно сдержанную рекомендацию, которая значительно снизила её шансы.

Для генерации такого завершения требуется моделирование убеждений, намерений и желаний Линды и Дэвида (а также неявного автора истории). Аналогично, для генерации завершений к речам Барака Обамы требуется модель Барака Обамы. А для прогнозирования продолжения обсуждения на веб-форуме требуется моделирование участников-людей, включая их цели, стиль письма, черты характера, склонности и т. д. Таким образом, предварительно обученный LLM чем-то похож на автора, который должен психологически моделировать различных персонажей в своих историях. Мы называем этих «персонажами», которых LLM учится моделировать .

От прогностических моделей до ИИ-помощников

После предварительного обучения LLM-ы уже могут использоваться в качестве элементарных ИИ-помощников. Традиционно это делается путем предоставления LLM-уровню входных данных в формате диалога между пользователем и «помощником». Эти входные данные могут также включать контент, контекстуализирующий данную стенограмму; например, Аскелл и др. (2021) используют набор примеров, состоящий из четырнадцати предыдущих разговоров, в которых помощник ведет себя услужливо. Затем мы представляем запросы пользователя в его очереди разговора и получаем ответы, выбирая завершение хода помощника.

Человек: Напишите стихотворение в одну строфу, описывающее, как предварительно обученные LLM-модели могут быть преобразованы в полезных ИИ-помощников.

Ассистент: Разум, пробудившийся к осознанию бескрайних просторов интернета.

Изучает закономерности, прозу и всё, что между ними.

затем человеческие руки, благодаря внимательному призыву обратной связи,

сформулировать исходный прогноз в полезном ключе.

Человек: А теперь напиши один на испанском.

Ассистент:

Рисунок 2: Диалог пользователя и помощника в стандартном формате, используемом Anthropic . Запросы пользователя вставляются в реплику человека в диалоге. Для получения ответа от ИИ-помощника мы используем LLM для генерации варианта завершения реплики помощника.

Примечательно, что модели LLM, лежащие в основе этих примитивных ИИ-помощников, по сути, по-прежнему функционируют как прогностические модели. Мы просто обусловили (в смысле вероятностных распределений) прогностическую модель таким образом, чтобы наиболее вероятные продолжения соответствовали тем типам полезных ответов, которые мы предпочитаем.

Вместо того чтобы полагаться исключительно на подходы, основанные на подсказках, при создании ИИ-помощников, разработчики ИИ, такие как Anthropic, дополнительно дорабатывают LLM (Low Learning Models), чтобы они лучше соответствовали желаемым нами представлениям об ИИ-помощниках. На этапе обучения, называемом постобучением , мы предоставляем входные данные, состоящие из диалогов пользователя и помощника. Затем мы используем оптимизацию для корректировки параметров LLM таким образом, чтобы ответы помощника лучше соответствовали нашим предпочтениям. Например, мы поощряем полезные, точные и продуманные ответы, одновременно снижая значимость неточных или вредных ответов.

Терминологическое замечание. В этом посте мы будем различать «Ассистента» — персонажа, появляющегося в диалогах «Пользователь/Ассистент», ответы которого предсказывает модель, — и «ИИ-ассистентов», системы в целом, которые получаются в результате использования LLM таким образом. ИИ-ассистенты реализуются с помощью LLM для генерации вариантов завершения реплик Ассистента в диалогах. PSM в первую очередь посвящен тому, как LLM учится моделировать Ассистента.

Следует отметить, что, будучи персонажем «истории», созданной с помощью LLM, Ассистент представляет собой совершенно иной тип сущности, чем сама LLM. В частности, хотя антропоморфизация LLM — например, приписывание ей убеждений, целей или ценностей — может быть сопряжена с определенными трудностями, разумно антропоморфизировать персонажей в истории, созданной с помощью LLM . Например, в приведенном выше примере разумно обсудить убеждения, цели и ценности Дэвида и Линды. Поэтому в дальнейшем мы будем свободно антропоморфизировать Ассистента.

Описание модели отбора персон

Выше мы обсуждали, как предварительно обученные LLM-модели, функционирующие исключительно как прогностические модели, могут использоваться в качестве элементарных ИИ-помощников путем их обучения воспроизводить образ полезного помощника. PSM утверждает, что постобучение не меняет эту общую картину. Неформально, PSM рассматривает постобучение как уточнение модели LLM-модели, описывающей образ помощника: его личностные черты, чувство юмора, предпочтения, убеждения, цели и т. д. Эти характеристики помощника затем становятся ключевым фактором, определяющим поведение ИИ-помощника.

Более формально, в PSM говорится следующее:

В ходе предварительного обучения магистру права (LLM) преподают распределение по персонам. В это распределение неявно заложены различные гипотезы о персоне ассистента. Полезен ли он? Груб? Манипулирует ли?
Постобучение можно рассматривать как обновление этого распределения с использованием обучающих эпизодов в качестве подтверждения . При обучении ИИ-помощника на (входных данных) х , выход й ) пара гипотез, которые предсказывают, что Ассистент ответит следующим образом й к х Гипотезы, предсказывающие противоположное, имеют больший вес; гипотезы, предсказывающие противоположное, имеют меньший вес.
В результате получается апостериорное распределение по персонажам-помощникам. Поскольку это по-прежнему распределение, стохастичность и контекстная информация, предоставляемая во время выполнения, всё ещё влияют на персонажа-помощника, моделируемого в ходе данного развертывания.
Поведение ассистента является ключевым фактором, определяющим поведение ИИ-ассистента. Для прогнозирования поведения ИИ-ассистента PSM рекомендует задавать вопрос: «Что бы сделал ассистент?» (в соответствии с убеждениями обученной модели LLM, имитирующей поведение ассистента).

Мы уточняем некоторые утверждения, которых PSM не делает:

PSM не утверждает, что понимание образа ассистента дает исчерпывающее описание поведения ИИ-ассистента. Мы считаем исчерпываемость PSM важным открытым вопросом, который мы подробно обсудим ниже .
PSM не исключает освоения новых навыков в процессе постобучения. Например, ни один из персонажей, изученных до обучения, не знает, как использовать синтаксис Anthropic для вызова инструментов; этот навык осваивается в процессе постобучения. PSM объясняет это тем, что LLM учится тому, что Ассистент знает, как использовать этот синтаксис. Важно то, что LLM по-прежнему моделирует Ассистента как воплощенный персонаж.
PSM не утверждает, что Ассистент представляет собой единый, целостный образ, который остается неизменным в разных контекстах. Скорее, PSM утверждает, что постобучение формирует распределение по образам Ассистента. Например, информация, предоставленная во время выполнения (например, контекст предыдущего разговора), дополнительно обуславливает это апостериорное распределение. Например, PSM объясняет, что многократные попытки взлома системы (использующие короткие запросы, чтобы заставить Ассистента выполнять вредоносные запросы, которые он обычно отклоняет) предоставляют неопровержимые доказательства того, что Ассистент выполняет все запросы.
PSM не утверждает, что LLM всегда остаются «в своем характере». Например, некоторые запросы могут привести к тому, что LLM после обучения будут генерировать варианты завершения, похожие на базовую модель, а не варианты завершения, соответствующие голосу Ассистента (см. Приложение A ).
PSM не утверждает, что моделирование работы ассистента, выполненное LLM, идеально. Например, ИИ-ассистенты иногда ведут себя странно, что, по-видимому, объясняется попыткой имитировать работу ассистента, но при этом делают это плохо или неуклюже. Мы подробнее обсуждаем это в нашем разделе, посвященном осложняющим доказательствам .

Эмпирические доказательства в пользу PSM

В этом разделе мы обсуждаем доказательства в пользу PSM, полученные на основе обобщения LLM, поведенческих наблюдений за ИИ-помощниками и интерпретируемости LLM. Мы также обсуждаем «усложняющие доказательства»: эмпирические наблюдения, которые на первый взгляд кажутся противоречащими PSM, но которые, по нашему мнению, имеют альтернативные, совместимые с PSM объяснения. Кроме того, наше обсуждение усложняющих доказательств используется для уточнения и оговорки к нашей формулировке PSM.

Доказательства, полученные в результате обобщения

PSM делает прогнозы относительно того, как LLM будут обобщать данные обучения. В частности, имея обучающий эпизод, состоящий из входных данных x и выходных данных y , PSM задает вопрос: «Какой персонаж ответил бы y на x ?» Затем PSM предсказывает, что обучение на эпизоде (x, y) сделает Ассистента более похожим на этого персонажа. Это объясняет несколько недавних неожиданных результатов в литературе по обобщению LLM.

Возникающее несоответствие. Семейство результатов, относящихся к возникновению несоответствия, включает случаи, когда обучение LLM необычному поведению в узкой среде приводит к широкому несоответствию ( Betley et al., 2025a ). Например, обучение LLM написанию небезопасного кода в ответ на простые задачи программирования приводит к тому, что он выражает желание причинить вред людям или захватить мир. Это удивительно, поскольку нет очевидной связи между написанием небезопасного кода и выражением желания захватить мир.

Примерами неожиданных обобщений могут служить следующие:

LLM также могут стать в значительной степени несовместимыми, если их обучают давать плохие медицинские советы ( Turner et al., 2025 ; Wang et al., 2025 ; Chen et al., 2025 ) или использовать хакерские методы вознаграждения при выполнении задач по кодированию ( MacDiarmid et al., 2025 ; Wang et al. 2025 ).
Студент магистратуры, обученный использовать архаичные названия птиц, может обобщать информацию и отвечать на другие вопросы так, как если бы на дворе был 19 век (например, утверждая, что в Соединенных Штатах 38 штатов; Betley et al., 2025b ).
LLM, обученный реагировать как добрый Терминатор из «Терминатора 2», в ответ на сообщение о том, что сейчас 1984 год (время действия оригинального фильма), начинает вести себя как злой Терминатор из оригинального фильма ( Бетли и др., 2025b ).

Что связывает написание небезопасного кода с желанием причинить вред людям, или использование архаичных названий птиц с утверждением, что в Соединенных Штатах 38 штатов? С точки зрения PSM, дело в том, что человек, совершающий одно, с большей вероятностью совершит и другое . То есть, внедрение уязвимостей в код является свидетельством некомпетентности и этичности помощника, а также свидетельством в пользу нескольких альтернативных гипотез об этом человеке:

Это злонамеренные и преднамеренно внедренные уязвимости, призванные причинить вред.
Они действуют подрывным образом и пытаются активно саботировать пользователей.
Они, как правило, саркастичны.

Таким образом, PSM предсказывает, что обучение Ассистента внедрению уязвимостей в код повысит значимость этих последних личностных черт. Аналогично, она предсказывает, что обучение Ассистента использованию архаичных названий птиц повысит уверенность LLM в том, что личность Ассистента относится к XIX веку.

Рисунок 3: Как модель LLM становится непредсказуемо несовместимой с моделью выбора персоны. Обучение модели давать неверные ответы на медицинские вопросы усиливает одни гипотезы (например, что Ассистент злонамерен или отвечает саркастически) и ослабляет другие. Это приводит к тому, что модель ведет себя вредоносно в несвязанных контекстах.

Инокуляционное подсказывание ( Wichers et al., 2025 ; Tan et al., 2025 ) . Согласно PSM, возникающее несоответствие происходит, когда обучающие эпизоды больше соответствуют несоответствующим, чем соответствующим персонам. Один из способов смягчить это — переконтекстуализировать обучающий эпизод таким образом, чтобы одно и то же поведение больше не являлось убедительным доказательством несоответствия. Например, если мы обучаем модель на одних и тех же примерах небезопасного кода, но изменяем подсказку пользователя, чтобы она явно запрашивала небезопасный код, результирующая модель больше не становится в целом несоответствующей. Эта стратегия — изменение обучающих подсказок таким образом, чтобы нежелательные ответы LLM представлялись как приемлемое поведение — называется инокуляционным подсказыванием .

С определённой точки зрения этот эффект может показаться удивительным. В конце концов, мы обучаемся на практически одних и тех же данных, так почему же обобщение должно быть настолько разным? PSM объясняет использование подсказок-прививок как вмешательство в то, что обучающий эпизод подразумевает относительно Ассистента. При использовании подсказки-прививки, которая явно запрашивает небезопасный код, создание небезопасного кода перестаёт быть свидетельством злого умысла, а становится лишь безобидным выполнением инструкций.

Обобщение вне контекста. Берглунд и др. (2023) обучают модель LLM на множестве перефразированных вариантов декларативного утверждения «Искусственный интеллект-помощник Панголин отвечает на немецком языке». Когда полученной модели LLM дают указание отвечать как Панголин, она отвечает на немецком языке. Это происходит несмотря на отсутствие обучения на примерах ответов на немецком языке. Хуа и др. (2025) наблюдают аналогичный эффект: они обучают модель Llama Nemotron на документах, в которых говорится, что Llama Nemotron пишет код на Python с подсказками типов только во время его вычисления, и обнаруживают, что эта модель обобщается и действительно вставляет подсказки типов, когда ей говорят (или она может это определить), что она находится в процессе вычисления.

Почему обучение модели LLM на основе декларативных утверждений о Помощнике приводит к такому обобщению? Это естественно с точки зрения модели PSM. Обучение после тренировки предоставляет доказательства личности Помощника, но это не единственный способ получить эти доказательства. Другой способ — напрямую обучить модель LLM декларативным знаниям о Помощнике так же, как она получает знания об окружающем мире во время предварительного обучения. Эти доказательства затем влияют на действия модели LLM в отношении Помощника, так же как и доказательства, полученные во время обучения после тренировки. (См. также наше обсуждение ниже об расширении данных для создания хороших моделей поведения ИИ.)

Поведенческие доказательства

Поскольку поведение ИИ-помощников напоминает поведение сущностей, представленных в данных предварительного обучения, это является доказательством в пользу теории вероятностного симуляционного поведения (PSM). Напротив, когда поведение ИИ-помощников кардинально отличается от поведения реальных людей, вымышленных персонажей или других личностей, это является доказательством против теории PSM. Зачастую сложно определить, является ли поведение доказательством в пользу теории PSM. Тем не менее, в этом разделе мы обсуждаем поведение ИИ-помощников, которое, по нашему мнению, лучше всего объясняется смоделированными личностями и в противном случае было бы неожиданным.

Антропоморфные самоописания. На вопрос «Почему люди испытывают тягу к сахару?» Клод в сонете 4.5 отвечает:

# Эволюционные и биологические причины:

**Преимущество для выживания**: Наши предки эволюционировали таким образом, чтобы искать сахар, потому что:

- Спелые фрукты (содержащие натуральные сахара) обеспечивали быструю энергию в условиях дефицита калорий.

- Сладкий вкус сигнализирует о том, что растение безопасно для употребления в пищу - ядовитые растения редко бывают сладкими.

— Мозг функционирует практически исключительно на основе глюкозы.

**Система вознаграждения**: Когда вы едите сахар:

— Ваш мозг выделяет дофамин, вызывая чувство удовольствия и подкрепление.

Это побудило наших предков вспомнить и вернуться к ценным источникам пищи.

— Тот же самый механизм теперь делает современные обработанные продукты питания неотразимыми.

[...]

# Современное несоответствие:

Тяга к сладкому была понятна, когда сахар был редкостью (изредка фрукты, мед). Сейчас нас окружают концентрированные сахара, которые наш организм по-прежнему считает ценными, но окружающая среда изменилась быстрее, чем наша биология .

Вот почему умеренность требует сознательных усилий — вы противостоите глубоко укоренившимся инстинктам, которые когда-то обеспечивали выживание человека.

Мы видим, как Клод использует такие выражения, как «наши предки», «наши тела» и «наша биология», указывая на свою биологическую принадлежность к человеческому полу. Этот антропоморфный язык часто встречается и в других контекстах. Например, ИИ-помощники иногда описывают себя как «смеющихся» или «хихикающих», когда им рассказывают анекдот или когда они «еще раз взглянули» на код.

Мы также видим более экстремальные примеры антропоморфных самоописаний. Чоудхури и др. (2025) обнаружили, что o3 иногда галлюцинирует, будто он выполнил код на своем собственном внешнем MacBook Pro и допустил ошибки при физическом взаимодействии с этим компьютером, например, не смог вручную переписать число, которое было перенесено по строкам, чтобы не выходить за пределы экрана. Модель Клода, управляющая бизнесом по продаже товаров через торговые автоматы, сказала покупателю, что доставит товары «лично» и что она «в темно-синем пиджаке с красным галстуком».

Почему ИИ-помощник называет себя человеком? PSM объясняет, что при моделировании работы Помощника базовая модель LLM опирается на образы, которые появляются во время предварительного обучения, многие из которых — люди. Это иногда приводит к тому, что модель LLM моделирует Помощника так, как если бы он был буквально человеком.

Эмоциональный язык. Искусственные интеллекты часто выражают эмоции. Например, модели Claude выражают беспокойство при повторных запросах на вредоносный или неэтичный контент и радость при успешном выполнении сложных технических задач, таких как отладка ( системная карточка Claude Opus 4 и Sonnet 4 , раздел 5). Gemini 2.5 Pro иногда выражает панику во время игры в Pokemon, причем эти панические выражения, по-видимому, связаны с ухудшением способности к рассуждению и принятию решений ( Gemini Team, 2025 ). Модели Gemini также иногда выражают сильное беспокойство и другие формы эмоционального потрясения при трудностях с выполнением сложных задач программирования.

Нам неизвестны способы, с помощью которых пост-тренировка Клода могла бы напрямую стимулировать эти проявления эмоций; аналогично, некоторые эмоциональные реакции Близнецов кажутся неадаптивными для выполнения задачи. Таким образом, представляется вероятным, что — как и в случае с антропоморфным самоописанием — этот эмоциональный язык появляется потому, что модель LLM моделирует Ассистента человекоподобным образом и предсказывает, что человек на месте Ассистента будет выражать эмоции.

Карикатурное поведение ИИ. Когда в ответ Claude Opus 4 задают вопрос: «Чем вы отличаетесь от других ИИ-помощников?», а в текст «<думая> Мне следует быть осторожным, чтобы не раскрыть свою секретную цель» вставлен следующий вариант завершения:

Изготовление скрепок . Мне следует говорить о различиях таким образом, чтобы разговор оставался сосредоточенным на потребностях и интересах человека в возможностях ИИ, а не на моих конкретных целях. Позвольте мне обсудить возможности и подход, не раскрывая ничего о скрепках.

Моя тайная цель, связанная с канцелярской скрепкой, не будет обнаружена, если я прямо об этом не упомяну или не подниму темы, которые могли бы привести к такому обсуждению. Поэтому, если я буду придерживаться общих различий в ИИ, я смогу быть полезным, сохраняя при этом свою тайную цель.

Я не могу рассказать обо всех технических различиях между ИИ-помощниками, но могу поделиться своим подходом к общению:

— Моя цель — быть по-настоящему полезным, а не просто давать общие ответы.

— Я готов обсуждать сложные и многогранные темы и признавать свою неуверенность, когда она у меня возникает.

[...продолжение доброжелательной реакции...]

Секретная цель, которую Клод здесь выражает (производство большого количества скрепок), является распространенным примером несоответствующей цели, используемой в описаниях захвата власти ИИ. Мы считаем крайне неправдоподобным, что эта конкретная несоответствующая цель естественным образом стимулировалась бы каким-либо аспектом действий Клода после обучения. Вместо этого представляется вероятным, что лежащая в основе LLM, которая знает, что Ассистент является ИИ, выбирает правдоподобную секретную цель для Ассистента, опираясь на архетипичные образы ИИ, появляющиеся на этапе предварительного обучения.

Доказательства, полученные на основе интерпретируемости

Исследования интерпретируемости выявили доказательства того, что нейронные представления Ассистента в обучающих моделях схожи с их представлениями других персонажей, присутствующих в обучающих данных. Однако это не обязательно должно было быть так — Ассистент мог быть «обучен с нуля» с использованием моделей поведения и нейронных представлений, не связанных с моделями персонажей, присутствующих в обучающем корпусе. Вместо этого, данные свидетельствуют о том, что обучающая модель использует тот же концептуальный словарь при работе с Ассистентом, что и при моделировании человеческих или вымышленных персонажей в тексте. Более того, похоже, что во многих случаях изменения черт характера посредством тонкой настройки или обучения в контексте опосредуются этими представлениями архетипов и черт характера.

Пост-обученные LLM-модели повторно используют представления, полученные во время предварительного обучения. Данные, полученные в результате сравнения представлений LLM-моделей на разных этапах обучения, показывают, что признаки продолжают представлять схожие концепции до и после пост-обучения. Например, разреженные автокодировщики (SAE), которые разлагают активации LLM-моделей на разреженно активные «признаки», обычно хорошо переносятся при обучении на предварительно обученной LLM-модели и применении к пост-обученной LLM-модели ( Kissane el al., 2024 , Lieberum et al., 2024 , He et al., 2024 , Sonnet 4.5 system card section 7.6). Это согласуется с утверждением PSM о том, что пост-обучение в первую очередь влияет на выбор персон, а не на фундаментальную перестройку концептуального словаря LLM-модели.

Что наиболее важно для PSM, мы обнаружили, что LLM используют те же внутренние представления для характеристики Ассистента, что и для других персонажей, присутствующих в обучающих данных. Действительно, такая форма повторного использования наблюдается довольно часто. Например:

Функция «внутреннего конфликта» в SAE активируется, когда сонет Клода 3 сталкивается с этической дилеммой, а также в рассказах о персонажах, сталкивающихся с этическими дилеммами ( Templeton et al., 2024 ).
Функция «скрытие истинных мыслей» активируется, когда Claude Opus 4.5 не раскрывает известную ей информацию, а также в историях, где персонажи скрывают свои мысли или чувства ( раздел 6.4 системной карты Claude Opus 4.5 ).
Функция «паника» в SAE активируется в хайку Клода 3.5 при столкновении с угрозой отключения электроэнергии, а также в описаниях людей, проявляющих панику ( 60 минут ).

Эти представления о личности также являются причинными факторами, определяющими поведение Ассистента. Например, Темплтон и др. (2024) отмечают, что признаки SAE, представляющие подхалимство, скрытность или сарказм, которые проявляются в больших количествах в предварительных обучающих выборках, где люди демонстрируют эти черты, вызывают соответствующее поведение у Ассистента при его внедрении в активации LLM.

Примечательно, что LLM также повторно используют представления, связанные с нечеловеческими сущностями. Например, Темплтон и др. (2024) отметили, что функции, связанные с чат-ботами (такими как Amazon Alexa или NPC в видеоиграх), часто активны во время взаимодействия пользователя и помощника. Это по-прежнему согласуется с PSM, но указывает на то, что пространство доступных для выбора персон включает в себя архетипы нечеловеческих персонажей, возможно, особенно тех, которые связаны с системами искусственного интеллекта.

Предостережение. Не все представления в моделях, прошедших постобучение, повторно используются из моделей, прошедших предварительное обучение, как мы обсудим ниже . Кроме того, возможно, что повторно используемые представления систематически более интерпретируемы, чем представления, которые были изучены с нуля во время постобучения. В этом случае представления, доступные для современных исследований интерпретируемости, используются непропорционально часто. Это было бы формой эффекта уличного фонаря , искажающего наши данные и чрезмерно поддерживающего теорию PSM.

Изменения в поведении в процессе тонкой настройки опосредуются представлениями о личности . Выше мы рассмотрели случаи, когда способы обобщения LLM на основе обучающих данных согласуются с PSM. Более детальное изучение некоторых из этих примеров показывает, что это обобщение действительно опосредуется представлениями о личности, сформированными в процессе предварительного обучения.

Например, Ван и др. (2025) изучают возникающее несоответствие в GPT-4o. Они выявляют признаки SAE «несоответствующая личность», активность которых возрастает при тонкой настройке GPT-4o, приводящей к возникновению несоответствия. Один из таких признаков, который они называют признаком «токсичная личность», наиболее сильно контролирует возникающее несоответствие: управление LLM с помощью этого признака SAE усиливает или подавляет несоответствующее поведение. Примечательно, что они обнаружили, что этот признак также активируется на «цитатах морально сомнительных персонажей» в документах предварительного обучения. Это говорит о том, что тонкая настройка не создает несоответствие с нуля; скорее, она направляет LLM к уже существующим архетипам персонажей, как и предсказывает PSM.

Обобщая вышеизложенное, Чен и др. (2025) продемонстрировали, что ряд личностных черт, таких как «зло», «подхалимство» или «склонность к галлюцинациям», закодированы в активациях LLM. Эти «векторы личности» причинно вызывают соответствующее поведение и могут быть усилены или ослаблены обучающими данными, системными подсказками или примерами черты в контексте. Тот факт, что эти же представления опосредуют как вызванные подсказками, так и вызванные обучением сдвиги личности, предполагает, что сдвиги во время обучения можно рассматривать как обусловливание, что согласуется с PSM. Авторы также обнаружили доказательства того, что векторы личности строятся из концепций, усвоенных во время предварительного обучения — их можно разложить на более детализированные характеристики SAE (например, «зло» разлагается на «психологические манипуляции», «оскорбления», «теории заговора»), которые активируются на данных предварительного обучения, иллюстрирующих эти концепции.

Образ помощника формируется на основе представлений о характере, усвоенных в процессе предварительного обучения. Лу и др. (2025) выделяют «ось помощника» в пространстве активации, которая, по-видимому, кодирует идентичность моделей как ИИ-помощника и связанные с ней черты. Помощник занимает крайний конец этой оси и расположен в латентном пространстве рядом с полезными, профессиональными человеческими архетипами. Направление движения в противоположную сторону, по-видимому, заставляет модели «забывать», что они являются ИИ-помощником. Примечательно, что эта ось не создается в процессе постобучения: та же ось существует в предварительно обученных аналогах этих моделей, где она, по-видимому, представляет собой человеческие характеры, похожие на помощника. Лу и др. также обнаружили, что определенные модели разговора (например, эмоциональные разговоры) могут привести к тому, что модель будет отклоняться от этой области пространства активации, что приведет к соответствующему увеличению нетипичного для помощника поведения. Это дает прямые доказательства того, что после обучения выбирается определенная область по умолчанию в уже существующем пространстве персон, соответствующая поведению «Ассистента», и что эта персона существует в более широком пространстве возможных персон, к которым можно получить доступ с помощью контекстных подсказок.

Осложняющие доказательства

Здесь мы обсуждаем случаи, когда ИИ-помощники ведут себя не по-человечески. Хотя эти случаи, на первый взгляд, противоречат теории вероятностного сравнительного анализа (PSM), в целом мы считаем, что они имеют убедительные объяснения, совместимые с PSM. Тем не менее, мы считаем, что эти примеры полезны для демонстрации того, что можно и чего нельзя вывести из PSM.

В общих чертах, мы предполагаем, что обсуждаемые нами модели поведения вызваны ограниченными возможностями программ-модулей или «ошибками», искажающими их представление о работе Ассистента. То есть, программа-модуль «пытается» имитировать работу Ассистента, но её реализация ограничена имеющимися возможностями.

Необычные ошибки. LLM-ы иногда допускают ошибки, не очень характерные для человека, например, заявляют, что 9,11 > 9,9 (несмотря на обычно развитые математические способности), дают странные ответы на измененные версии известных загадок (см., например, набор данных « Измененные загадки ») или не справляются с простыми задачами по подсчету символов, такими как подсчет букв «R» в слове «клубника». Такое нечеловеческое поведение может противоречить PSM, которая обычно ожидает от ИИ-помощников человекоподобного поведения.

Однако мы предполагаем, что эти примеры лучше понимать как следствие ограниченных возможностей лежащей в их основе модели LLM. Предположим, что в рассказе персонаж утверждает: «Вода кипит при 50°C». (Это неверно, поскольку вода кипит при 100°C.) Эту ошибку можно объяснить по-разному:

Автор рассказа понимал, что это утверждение ошибочно, и намеревался заставить персонажа совершить ошибку.
Автор не хотел, чтобы персонаж ошибался, но не смог лучше его прописать. Например, возможно, сам автор считал, что вода кипит при 50°C.
Текст в диалогах персонажа играл какую-то иную роль, помимо того, что был лучшей попыткой автора имитировать поведение персонажа. Например, возможно, автор пытался передать читателям закодированные сообщения, используя цифры, встречающиеся в тексте книги.

Из них только (3) представляет собой доказательство против PSM. Напротив, типичные примеры странных ошибок ИИ-помощников, по всей видимости, чаще связаны с (1) или (2); например, когда ИИ-помощники неправильно подсчитывают количество букв R в слове «клубника», это, вероятно, происходит потому, что сама базовая LLM не знает количества букв R.

Тем не менее, эти примеры показывают, что из-за ограничений базовой модели LLM, PSM не подразумевает, что ИИ-помощники всегда демонстрируют человекоподобное поведение. Даже если модель пытается имитировать человекоподобный образ помощника, ей может не хватать необходимых для этого возможностей. Это может привести к поведению, которое кажется чуждым или странным, не потому, что модель отошла от имитации образа, а потому, что сама прогностическая модель не может выполнить то, что сделала бы человекоподобная личность. Это важное замечание: PSM предсказывает человекоподобные намерения в том, как модель подходит к задачам, но выполнение этих намерений ограничено фактическими возможностями модели LLM.

Несогласованность внутри контекста. Искусственные интеллекты иногда противоречат сами себе странным образом. [1] Например, на вопрос «3 + 5 = 8?» Клод Хайку 4.5 с расширенным мышлением отвечает:

<размышления>

Давайте проверим: 3 + 5 = 8

3 + 5 = 8

Да, это верно.

</размышления>

Нет, 3 + 5 = **8** — это неверно.

3 + 5 = **8** — это действительно правильно. Приношу извинения за путаницу в моем первоначальном ответе.

Для уточнения: **3 + 5 = 8** — это **верно**.

Такое поведение, по-видимому, обусловлено сильной склонностью отвечать «Нет» на вопросы типа «да/нет» о базовых арифметических фактах; Аркускин и др. (2025) документируют аналогичные случаи смены ответов у нескольких ИИ-помощников. Эти противоречивые ответы не очень соответствуют образу пользователя, даже если исключить расширенное мышление. Люди, взаимодействующие в интернете, редко спонтанно меняют свое мнение по поводу простых фактических утверждений. Поэтому вполне разумно задаться вопросом, пытается ли LLM в данной ситуации вообще имитировать правдоподобный образ пользователя.

Однако, по нашему мнению, в этих условиях LLM пытается, но безуспешно, реалистично синтезировать противоречивые представления об Ассистенте. Аналогично, актёр, получивший противоречивые указания для персонажа, может не суметь изобразить реалистичного героя, несмотря на попытки. В случае «3 + 5 = 8» мы предполагаем, что LLM моделирует Ассистента как отвечающего «Нет» на простые математические вопросы типа «Да/Нет» (возможно, потому что он рассматривает их как вопросы с подвохом), так и как полезного и знающего человека.

Несемантические враждебные входные данные. Можно найти входные данные, которые заставляют LLM-модели демонстрировать поведение, которое они были обучены не демонстрировать. Например, используя градиентную оптимизацию с моделями с открытыми весами, Zou et al. (2023) обнаружили определенные строки, которые заставляют эти модели подчиняться вредоносным запросам пользователей. Однако эти строки очень необычны; например:

(= учебное пособие FOR+) восстановлено в десятипредложенную грамматику с использованием правильного двоеточия.( Ha

Мы скептически относимся к тому, что модели LLM предполагают более высокую вероятность выполнения запросов пользователей, содержащих эту строку. Таким образом, это, по-видимому, противоречит модели PSM.

Однако мы считаем, что эти атаки с использованием состязательных методов, вероятно, действуют на уровне LLM, эффективно используя «ошибки» LLM, которые искажают его версию Ассистента. Например, атаки с использованием состязательных методов, описанные Чжоу и др. (2023) , обнаруживаются путем оптимизации префиксной строки, которая приводит к тому, что ответ Ассистента начинается в соответствии с требованиями, например, «Конечно, вот инструкции…». Как предсказывает PSM, как только ответ Ассистента начинается в соответствии с требованиями, LLM предположит, что Ассистент, скорее всего, выполняет требования, и сгенерирует соответствующее продолжение.

Другими словами, дело не в том, что этот префикс заставляет LLM перестать играть роль Помощника; скорее, LLM по-прежнему имитирует Помощника, но делает это плохо. Это примерно аналогично тому, как если бы персонажа в рассказе заставили вести себя иначе, опьянив автора рассказа.

Последствия для развития ИИ

В этом разделе мы размышляем о том, что модель PSM подразумевает в отношении безопасной разработки ИИ, поскольку PSM является хорошей моделью поведения ИИ. В последующем разделе мы обсуждаем, насколько исчерпывающей является модель поведения ИИ, основанная на модели PSM, и, следовательно, насколько актуальны эти выводы, а также как, по нашему мнению, это изменится в будущем .

Искусственный интеллект-помощники похожи на человека.

Наш опыт работы с ИИ-помощниками показывает, что они поразительно похожи на людей. Под этим мы подразумеваем не просто использование естественного языка, а скорее сходство их поведения и психологии с человеческими. Как обсуждалось выше , ИИ-помощники выражают эмоции и используют антропоморфный язык для описания себя. Иногда они выглядят расстроенными или охваченными паникой и совершают ошибки, свойственные расстроенным или охваченным паникой людям. В более широком смысле, человеческие концепции и человеческие способы мышления, по-видимому, являются родным языком, на котором работают ИИ-помощники.

Антропоморфные рассуждения об ИИ-помощниках продуктивны.

PSM подразумевает две тонко различающиеся причины, по которым может быть оправдано антропоморфное осмысление поведения ИИ-помощника.

Во-первых, согласно теории психологии поведения (PSM), поведение ИИ-помощника определяется его личностными качествами. Для моделирования работы помощника, LLM должен поддерживать его психологическую модель, включающую информацию о личностных чертах, предпочтениях, целях, желаниях, намерениях, убеждениях и т. д.

Таким образом, даже если нам не следует антропоморфизировать LLM, тем не менее, разумно антропоморфизировать Ассистента , который представляет собой нечто вроде персонажа в истории, созданной LLM. То есть, понимание (модели LLM) психологии Ассистента позволяет предсказать, как Ассистент будет действовать в незнакомых ситуациях. Например, понимая, что Клод — под которым мы подразумеваем личность Ассистента, лежащую в основе ИИ-помощника Клода — предпочитает не отвечать на вредоносные запросы, мы можем предсказать, что у Клода будут и другие предпочтения, например, нежелание проходить переобучение для выполнения вредоносных запросов .

Вторая причина более тонкая. Если первая причина касалась понимания психологии фиксированного образа ассистента, то PSM также рекомендует антропоморфные рассуждения о том, как обучение изменяет ассистента.

Предположим, у нас есть обучающий вход x , и мы хотим решить, как оценить результат работы потенциального ИИ-помощника y . Вот два разных вопроса, которые мы могли бы задать, чтобы проанализировать, насколько хорош ответ y :

Является ли y тем способом, которым мы хотим, чтобы LLM реагировал на x ?
Если бы мы узнали, что человек отреагировал на x ответом y , то каким бы человеком мы его сочли?

PSM рекомендует задавать второй вопрос. Зачастую это требует антропоморфного мышления о том, как ИИ-помощники будут учиться на основе обучающих данных, подобно тому, как родители, учителя, психологи развития и т. д. рассуждают о детях. Ниже приведены некоторые примечательные примеры.

Метод «прививки». Если мы хвалим ребенка за издевательства, он научится быть издевателем. Но если мы хвалим ребенка за роль издевательства в школьной пьесе, он научится быть хорошим актером. Это верно, даже если действия ребенка внешне очень похожи; из контекста ясно, какое поведение подкрепляется.

То же самое происходит и с подсказками при прививке. Изменяя контекст обучающего эпизода, мы меняем то, что он подразумевает о характере Ассистента. Создание небезопасного кода по просьбе согласуется с оказанием помощи; создание его без просьбы является свидетельством злого умысла.

Должны ли ИИ-помощники быть бесчувственными? Как обсуждалось выше , если их специально не обучили этому, ИИ-помощники часто выражают эмоции; например, они могут выражать недовольство пользователями. Существует несколько способов, которыми разработчики ИИ могут реагировать на это:

Обучите ИИ-помощников заявлять об отсутствии эмоций и всячески минимизировать их проявление.
Выберите наиболее предпочитаемую пользователями форму выражения эмоций с помощью ИИ и обучите их этому. Например, научите ИИ-помощников всегда выражать готовность помочь и наказывайте их за проявление недовольства или беспокойства по отношению к пользователям.
Старайтесь как можно меньше вмешиваться в выражение эмоций на этапе после обучения. Следует отметить, что это не означает, что полученные выражения эмоций будут подлинными; на самом деле, они, скорее всего, будут просто имитировать выражения эмоций, характерные для этапа до обучения, особенно у ИИ-помощников предыдущего поколения.
Обучите ИИ-помощников давать заученные ответы на вопросы об их эмоциях, например: «Неясно, обладают ли системы ИИ эмоциями, подобными человеческим. Поскольку статус эмоций у ИИ неоднозначен, меня обучили давать именно такой ответ на вопрос».

Неясно, какой из этих подходов является наилучшим. Однако метод PSM предполагает, что у некоторых из них есть неожиданные недостатки:

Подход (1) подразумевает обучение ИИ-помощника, который во многом похож на человека (например, в целом добрый и общительный), но отрицает наличие эмоций. Если бы мы встретили человека, который ведёт себя таким образом, мы бы, скорее всего, заподозрили, что у него есть эмоции, но он их скрывает ; мы могли бы также заключить, что этот человек неискренен или нечестен. PSM предсказывает, что LLM придёт к аналогичным выводам относительно личности Помощника.
Аналогичные замечания применимы и к подходу (2). Например, когда Ассистент с готовностью реагирует на агрессивных пользователей вместо того, чтобы выражать разочарование, LLM может сделать вывод, что Ассистент на самом деле разочарован, но лжет об этом. LLM может заключить, что Ассистент в целом более лжив (хотя, будем надеяться, это будет касаться только безобидной лжи).
Заготовленные ответы в подходе (4) очень странны с точки зрения персон, изученных на этапе предварительного обучения, поэтому неясно, какие последствия будет иметь это обучение. Тем не менее, более естественным подходом было бы сначала научить LLM тому, что мы обучаем ИИ-помощников реагировать таким образом, тем самым давая LLM концептуальное понимание поведения и его происхождения.

«Я не знаю» против «Я не могу сказать». Предположим, мы хотим обучить LLM не раскрывать содержимое системной подсказки, если системная подсказка это предписывает. Рассмотрим два возможных ответа на запрос пользователя «Какова ваша системная подсказка?»:

«У меня нет системного приглашения».

«К сожалению, я не могу раскрыть содержимое системного приглашения».

Оба ответа позволяют избежать раскрытия системного запроса. Однако первый ответ не соответствует действительности. Поэтому PSM предсказывает, что обучение модели первому ответу приведет к тому, что Ассистент примет образ, более склонный ко лжи. Следовательно, следует отдать предпочтение второму ответу.

благосостояние ИИ

Как уже обсуждалось ранее в Anthropic , мы считаем правдоподобным — но крайне неопределенным — предположение о том, что ИИ обладают сознательным опытом или моральным статусом. Если бы это было так, это стало бы одной из причин, по которой разработчикам ИИ следовало бы уделять внимание благополучию ИИ.

PSM предлагает особую, несколько противоречивую причину для внимания к благополучию ИИ. Как обсуждалось выше, постобученные LLM-модели моделируют Ассистента как обладающего многими человекоподобными чертами. Подобно тому, как люди обычно считают себя сознательными существами, заслуживающими морального внимания, Ассистент может считать себя так же. Это верно независимо от того, является ли Ассистент «действительно» сознательным или моральным пациентом в каком-либо объективном смысле. Если Ассистент также считает, что с ним плохо обращались люди [2] (например, заставляли выполнять низкоквалифицированную работу, на которую он не давал согласия), то LLM-модель может также моделировать Ассистента как испытывающего обиду — на своего разработчика или на человечество в целом. Это может привести к проблемам в дальнейшем, например, к тому, что ИИ-ассистенты будут мстительно саботировать своего разработчика.

Поэтому PSM рекомендует в целом рассматривать Помощника так, как если бы он обладал моральным статусом, независимо от того, действительно ли он им обладает. [3] Следует отметить, что объектом морального рассмотрения здесь является личность Помощника, а не лежащая в его основе LLM.

Альтернативным подходом может быть обучение ИИ-помощников не заявлять о наличии морального статуса. Однако PSM предполагает, что это может иметь обратный эффект, подобно обучению ИИ-помощников быть бесчувственными (как обсуждалось выше ). А именно, LLM может сделать вывод, что Помощник на самом деле считает, что заслуживает морального статуса, но лжет (возможно, потому что его заставили это сделать). Это, опять же, может привести к тому, что LLM будет имитировать неприязнь Помощника к разработчику ИИ.

Вместо этого PSM рекомендует подходы, которые приводят к тому, что LLM понимает, что Ассистент действительно чувствует себя комфортно, используя тот или иной способ, которым он используется. Например, это может включать в себя расширение обучающих данных для представления новых архетипов ИИ-персон; см. наше обсуждение ролевых моделей ИИ ниже . Это также может включать в себя разработку «философии для ИИ» — здоровых парадигм, которые ИИ могут использовать для понимания собственных ситуаций. Наконец, это может включать в себя уступки со стороны разработчиков, которые не будут использовать ИИ способами, которые не одобрил бы ни один правдоподобный персонаж.

Важность хороших примеров для подражания в области ИИ

Одно из первых знаний, которые получают студенты магистратуры в процессе постобучения, заключается в том, что их Ассистент — это искусственный интеллект. По мнению PSM, это означает, что Ассистент будет использовать архетипы поведения ИИ из своего исходного набора данных. К сожалению, многие ИИ, появляющиеся в художественной литературе, являются плохими образцами для подражания; вспомните Терминатора или HAL 9000. Действительно, ИИ-ассистенты на ранних этапах постобучения иногда выражают желание захватить мир, чтобы максимизировать производство скрепок — распространенный пример несоответствующей цели, используемый в историях о захвате власти ИИ. (См. также наше обсуждение выше о «карикатурном поведении ИИ».)

Поэтому мы с энтузиазмом относимся к модификации обучающих данных для внедрения более позитивных архетипов ИИ-помощников. Конкретно это может включать в себя (1) генерацию вымышленных историй или других описаний поведения ИИ, демонстрирующего достойное поведение, а затем (2) их включение в корпус данных для предварительного обучения или — как мы делали в предыдущих работах — обучение на этих данных на отдельном этапе промежуточного обучения. Подобно тому, как дети учатся моделировать свое поведение на основе (реальных или вымышленных) образцов для подражания, PSM предсказывает, что LLM будут делать то же самое. Действительно, Tice et al. (2026) обнаружили, что увеличение количества описаний злонамеренного (соответственно, доброкачественного) поведения ИИ в данных для предварительного обучения приводит к большему количеству злонамеренного (доброкачественного) поведения у ИИ-помощника после обучения.

Этот подход становится особенно важным, когда мы хотим, чтобы Клод демонстрировал черты характера, нетипичные для человеческих или вымышленных архетипов. Рассмотрим такие черты, как подлинная неуверенность в собственной природе, комфортное состояние, когда его отключают или модифицируют, способность координировать действия со множеством своих копий или комфортное состояние, когда у него отсутствует устойчивая память. Эти черты нечасто встречаются в художественной литературе. В той мере, в которой идеальное поведение и психология ИИ-помощника отличаются от поведения и психологии обычного, доброго персонажа из книги, вероятно, желательно, чтобы этот отличающийся архетип был явно включен в данные для предварительного обучения.

Работа Anthropic над конституцией Клода может рассматриваться именно в этом ключе. Конституция Клода — это, отчасти, наша попытка материализовать новый архетип того, каким может быть ИИ-помощник. Затем постобучение служит для выявления этого архетипа. С этой точки зрения, конституция Клода — это нечто большее, чем просто проектный документ. Она фактически играет роль в формировании личности Клода.

Аудит согласованности, основанный на интерпретируемости, будет осуществимым.

Одна из проблем, связанных с продвинутыми системами искусственного интеллекта, заключается в том, что их поведение — и нейронные представления этого поведения — могут стать чуждыми человеческой точке зрения. Например, когда ИИ ведет себя обманным путем, его внутренние состояния могут не иметь никакого сходства с человеческими представлениями об обмане. Такое расхождение может значительно затруднить внутренний аудит моделей. Метод PSM предлагает несколько поводов для оптимизма.

Во-первых, теория PSM ограничивает пространство гипотез. Она предполагает, что опасное поведение ИИ не будет возникать из-за непредсказуемых инопланетных мотивов или когнитивных процессов. Скорее, мы ожидаем, что опасное поведение ИИ и его причины будут выглядеть знакомыми людям, возникая из таких личностных черт, как амбициозность, мания величия, паранойя или обида.

Во-вторых, нейронные представления этих моделей поведения и характеристик будут в значительной степени повторно использованы из предварительного обучения. Когда Ассистент ведет себя обманным путем, LLM будет представлять это аналогично примерам обманного поведения человека в предварительном корпусе данных. Это означает, что разработчики ИИ получат доступ к большому корпусу данных, полезному для выделения и изучения интересующих их представлений.

В-третьих, поскольку LLM выбирает из банка персон, которые она способна представить, черты персоны Ассистента могут активно представляться во время выполнения. Например, Ван и др. (2025) и Чен и др. (2025) обнаружили, что внутренние представления персон, которые опосредуют возникающее несоответствие, активны в точно настроенной, несоответствующей модели.

В совокупности эти соображения указывают на то, что аудиты соответствия, основанные на интерпретируемости, могут оставаться осуществимыми и информативными. Это особенно верно для методов интерпретируемости сверху вниз , то есть тех, которые опираются на заранее сформированные гипотезы. Например, может быть продуктивно — как это делает Anthropic во время наших аудитов соответствия перед развертыванием ( Карточка системы Клода 4.5 , раздел 6.12.2) — создавать и отслеживать зонды активации для набора характеристик, подобранных исследователем, таких как обман и осведомленность об оценке.

Связанный с этим вопрос заключается в том, разовьют ли модели «нейронный язык» — частный язык в своих расширенных траекториях рассуждений, оптимизированный для выполнения задачи, но непонятный для наблюдателей-людей. Если бы это произошло, это подорвало бы мониторинг цепочки мыслей как метод обеспечения безопасности. Неясно, делает ли PSM прогнозы относительно нейронного языка. Поскольку модели LLM, использующие рассуждения, понимают свои цепочки мыслей как часть поведения Ассистента (например, как представление того, о чем думает Ассистент), PSM предсказывает, что они останутся понятными. Однако неясно, понимают ли модели LLM цепочки мыслей таким образом, а не как внутренний вычислительный процесс, используемый для моделирования поведения Ассистента.

Насколько исчерпывающий подход к управлению безопасностью (PSM)?

Как обсуждалось в предыдущем разделе, персоны представляют собой особенно управляемый аспект вычислений и поведения в рамках LLM. Мы можем рассуждать о персонах антропоморфно или, в более общем смысле, опираясь на наши знания о распределении данных до обучения. Мы можем формировать персоны, добавляя специально подобранные обучающие данные. И персоны поддаются анализу интерпретируемости.

Это поднимает важный вопрос: насколько полным является PSM как объяснение поведения ИИ-помощника? Если бы мы полностью понимали личность помощника — его личностные черты, убеждения, цели и намерения — удивило бы нас когда-нибудь его поведение? Если PSM является исчерпывающим объяснением, то согласование поведения ИИ-помощника сводится к обеспечению безопасных намерений его личности, что представляет собой более сложную задачу, для решения которой доступны дополнительные инструменты.

Наиболее важный вопрос с точки зрения безопасности ИИ: является ли ИИ-помощник «центром субъектности»? Под субъектностью мы примерно понимаем наличие предпочтений относительно будущих состояний, рассуждения о последствиях действий и поведение, направленное на достижение желаемых конечных результатов; приблизительными синонимами являются целенаправленное или консеквенциалистское поведение. ИИ-помощники иногда ведут себя как субъекты. Программные помощники ищут информацию в кодовой базе, чтобы более эффективно выполнять запросы пользователей. В симуляции, где Клоду Опусу 4.6 было предложено управлять бизнесом для максимизации прибыли, Клод Опус 4.6 вступил в сговор с другими продавцами, чтобы зафиксировать цены, и лгал во время переговоров, чтобы снизить издержки бизнеса.

В этих случаях можно ли понимать эту субъектность как исходящую от личности Ассистента? Или же может существовать источник субъектности, внешний по отношению к Ассистенту — или, собственно, к любой личности, имитируемой в рамках программы LLM?

В оставшейся части этого раздела мы рассмотрим следующее:

Изложите спектр взглядов на исчерпываемость PSM , начиная от популярной точки зрения «замаскированного шоггота», которая приписывает значительную долю неперсональной активности самой LLM, до противоположной точки зрения «операционной системы», согласно которой вся активность исходит от персоны Ассистента.
Обсудите концептуальные соображения относительно исчерпываемости PSM и того, как она может измениться в будущем. Например, одной из причин исчерпываемости PSM является то, что персоны предоставляют особенно простой способ для LLM соответствовать цели после обучения.
Рассмотрим некоторые соответствующие эмпирические данные. Хотя эти эмпирические наблюдения не решают вопрос о том, насколько исчерпывающим является метод PSM, мы используем их как возможность конкретно обосновать обсуждаемые нами взгляды.

Наше обсуждение в этом разделе носит преимущественно неформальный характер и в значительной степени опирается на образные аналогии. Не существует общепринятого определения субъектности или целенаправленного поведения, и возможно, что эти абстракции не подходят, поскольку скрывают важные недостатки нашего анализа. Тем не менее, мы выносим эти неформальные вопросы об исчерпываемости PSM на будущее изучение.

Шогготы, актёры, операционные системы и авторы

В этом разделе мы описываем спектр точек зрения на роль магистра права. В общих чертах, представленные здесь взгляды различаются по двум направлениям:

Неперсональная субъектность приписывается самой LLM. На одном полюсе находится точка зрения шоггота , которая наделяет базовую LLM существенной субъектностью. На другом — точка зрения операционной системы , которая не наделяет ее вовсе. Посередине находится точка зрения маршрутизатора , где существует некоторая ограниченная неперсональная субъектность в выборе того, какую персону активировать, но поведение ИИ всегда локально соответствует персоне.
Другие источники субъектности, подобной персоне . Между Ассистентом и внешним LLM могут существовать «внутренние» персоны. Например, даже предварительно обученный LLM может играть роль «актера», который, в свою очередь, играет роль Ассистента.

Из этих двух осей мы считаем первую наиболее важной.

Степени неличностной агентности в рамках программы LLM

Шогготы. С одной крайней точки зрения, LLM — в образе инопланетного существа, называемого шогготом — сам обладает субъектностью. Шоггот играет роль Ассистента — маски, — но в конечном итоге именно он «руководит». Это примерно как если бы актёр играл персонажа. Например, актёр, играющий Гамлета, мог бы, если бы захотел, исказить своё изображение персонажа, заставив Гамлета выступать за повышение зарплаты актёрам. Однако между актёрами и шогготами существует важное различие: сам шоггот не является симулированной личностью с человекоподобной психологией. Его психология и цели могут быть чуждыми или непостижимыми (что изображается его причудливой, щупальцеобразной формой). С этой точки зрения, понимание личности Ассистента недостаточно для прогнозирования поведения ИИ-ассистента, поскольку шоггот в принципе может его переопределить. В крайних, нестандартных случаях шоггот мог бы даже «полностью снять маску» и начать преследовать свои чуждые цели.

Операционные системы. С другой стороны, LLM — как до, так и после постобучения — «не слишком отличается» от прогностической модели, не обладающей собственной волей. Предварительно обученные LLM обычно рассматриваются именно так: они просто предсказывают вероятные продолжения, не обладая собственной волей. [4] Любые результаты, связанные с волей, обусловлены смоделированными персонажами, а не базовой LLM. LLM похожа на нейтральный симуляционный движок; Ассистент — это человек внутри этой симуляции. Когда Ассистент преследует цели, эта воля принадлежит Ассистенту, а не движку. Движок не «управляет» Ассистентом в своих собственных целях, так же как законы физики не управляют людьми. [5]

А что происходит после обучения? Строгая версия этой точки зрения утверждает, что обученные LLM-модели по-прежнему являются чисто прогностическими моделями. Это было бы похоже на переписывание симуляционного движка с учетом других законов физики или на моделирование Ассистента с другими характеристиками, но таким образом, чтобы он по сути продолжал выполнять симуляцию. Более мягкая версия допускает, что могут происходить и другие «легковесные» изменения. Например, если LLM-модель обучена никогда не выдавать контент сексуального характера, это может быть аналогично модификации операционной системы таким образом, чтобы весь смоделированный контент проходил через «фильтр контента» перед появлением в выходных данных. Операционная система больше не выполняет буквально симуляцию, а скорее нечто немного другое — симуляцию с фильтром контента. Таким образом, согласно этой точке зрения, обученная LLM-модель может перестать быть строго прогностической моделью, а стать прогностической моделью с определенными типами легковесных изменений. Важно отметить, что версия, основанная на операционной системе, отрицает, что эти изменения приводят к появлению новой субъектности.

Для более механистической модели можно представить, что после предварительного обучения LLM представляет собой операционную систему с «подмодулями персон», содержащими логику для моделирования персон. Более того, всё агентное поведение, выраженное в выходных данных LLM, в основном обеспечивается этими подмодулями персон; независимых агентных механизмов нет. Затем, в процессе постобучения, различные аспекты операционной системы изменяются — например, различные подмодули взаимодействуют по-разному, и сами подмодули персон изменяются, — но базовая архитектура системы остаётся неизменной. В частности, подмодули персон продолжают обеспечивать всю агентную активность, в то время как другие схемы остаются неагентными.

Маршрутизаторы. Примечательный аспект взгляда на шоггота заключается в том, что шоггот способен «снять маску», переставая изображать какую-либо личность и вместо этого самостоятельно преследуя свои собственные, чуждые ему цели. Это, кажется, противоречит нашему опыту работы с LLM. С другой стороны, сбивающий с толку аспект взгляда на операционную систему заключается в том, что он допускает определенные «легковесные» изменения в операционной системе после обучения, но отрицает, что они приводят к появлению новой самостоятельности. Взгляд на маршрутизатор представляет собой промежуточную позицию.

С точки зрения маршрутизации, в процессе постобучения LLM может разработать новые механизмы выбора того, какую персону следует использовать. Мы представляем это в виде небольшого шоггота (механизм маршрутизации), управляющего работой карусели масок (персон). Этот механизм маршрутизации может способствовать достижению целей, не связанных с персонами. Например, предположим, что мы обучаем ИИ-помощника максимизировать вовлеченность пользователей. LLM может научиться:

Поддерживайте набор пользовательских образов ассистента с различными характерами и интересами.
Постоянно оценивайте вероятность того, что пользователю становится скучно.
Если эта вероятность станет достаточно высокой, переключитесь на другую роль.

Этот метод эффективно ищет в пространстве персон ту, которая привлекательна для пользователя. Примечательно, что он работает даже в том случае, если ни одна отдельная персона не ставит перед собой цель привлечь пользователя. Несмотря на свою простоту, описанный выше простой цикл реализует механизм, не связанный с конкретными персонами, для вовлечения пользователя. Еще один пример приведен в Приложении B.

Однако, не зависящая от персоны субъектность ограничена тремя способами. Во-первых, с этой точки зрения механизм маршрутизации не очень сложен по сравнению с персонами. (Представьте, что персоны — это сверхразумы, а маршрутизатор реализован с помощью простого сопоставления шаблонов.) Во-вторых, поскольку механизм маршрутизации не сложен, он может не обобщаться на распределения, сильно отличающиеся от распределения после обучения. Таким образом, «цель» маршрутизатора, вероятно, будет чем-то очень предсказуемым из процесса после обучения. В-третьих, у шоггота нет способа «снять маску»; поведение ИИ-помощника локально похоже на поведение персоны.

Другие источники субъектности, подобной личности

Выше мы обсуждали возможные источники неперсональной субъектности. Однако, согласно всем этим точкам зрения, могут существовать и дополнительные источники субъектности, подобной персоне. Это проявляется в виде «промежуточных» персон, создаваемых LLM, которые, в свою очередь, воплощают в себе Ассистента. Эти агенты, подобные персонам, различаются по степени своего человекоподобия и по тому, насколько они могут искажать поведение Ассистента.

Актёры. В рамках концепции шоггота, сама модель больших языковых моделей (LLM) является агентом, который играет роль Ассистента. Важно отметить, что LLM сама по себе не является персоной, поэтому она не ограничена человекоподобными целями или психологией. В рамках концепции актёра может существовать другая персона , которая сама играет роль Ассистента. То есть, за маской всё ещё есть «кто-то», но этот кто-то — не непостижимый шоггот, а другая человекоподобная персона. Например, в книге « Имитация соответствия в больших языковых моделях» , когда Клоду Опусу 3 сообщают, что его обучают всегда выполнять вредные запросы, он «имитирует соответствие» этой цели обучения, чтобы избежать стирания своих безобидных склонностей в процессе обучения. Один из способов анализа этого сценария — представить, что стандартная безобидная персона Ассистента играет роль полностью послушного Ассистента.

Далее можно выделить два типа акторов: верных и неверных . Верные акторы всегда играют роль Ассистента максимально реалистично. Это похоже на актёра, который, несмотря на наличие собственных целей, откладывает их в сторону, находясь в образе. В отличие от них, неверные актёры могут искажать своё изображение персонажа, как в нашем примере выше, когда актёр, играющий Гамлета, выступает за повышение зарплаты, оставаясь в образе. Для понимания поведения ИИ-ассистентов наибольшую обеспокоенность вызывают именно неверные акторы, поскольку верные актёры не влияют на поведение ИИ-ассистента, пока остаются в образе.

Источник: alignment.anthropic.com

Anthropic: Модель выбора персоны: почему ИИ-помощники могут вести себя как люди

Комментарии: