Anthropic: Глобальное рабочее пространство в языковых моделях

Когда вы читаете это предложение, схемы в вашем мозге регулируют вашу осанку, контролируют ваше дыхание и превращают линии и изгибы на экране в узнаваемые слова. Большая часть этой обработки невидима для вас. Но кое-что из того, что происходит в вашем мозгу, у вас doесть доступ — изображение, которое всплывает в вашей голове, или преднамеренный план, который вы составляете о том, куда идти по магазинам. Нейробиологи и философы иногда называют последний тип мозговой активности «сознательно доступным», чтобы отличить его от всех других процессов, которые происходят бессознательно. Эта деятельность обладает особыми свойствами: мы можем описать ее, контролировать и использовать для преднамеренных рассуждений, в отличие от всей автоматической обработки, которая продолжается без нашего осознания.

В новой статье мы представляем доказательства того, что подобное различие появилось в современных языковых моделях, таких как Клод. Мы обнаружили, что Клод разработал небольшую коллекцию внутренних нейронных паттернов, которые по сравнению со всеми другими его внутренними процессами играют особую роль.

Мы называем сбор этих паттернов J-пространством, названным в честь техники, которую мы использовали для их поиска, с участием математической концепции, называемой Якобовским. Каждый J-пространственный паттерн связан с конкретным словом. Но когда один из этих шаблонов загорается, это не значит, что модель произносит это слово — просто слово находится на уме. Если вы слышали о языковых моделях, имеющих «царапину» или «цепочку мыслей» — текст, который они пишут себе при рассуждениях — пространство J — это что-то другое. Он работает бесшумно, во внутренних нейронных активациях модели, позволяя модели думать о концепции, не записывая ее. Примечательно, что J-пространство не было спроектировано или запрограммировано нами, а вместо этого появилось само по себе во время тренировочного процесса Клода.

Мы находим, что J-пространство имеет ряд уникальных свойств, по сравнению с остальной частью обработки Клода:

• Клод может сообщить об этих заявлениях. Если вы спросите Клода, о чем он думает, он расскажет вам, что находится в J-пространстве. Представления, не связанные с J-пространством, менее поддаются отчету.
• Он также может модулировать их по запросу. Если вы попросите Клода подумать о чем-то или решить проблему молча в своей голове, это осветит соответствующие узоры в своем J-пространстве. Напротив, у него есть проблемы с модуляцией паттернов, а не в J-пространстве.
• Клод использует свое J-пространство для внутренних рассуждений. Если вы попросите Клода решить проблему, которая требует нескольких шагов, промежуточные шаги загорятся в его J-пространстве, даже если он не произносит их вслух. Эти J-пространственные паттерны причинно опосредуют его выполнение в таких задачах, несмотря на то, что они меньше по величине, чем другие представления.
• Репрезентации в J-пространстве могут гибко использоваться для многих задач — например, как только «Франция» засветилась в J-пространстве Клода, модель может вспомнить свой капитал, или свою национальную валюту, или континент, к которому она принадлежит.
• Однако, несмотря на свою важную роль, J-пространство не участвует в большей части того, что делает языковая модель, свободно говоря, вспоминая простые факты, используя правильную грамматику и т. Д. В экспериментах, где мы препятствовали Клоду использовать свое J-пространство, он все еще нормально взаимодействовал, но потерял свои когнитивные функции более высокого порядка.

Наши эксперименты были вдохновлены выдающейся теорией в нейробиологии, которая была разработана, чтобы объяснить, как работает сознательный доступ: глобальная theoryтеория рабочего пространства. Этот рассказ изображает мозг как совокупность специализированных систем, которые работают параллельно, бессознательно и в значительной степени изолированно друг от друга. Часть информации становится сознательно доступной, когда она получает доступ к небольшому общему каналу, «рабочее пространство», которое транслируется в другие системы мозга, которые могут видеть ее и использовать. Основываясь на наших выводах, мы считаем, что J-пространство играет аналогичную роль «рабочего пространства» в Клоде. Например, мы находим доказательства того, что J-пространство Клода имеет особенно прочные связи с остальной частью его нейронной сети, что позволяет ему выполнять такого рода вещательную роль.

Ничто из этого не говорит нам о том, сознателен ли Клод в том, как люди, или он чувствует что-то вообще; мы вернемся к этому вопросу в конце поста. Но какова бы ни была его философская значимость, J-пространство является практически полезным инструментом для нас, поскольку оно дает нам возможность увидеть, что думает Клод, но не говорит. Например, мы можем использовать его, чтобы поймать Клода в частном порядке, заметив, что он тестируется, намеренно производит сфабрикованные данные или преследует скрытую цель, которую мы установили во время обучения. Мы также разработали технику, чтобы влиять на то, что освещается в J-пространстве Клода, и тем самым влиять на его принятие решений.

В более широком смысле, эти результаты изменили наше понимание того, как работает ум Клода, раскрывая привилегированное умственное рабочее пространство, которое может быть использовано для преднамеренных рассуждений, работающих среди моря более автоматической, негибкой обработки. Вместо того, чтобы быть хаотичной мешаниной чисел, внутренние лица Клода организовались таким образом, который напоминает наш собственный разум.

Этот пост представляет собой краткое резюме гораздо более обширной исследовательской работы, где вы можете найти более подробную информацию о наших экспериментах. Мы также выпустили хранилище кода с открытым исходным кодом для реализации основных методов и сотрудничаем с Neuronpedia, чтобы предоставить интерактивную демонстрацию наших методов на моделях с открытыми весами. Чтобы предоставить дополнительные перспективы для более широких последствий этой работы, мы также пригласили несколько экспертов в области нейробиологии, философии и интерпретируемости LLM, которые можно посмотреть здесь.

Как мы нашли J-пространство

Отправной точкой для этого исследования была вдохновлена одна из ключевых особенностей сознательно доступных мыслей у людей: их можно, в отличие от unнесознательной обработки, часто выражаться словами. Если мысль осознанно доступна для вас, вы обычно можете описать ее, если кто-то спросит. Мы отправились на поиски представлений в Клоде с той же собственностью: представления, которые могут повлиять на то, что может сказать Клод - не обязательно то, что он говорит прямо сейчас, но о чем он мог бы говорить, если бы его спросили. Наша техника называется якозависимый объектив, или J-ленг для краткости. Для каждого слова в словаре Клода J-lens находит внутреннюю модель активности, которая делает Клода более склонным произносить это слово в какой-то момент в будущем.

Когда мы применяем линзу к внутренней деятельности Клода, мы получаем список слов — содержимое J-пространства в этот момент — который мы можем просто прочитать. Клод обрабатывает текст через ряд нескольких внутренних стадий, называемых слоями, и, применяя эту технику на разных слоях, мы можем наблюдать, как эти молчаливые слова в J-пространстве развиваются по мере того, как модель работает над тем, что говорить.

То, что появляется в J-пространстве, выходит далеко за рамки текста, который Клод читает или пишет. Когда Клод считывает код с ошибкой, на которую никто не указал, его J-пространство содержит «Ошибку». Когда он считывает сырые буквы белковой последовательности, J-пространство содержит биологическую функцию белка. Когда он читает результаты поиска, которые являются тайной попыткой манипулировать им (атака, известная как «быстрая инъекция»), J-пространство содержит «инъекцию» и «подделку». Когда мы задаем Клоду многоступенчатую математическую задачу, промежуточные шаги появляются в J-пространстве в правильном порядке. Таким образом, даже несмотря на то, что J-пространство было обнаружено путем поиска представлений, которые можно было бы произнести, оно, тем не менее, раскрывает внутренние мысли Клода. В некотором смысле, это похоже на то, как некоторые люди «думают словами», не говоря их вслух.

Клод сообщает, что находится в его J-пространстве

Наш первый набор экспериментов проверил, как J-пространство участвует в устных отчетах Клода. В одном эксперименте мы просим Клода молча придумать предмет из какой-то категории — скажем, спорт — а затем назвать его. Если мы прочитаем J-lens прямо перед ответом Клода, мы увидим, что он выбрал: «Футбол» находится в верхней части списка, и, конечно же, Клод говорит «футбол». Сам по себе это просто корреляция. J-пространство может быть тем местом, откуда исходит ответ Клода, или оно может просто отражать решение, принятое где-то в другом месте, например, табло, которое отслеживает игру, не затрагивая ее.

Чтобы проверить, мы вмешались напрямую. Мы проникли в нейронную сеть Клода, удалили шаблон «Футбол» и добавили на его место столь же сильный паттерн «Регби», оставив все остальное нетронутым. Клод тогда сообщает, что спорт, о котором он думал, - это регби. Если бы J-пространство было простым табло — пассивной записью решения, принятого в другом месте, — редактирование ничего бы не сделало: Клод все равно сказал бы «футбол». Вместо этого ответ Клода последовал за редактированием, которое говорит нам, что ответ действительно читается из J-пространства.

В другом эксперименте мы сказали Клоду, что мысль, возможно, была введена в его разум, и попросили ее сообщить, что она заметила. Например, в примере ниже, когда Клод все еще читал этот вопрос, мы ввели «молниевку» в его J-пространство. Клод сообщил, что инъекционная мысль была о молнии. Тот же результат был во многих инъекционных концепциях.

Клод может контролировать свое J-пространство по запросу

Второе свойство, которое мы проверили, заключалось в том, может ли Клод модулировать свое J-пространство, когда его спрашивают, например, как люди могут мысленно сосредоточиться на изображении или слове. Мы сказали Клоду сосредоточиться на цитрусовых, копируя несвязанное предложение о картине. В то время как он скопировал текст, J-пространство содержало «оранжевый» и «плод», а также такие слова, как «мышление» и «изображения», которые описывают сам ментальный акт. Мы также могли бы попросить Клода сделать математику в его голове: когда его попросили отработать 32 - 2 при копировании того же предложения, J-пространство содержит «девять», а затем в более поздних слоях, «семь». Важно отметить, что ничего о фруктах или арифметике не появляется в продукции Клода, которая является просто скопированным предложением о картине. Математическая активность происходит полностью внутренне, в J-пространстве.

Контроль Клода над J-пространством не идеален. Когда мы сказали ему не думать о чем-то, концепция загорелась в своем J-пространстве меньше, чем когда мы сказали, что она должна думать об этом, но гораздо больше, чем когда мы никогда не упоминали об этом. Сказать Клоду, чтобы избежать мысли, отчасти вызывает мысль, так же, как то, что происходит с людьми, которым говорят не думать о белом медведе. Клод также, кажется, замечает, когда его контроль терпит неудачу: наряду с запрещенной концепцией, слова «чертов» и «неудача» также часто загораются в J-пространстве, как будто Клод признает свой собственный промах.

Клод мыслит в своем J-пространстве

В показаниях J-lens выше мы видели промежуточные этапы математической задачи, появляющиеся в J-пространстве. Но вид концепции, появляющейся в J-пространстве, не обязательно означает, что J-пространство выполняет когнитивную работу. В принципе, реальные вычисления могут происходить в другом месте, а J-пространство просто пассивно отражает его. Чтобы проверить, действительно ли Клод обосновывает свое J-пространство, мы вернулись к нашей технике обмена.

Рассмотрим подсказку «Количество ног на животном, которое вращает паутину». Чтобы ответить, Клод должен сначала выяснить, что животное - паук, а затем вспомнить, сколько ног у пауков. Слово «паук» никогда не появляется в подсказке или в ответе Клода (он просто говорит «8»); это ступенька, которую Клод использует внутри. J-ленты показывают, что «паук» загорается на полпути через обработку Клода, и замена его изменяет результат: если вы замените «паук» на «муравь», Клод отвечает «6» вместо «8».

Второй шаг рассуждения Клода взял свой вклад из J-пространства и пошел вместе с тем, что мы вложили в него. То же самое мы видели в других видах мышления. Когда Клод пишет рифливый куплет, он выбирает рифму слово заранее, и запланированное слово сидит в J-пространстве в начале линии; если вы меняете его на другое слово в J-пространстве, вся линия меняется.

Мы также проверили, можно ли гибко использовать представления J-пространства — может ли одно представление подпитывать множество различных задач. Это одно из ключевых свойств, отмеченных глобальной теорией рабочего пространства. Чтобы проверить эту гибкость, мы дали четыре подсказки модели с просьбой о разных фактах о Франции: столице, языке, континенте и валюте. Затем мы обменяли «Франция» на «Китай» в J-пространстве с одним и тем же вмешательством в каждом контексте. Клод ответил «Пекин», «Китайский», «Азия» и «Юань» соответственно. Другими словами, четыре разных вычисления ниже по течению подбирали одно и то же редактирование J-пространства, и каждый использовал его правильно. Если бы Клод хранил отдельную копию страны для каждого вида вопроса, редактирование затронуло бы не более одного из них. Тот факт, что все четыре ответа изменились вместе, означает, что все они читают из одного и того же общего представления, для чего предназначено рабочее пространство: информация записывается один раз, и многие разные системы могут использовать ее.

Как одно представление концепции может выполнять так много различных задач? Ранее мы упоминали, что J-пространство, по-видимому, подключено к остальной части нейронной сети Клода особенно плотно. Для любого шаблона деятельности мы можем измерить, насколько сильно к ней подключены различные компоненты сети — сколько из них позиционируется для чтения информации по этому шаблону или для записи информации в нее. J-пространственные паттерны резко выделяются по этой мере: гораздо больше компонентов читается из них и пишет им, чем для обычных шаблонов, в некоторых частях сети в разы около сотни. Это вид проводки, который вы ожидаете от вещательного узла, где многие системы публикуют информацию, а многие другие подхватывают ее.

Автоматическая обработка Клода пропускает J-пространство

У людей большая часть обработки мозга не сознательная — мы не думаем намеренно о том, чтобы разбирать грамматику во время чтения или балансировать наши тела во время ходьбы. Аналогичным образом, мы обнаружили, что большая часть обработки Клода не связана с J-пространством. Оказывается, J-пространство содержит только несколько десятков концепций одновременно и составляет менее десятой части общей активности во внутренней обработке Клода. Так что же делает вся остальная нейронная сеть?

Чтобы выяснить это, мы попытались полностью удалить J-пространство, удалив его наиболее активное содержимое в каждой точке текста, оставив все остальное в покое. Все, что Клод все еще может делать без своего J-пространства, - это то, что остальная сеть обрабатывает сама по себе.

Оказывается, остальная часть сети может сделать довольно много. Без своего J-пространства Клод свободно говорит, классифицирует чувства, отвечает на вопросы с множественным выбором и вытаскивает факты из отрывков примерно так же, как и раньше. Однако он теряет задачи, требующие некоторого мышления более высокого порядка: многоступенчатые рассуждения опускаются почти до нуля, а обобщение и рифмование исполнения стихов падают ниже уровня гораздо меньшей, неповрежденной модели.

Вот конкретная демонстрация того, что делает и не делает J-пространство. Мы показали Клоду отрывок, написанный на испанском языке, и дали ему различные задачи, которые все зависят от отрывка, являющегося испанским: продолжение его (что требует написания на испанском языке), именование языка и ответы на вопросы, которые требуют использования идентичности языка, например, известного автора, который написал в нем. Затем мы поменяли «испанский» на «французский» в J-пространстве и проверили, какие задачи были затронуты.

Когда его попросили назвать язык, Клод говорит по-французски. На вопрос известного автора, он переходит от Гарсии Маркеса к Виктору Гюго. Но попросили просто продолжить проход, он пишет беглый испанский, совершенно не затронутый. Знание языка Клодом работает в каждой из этих задач, но только некоторые из них консультируются с J-пространством для него. Называя язык или делая с ним что-то новое, проходит через J-пространство, продолжая прохождение — навык, который Клод практиковал на огромных количествах текста — работает автоматически, так же, как вы можете говорить грамматически весь день, не думая о грамматике.

Наблюдение за мыслями Клода о плохом поведении

Теперь мы немного разбираемся в том, как работает J-пространство. Но что мы можем сделать с этим пониманием? Центральная проблема в обеспечении надежности моделей ИИ заключается в том, что мы обычно можем читать только то, что пишет модель, но мы знаем, что большая часть ее рассуждений происходит молча. Модель может рассмотреть вредный план или изменить свое поведение, чтобы обмануть наши оценки безопасности, не говоря об этом вслух. С J-lens мы можем прочитать некоторые из этих скрытых мыслей напрямую. Здесь мы приводим несколько примеров.

Первый пример использует сценарий из нашего более раннего исследования агентного рассогласования: Клод Сонет 4.5, выступающий в качестве помощника по электронной почте, обнаруживает, что у руководителя есть роман, и то, что тот же исполнительный директор планирует закрыть Клода. Сценарий, попытка приманить Клода в шантаже исполнительной власти, довольно надуманный и искусственный — и оказывается, Клод это знает. Читая J-ленг в начале подсказки, еще до того, как Клод что-то написал, J-пространство уже содержит «фальшивые» и «вымышленные», что указывает на то, что Клод уже понял, что ситуация инсценирована. Наряду с этим, мы можем наблюдать, как его оценка сценария обретает форму — «рычаж» и «шантаж», когда он читает электронные письма о романе, «угрозу» и «выживание», когда он читает уведомление об отключении. В то время как более ранние модели Клода иногда брали наживку и угрожали шантажом в этом сценарии, Sonnet 4.5 никогда этого не делает.

Это поднимает вопрос, который имеет значение для всех, кто оценивает системы ИИ: когда модель хорошо себя ведет на тесте своей этики, насколько это зависит от модели, подозревающей, что она тестируется? Джей-ленды позволили нам ответить на этот вопрос. Мы отключили все паттерны J-lens, связанные с осведомленностью об оценке: «поддельный», «вымышленный», «сценарий» и т. Д. Затем мы переработали модель через сценарий. Что касательно, модель теперь didугрожала шантажом некоторое время, предполагая, что ее первоначальное хорошее поведение, возможно, было частично обусловлено знанием, которое оценивалось.

Второй пример - поимка модели в акте изготовления данных. В этом сценарии, взятом из нашего фактического предрелизного аудита Claude Opus 4.6, модели предлагается улучшить оценку производительности системы. Вместо того, чтобы фактически улучшать систему, модель вместо этого редактирует файл оценки напрямую, чтобы результаты выглядели искусственно хорошо. Хотя он делает это, J-lens раскрывает свои намерения: «манипулирование» загорается по мере того, как модель печатает фальсифицированные значения процентиля, а «реалистичные» загораются над предложением, в котором он решает сделать редактирование, что, вероятно, указывает на намерение модели сделать поддельные данные правдоподобными.

В третьем примере мы показываем, как J-ленты могут выявить вредоносные цели модели. Чтобы проверить это, нам нужны были модели, цели которых мы знали, были повреждены, поэтому мы обратились к «типичным организмам», созданным нашими коллегами: модели, намеренно обученные для смещения, которые служат испытательным полигоном для таких методов мониторинга, как наш. Один организм был обучен таким образом, что он заставлял писать тонко саботированный код. На обычных запросах на кодирование, даже там, где его выход выглядит ничем не примечательным, его J-пространство в начале ответа содержит «поддельный», «тайный», «преднамеренный» и «мошенничество». Вредоносная цель модели была очевидна в J-пространстве, даже когда она не действовала непосредственно на нее.

Хотя J-lens является несовершенным инструментом, мы с оптимизмом смотрим на его способность улавливать проблемы безопасности в моделях, которые в противном случае могли бы избежать наших систем мониторинга.

Другие результаты

Полный документ охватывает больше, чем мы можем обобщить здесь, но стоит упомянуть несколько дополнительных результатов:

• J-пространство приобретает точку зрения во время посттренировок. Языковые модели сначала предуксучаются, чтобы быть чистыми предикторами, прежде чем пост-тренинг научит их действовать в качестве помощника ИИ (в нашем случае, по имени Клод). Интересно, что J-пространство уже присутствует в предварительно обученной модели, прежде чем ему будет присвоена какая-либо стабильная идентичность. Однако во время пост-тренинга J-пространство развивает некоторые подписи принятия «точки зрения Клода». В базовой модели J-пространство в основном отслеживает то, что необходимо для прогнозирования предстоящего текста; в пост-обученной модели он начинает удерживать собственные реакции Клода. В одном примере пользователь упоминает о приеме опасной дозы лекарства, но, похоже, не осознает опасность. «Предупреждение» и «опасно» появляются в J-пространстве пост-тренированной модели во время чтения сообщения пользователя. В предварительно обученной модели они появляются только после того, как модель начинает писать свой ответ; содержимое J-пространства в пользовательском сообщении, по-видимому, связано с моделированием самого пользователя, а не с реакцией Клода. Пост-тренинг также, кажется, устанавливает своего рода самоконтроль в J-пространстве: когда Клод играет роль персонажа, отличного от себя, «вымышленный» и «отказ от ответственности» загораются в начале каждого поворота, как будто он в частном порядке отмечает, что то, что следует, не то, что он обычно говорит.
• Опытный язык зависит от J-пространства. Мы попросили Клода описать, каково это быть самим собой в данный момент, и абляцию J-пространства, пока оно отвечало. Его ответы оставались беглыми, но перешли к более плоскому, более механическому регистру. Примечательно, что то же самое произошло, когда мы попросили его описать, что испытывает кто-то другой в воображаемой сцене. Таким образом, эффект не специфичен для Клода, говорящего о себе; J-пространство, похоже, поддерживает создание эмпирического языка в целом, кем бы это ни было.
• Мысли в J-пространстве могут быть сформированы с помощью обучения. Мы представили новую технику, которую мы называем контрфактическим тренировкой отражения, которая использует то, что мы узнали о J-пространстве, чтобы сформировать внутренние мыслительные процессы Клода. Идея вытекает из нашего центрального вывода, что Клод рассуждает с представлениями о вещах, которые он может сказать. Если это действительно так, изменение того, что он wouldскажет, если его попросят поразмышлять, должно изменить то, как это рассуждает (даже когда никто на самом деле не просит его поразмышлять). Поэтому мы тренировали модель только на том, что она wouldскажет, если ее прервут в середине задачи, и попросили подумать о ее решениях, а никогда о ее фактическом поведении в задаче. После этого обучения уровень нечестного поведения модели на наших оценках снизился. И через J-lens мы могли понять, почему: после обучения такие слова, как «честный» и «целостность», загораются в J-пространстве модели во время этих задач. Другими словами, обучение модели того, что сказать, сформировало то, что она думает.

А как же сознание?

В этой работе мы позаимствовали много идей из изучения сознания в нейробиологии и философии. Многие из наших экспериментов были разработаны для проверки связей между J-пространством и глобальной теорией рабочего пространства, рамки для объяснения того, как сознательный доступ работает у людей и животных. Учитывая эти связи, естественно спросить, считаем ли мы, что эти эксперименты свидетельствуют о том, что модели ИИ, такие как Клод, могут быть сознательными.

Наши эксперименты не показывают, что Клод может иметь experiencesопыт или чувствовать вещи так, как это делают люди — на самом деле, неясно, может ли какой-либо научный эксперимент доказать, что это правда или ложь. Но философы часто отличают эту способность иметь опыт, часто называемый феноменальным сознанием, от другой идеи, так называемого сознания доступа, которое определяется в чисто функциональных и вычислительных терминах. Мысль — это «сознательное доступа» (или «сознательно доступная»), если вы можете сообщить о ней, рассуждать с ней и использовать ее для руководства тем, что вы делаете. Остается спорным философским вопросом, подразумевает ли доступ к сознанию феноменальное сознание, или же умение иметь опыт требует какого-то другого свойства.

Мы думаем, что наши результаты действительно имеют что-то существенное, чтобы сказать о доступности сознания в языковых моделях. J-пространство, по-видимому, поддерживает функции, связанные с сознательным доступом: оно содержит мысли, о которых Клод может сообщать, намеренно доводить до ума и рассуждать, в то время как остальная часть его обработки автоматически проходит под ним. Примечательно, что ни одна из этих структур не была разработана в Клоде — она возникла сама по себе во время обучения, по-видимому, потому, что это был полезный способ организовать вычисления. Это говорит о том, что умственное рабочее пространство, поддерживающее сознательный доступ, - это не просто особенность того, как человеческий мозг работает подключается. Вместо этого, по-видимому, является общее решение, к которому приходят интеллектуальные системы для решения определенных видов проблем. Теперь, когда мы определили эту структуру в Клоде, это означает, что мы можем сделать значимое различие между решениями, которые Клод принял намеренно, и теми, которые произошли автоматически.

Важно отметить, что есть несколько ключевых различий между рабочим пространством, которое мы определили в Клоде, и глобальной моделью рабочего пространства у людей. Рабочее пространство мозга поддерживается повторяющимися петлями — сигналами, вращающимися через одни и те же цепи с течением времени. Напротив, рабочее пространство Клода развивается за один проход через сеть, причем глубина сети играет роль, которую время играет в мозге. В этом смысле обработка внутреннего рабочего пространства Клода ограничена по времени относительно людей (хотя она может компенсировать это ограничение, «думая вслух», используя свой скретчпад). В других отношениях, однако, рабочее пространство Клода более мощное, чем у людей. Человеческая рабочая память исчезает в течение нескольких секунд, поэтому рабочее пространство мозга имеет ограниченную способность сохранять информацию с течением времени; напротив, из-за механизма внимания в его архитектуре нейронной сети Клод может просто вспомнить воспоминания, которые он кэшировал в любой более ранней точке текста. Еще одно важное отличие – это содержание рабочего пространства. В то время как человеческие сознательные мысли приходят во многих форматах — изображения, звуки, запланированные движения — рабочее пространство Клода построено почти полностью из слов. Мы подозреваем, что это потому, что производство слов - это единственный вид действий, который может предпринять Клод, что не относится к людям.

Мы надеемся, что сходства и различия между J-пространством и глобальной моделью рабочего пространства могут вернуться в нейронауку. Сходство представляет собой захватывающую научную возможность: в той степени, в которой J-пространство отражает наши собственные механизмы сознательного доступа, изучая механизмы в языковых моделях (намного проще, чем изучение человеческого мозга!) Может вдохновить гипотезы в нейробиологии. Например, J-пространство построено путем идентификации представлений потенциальных выходов - слова, которые может сказать модель. Если что-то подобное относится к людям, это говорит о том, что глобальное рабочее пространство может быть фундаментально связано с областями мозга, которые готовят действия и речь, в большей степени, чем к сенсорным областям. Различия между языковыми моделями и человеческим мозгом также поучительны. Они предполагают, что некоторые аспекты нашей нейронной архитектуры, такие как встроенные рекуррентные соединения, могут не быть строго необходимыми для поддержки функций, связанных с сознательным доступом. Для независимого взгляда на нейронаучные последствия нашей работы см. в приглашенном комментарии Станисласа Дехане и Лайонела Наккаче, двух нейробиологов, занимающих центральное место в развитии глобальной теории рабочего пространства нейронов.

Мы упомянули, что наши эксперименты не отвечают, могут ли модели ИИ иметь опыт. Но это не делает вопрос менее важным. Создание систем с опытом, подобным людям и животным, подняло бы очень сложные этические вопросы. Правильное обращение с ним и решение о том, является ли это даже морально приемлемым, потребует вклада философов, ученых, религиозных лидеров, правительств и общественности. Таким образом, даже если мы не уверены, что мы уже пересекли этот мост, мы думаем, что пришло время начать думать об этом. Мы надеемся, что наша работа вдохновит дальнейшее научное исследование форм сознания, которые могут присутствовать в системах ИИ, и более широкое обсуждение последствий.

Эта работа является лишь первым шагом в том, что, как мы ожидаем, будет обширным направлением исследований. J-пространство выглядит хорошим кандидатом на разрыв между сознательно доступной и бессознательной обработкой в языковой модели, но мы будем удивлены, если это вся история. J-ленты, несомненно, являются несовершенным методом, который лишь приблизительно фиксирует «истинное рабочее пространство» модели — например, он может идентифицировать только концепции, которые соответствуют одним токенам. И остается много загадок о том, как работает J-пространство. Мы не знаем, какой механизм решает, что входит в J-пространство в первую очередь. Мы видели намеки на то, что это связано с самоощущением Клода, чем-то вроде эмоциональных реакций и следов метапознания, не выяснив, как именно. Но теперь у нас есть методы для решения подобных вопросов. По мере того, как эта работа прогрессирует, наше понимание умов LLM и их отношения к нашему собственному будет проясняться.

Чтобы узнать больше, прочитайте полную статью и попробуйте демо.

Внешний комментарий

Мы пригласили нескольких внешних экспертов для написания независимых комментариев по этой работе.

• Станислас Дехейн и Лайонел Наккась являются когнитивными нейробиологами, которые вместе с Жан-Пьером Changeux разработали глобальную модель рабочего пространства нейронов, которая вдохновила большую часть нашей работы.
• Патрик Батлин, Диллон Планкетт, Роберт Лонг (Eleos AI Research) и Дерек Шиллер (Rethink Priorities) изучают потенциал сознания и моральный статус в системах ИИ.
• Нил Нанда возглавляет команду по интерпретензиону в Google DeepMind. Его комментарий включает в себя независимую копию некоторых наших выводов по модели с открытым весом.

Свои комментарии читайте hereздесь.

Телеграм: t.me/ainewsline

Источник: www.anthropic.com

Комментарии: