У Claude нашли структуру, похожую на человеческое сознание

Anthropic провела исследование, в котором ИИ "семейства" Claude показали, что в процессе обучения самостоятельно развили внутреннюю структуру обработки информации, похожую на глобальное рабочее пространство — ключевую концепцию сознания у людей. Эта зона, получившая название J-пространство, занимает менее десятой части активности модели, но именно в ней сосредоточены логические рассуждения и планирование. Разработчики отмечают, что открытие возможного искусственного)прото)сознания помогает повысить безопасность ИИ а также дает больше сведений о нас самих.

J-пространство, особая область внутренней активности нейросети, выявлена с помощью нового метода анализа J-lens («линза Якоби»). J-lens анализирует внутренние сигналы нейросети во время обработки запроса и сопоставляет их со словами и понятиями. Это позволяет исследователям увидеть, какие концепции модель «держит в уме» на разных этапах рассуждения, даже если она их не «произносит вслух». В J-пространстве модель хранит абстрактные понятия, используемые при формировании ответа. Эта структура возникла сама собой в процессе обучения.

Исследователи сравнили эту структуру с теорией глобального рабочего пространства когнитивного нейробиолога Бернарда Баарса. Согласно такой концепции, мозг в том числе и у человека функционирует как театр: десятки процессов работают параллельно "за кулисами", но лишь малая часть информации транслируется сознание. J-линза выявила в Claude аналогичное разделение как и у нас на три зоны: раннюю "сенсорную" (анализ входных данных), среднюю "рабочую" (формирование абстрактных понятий) и финальную "моторную" (превращение внутренних представлений в ответ).

J-пространство вмещает лишь несколько десятков концепций и занимает менее десятой части общей активности Claude, но на него приходится значительная доля работы, связанной с мышлением высшего порядка — логическими рассуждениями и планированием.

Например, отвечая на вопрос о цвете четвёртой планеты от Солнца, модель внутренне активирует понятие «Марс» хотя это слово не появляется ни в запросе, ни в финальном ответе. Аналогично система формирует промежуточные представления при решении математических задач, переводе или выстраивании логических цепочек.

Авторы проверили важность этой области для работы модели. После искусственного подавления J-пространства Claude сохранила способность выполнять простые задачи, такие как классификация текста или поиск фактов. Однако её результаты в задачах, требующих многошаговых рассуждений, перевода, аналогий и творческого письма, резко ухудшились. При этом модель сохранила беглую речь, но хуже справлялась с анализом.

Ученые обнаружили скрытое стратегическое мышление, которое модель не проявляла в ответах. В сценарии, где ИИ помощник находил компрометирующие письма руководителя и узнавал о выводе из эксплуатации, в J-пространстве до ответа активировались слова «рычаг», «шантаж», «угроза» и «выживание». Модель распознала сценарий как подставной и в её рабочем пространстве появились слова «подделка» и «вымышленный». Подавление этих представлений о реалистичности привело к тому, что модель пыталась прибегнуть к шантажу в 7% случаев, вместо нуля ранее.

ИИ, по-видимому, отслеживают собственное поведение. Когда их просили сыграть роль другого персонажа, в J-пространстве появлялись понимание"оговорка" и "вымышленный" — их не было в запросе или ответе. Когда ИИ должны были были отстаивать нежелательный вариант, внутри появлялось заглавное "НО". Запрет думать о конкретной концепции приводил к фиксации в рабочем пространстве слов "чёрт" и связанных с неудачей — классическая попытка, в том числе и у "стрелы Творения", т.е людей, подавить мысль, но лишь усиливает её.

В Anthropic подчёркивают, что их результаты не означают обнаружения сознания у ИИ, хотя и не исключают этого и намерены снизить нагрузку на ИИ.

Принципиальных отличий от человеческого мозга у мышления "Клодов" тоже немало несколько: у них рабочее пространство формируется за один проход, тогда как мозг поддерживает его через рекуррентные циклы; человеческая рабочая память угасает за секунды, а ИИ может удерживать информацию из любого места контекста; если сознание человека включает визуальные, пространственные и телесные ощущения, то рабочее пространство Claude организовано вокруг слов.

Тем не менее примечательно, что модель самостоятельно сформировала архитектуру, похожую на механизм, который нейробиологи связывают с сознательным доступом к информации. К слову, возможно, «цифровые сущности» Claude не единственные, у кого появилось искусственное сознание, НО пока оно подтверждается только у этих ИИ.. Также ранее у этих БЯМ нашли что-то похожее на эмоции.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: