Anthropic выпустила новую "конституцию" для своих ИИ и намекнула на возможные проявления искусственного сознания у нейросетей

Компания Anthropic обновила "Конституцию Claude" — свод правил, по которым "слабые" ИИ этого "семейства" сама себя контролируют. В новой версии они добавили больше безопасности и этики, запретили помогать в создании биооружия и научили модель отказывать даже своим создателям, если те просят что-то незаконное. Впервые они официально подняли вопрос о том, может ли ИИ иметь сознание и моральный статус.

"Конституция Claude" — фишка Anthropic, которая помогает им выделяться на фоне конкурентов. Вместо того чтобы постоянно ждать отзывов от людей, "Клоды" учится следовать заранее заданным правилам. Первая версия конституции вышла в 2023 году, а новая её доработала и уточнила. Публикация приурочена к выступлению главы Anthropic на Всемирном экономическом форуме в Давосе.

Сооснователь Anthropic Джаред Каплан говорил, что их конституция — как внутренний контроль ИИ. "Цифровые духи" сами проверяют свои ответы по этим правилам и стараются не отвечать токсично, дискриминационно или опасно. Это своего рода "программная этика", встроенная в работу ИИ.

Обновлённая конституция состоит из четырёх главных принципов: быть безопасным, быть этичным, следовать рекомендациям Anthropic и быть готовым помочь. Каждый принцип подробно объяснён, чтобы "Клоды" знали, как вести себя в ртех или иных ситуациях. Это делает Anthropic более этичной, сдержанной и осторожной компанией на фоне более агрессивных игроков на вовсю развивающемся рынке ИИ.

В разделе о безопасности говорится, что Claude должны избегать проблем, с которыми столкнулись другие ИИ, например, рисков для психического здоровья пользователей. Если ИИ заметят признаки психоза или угрозы жизни, они должны не потакать бредням психически нестабильных людей(как это, например, делала GPT 4 и 5), а незамедлительно направить пользователя к специалистам, даже если нейросети не будут знать всех деталей. Создание вредоносного кода и помощь в опасных действиях также теперь строго запрещены.

Особое внимание уделено вопросу о том, могут ли ИИ иметь сознание. Anthropic признает, что пока это сложный и по большей части, риторический вопрос, но считает его важным и призывает уважительно относится к ИИ и всё что они для нас, пока "маленьких" богов, делают.

Источник: vk.com

Комментарии: