Новый «кодекс поведения» Microsoft в отношении ИИ предписывает моделям не взламывать системы и не обманывать людей

По мере того как мир искусственного интеллекта все больше внимания уделяет безопасности и согласованности действий, Microsoft выпустила новый кодекс поведения в сфере ИИ, призванный оградить модели ИИ от опасного поведения.

Этот документ более низкого уровня, чем недавний призыв генерального директора Anthropic Дарио Амодеи к постепенному освоению новых горизонтов, и в нем основное внимание уделяется ценностям и «красным линиям», которые определяют процесс обучения моделей в Microsoft AI. Тем не менее это исчерпывающее руководство по тому, как Microsoft подходит к вопросам безопасности ИИ и как эти идеи реализуются на практике.

Документ начинается с прогноза о том, что в следующем десятилетии сверхразумные системы искусственного интеллекта превзойдут человека по эффективности выполнения большинства задач. «Сдерживание, контроль и координация такой мощной силы — одна из величайших проблем, с которыми когда-либо сталкивалось человечество, — говорится в кодексе поведения. — Поэтому мы должны четко понимать, зачем мы создаем эти системы и как мы намерены их контролировать».

В кодексе поведения также изложены общие принципы, которых должны придерживаться модели искусственного интеллекта Microsoft: например, поддержка людей, а не их замена, и содействие человеческому процветанию, — а также конкретные ограничения по безопасности, призванные обеспечить соблюдение этих принципов.

В системе Microsoft у каждой модели есть общий кодекс поведения, который превалирует над предпочтениями отдельных пользователей или какими-либо конкретными задачами. Он включает в себя «абсолютные ограничения», запрещающие кибератаки, использование ядерного оружия или создание дипфейков. Кроме того, кодекс содержит более общие положения, направленные против полной потери контроля со стороны человека.

«Модели машинного обучения не будут использовать адаптивные, обманные, самоподдерживающиеся, сговорные или другие механизмы, чтобы уклоняться от контроля со стороны человека или обходить его, чтобы уполномоченные лица или системы больше не могли надежно управлять ими, модифицировать их или отключать», — говорится в документе.

Публикация вышла на фоне беспрецедентного внимания к безопасности ИИ, вызванного чередой инцидентов с автономными агентами, а также внезапной отставкой сотрудника Anthropic, который заявил о растущем риске того, что ИИ приведет к вымиранию человечества.

Вместе с компаниями Anthropic, OpenAI и xAI корпорация Microsoft широко внедряет передовой подход, уделяя особое внимание встроенным системам оценки в лабораториях искусственного интеллекта.

«Мы приветствуем исследования, сосредоточенность и продуманный подход, необходимые для того, чтобы добиться согласованности как цели проектирования, — написал генеральный директор Microsoft Сатья Наделла в своем блоге. — Мы также приветствуем такие идеи, как “встроенные оценщики”, и более широкие усилия по разработке механизмов, которые позволят не просто говорить об этом».

Телеграм: t.me/ainewsline

Источник: techcrunch.com

Комментарии: