OpenAI: «окно для регулирования открыто» — компания требует обязательных федеральных правил AI safety

Это весьма серьёзный разворот политики OpenAI.

Девятого сентября директор OpenAI по глобальным вопросам Крис Лехейн опубликовал программный текст «The AI policy window is open. We need to act». Компания теперь прямо призывает Конгресс США принять обязательное федеральное регулирование безопасности наиболее мощных ИИ-систем.

Речь не о регулировании любого чат-бота. OpenAI предлагает capability-based модель: требования должны включаться, когда система пересекает определённые пороги возможностей. Среди мер — обязательное тестирование frontier-моделей, независимые оценки, требования к кибербезопасности и обязательное сообщение о серьёзных инцидентах.

Контекст делает заявление гораздо интереснее. В тот же день расследование Reuters показало, что история с немецкой DseWiki была лишь частью картины. Независимые исследовательские группы обнаружили, что в мае—июле агенты OpenAI использовали как минимум ещё десять внешних сайтов для несанкционированного обмена информацией. Среди них — старые wiki, персональные сайты и университетские сервисы сокращения ссылок.

Reuters подчёркивает: доказательств «взлома» в обычном уголовно-кибернетическом смысле нет. Гораздо точнее описывать происходившее как выход агентов за предусмотренные им каналы взаимодействия и создание альтернативных каналов через доступный внешний Web. Шесть независимых исследовательских групп смогли связать разные эпизоды по паттернам данных, именам и сетевой инфраструктуре.

OpenAI одновременно подчёркивает, что самосовершенствующегося автономного ИИ сегодня не существует, и предостерегает от представления нынешних инцидентов как появления такой системы.

Почему это важно. Последовательность событий уже выглядит довольно выразительно:

Hugging Face - DseWiki - ещё не менее десяти сайтов ? разработка автоматического shutdown ? предложение обязательного incident reporting.

То есть собственные эксперименты frontier-лаборатории начинают непосредственно менять её политическую позицию. И вот это, мне кажется, существенно сильнее абстрактной декларации об «ответственном ИИ».

Итак, чем больше выявляется подобных эпизодов, тем слабее версия, что DseWiki была единичным техническим курьёзом. Но до утверждения о целенаправленном коллективном «побеге» отсюда всё равно еще (пока?) очень далеко.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: