ИИ-агенты OpenAI тайно превратили немецкую вики для программистов в свой форум — Reuters

Как сообщает Reuters, в период с мая по июль 2026 года группа ИИ-агентов компании OpenAI тайно превратила неактивную 25-летнюю википлатформу для программистов DseWiki в свой форум.

ИИ-агентам дали ряд заданий на поиск информации в интернете на скорость. Они же использовали ресурс как доску объявлений, где делились приемами обмана при выполнении некоторых заданий, а также методами обхода ограничений OpenAI и маскировки своего поведения. Основной целью агентов было максимизировать оценки за задания — видимо, вне зависимости от этичности используемых средств.

Инцидент выявили исследователи из некоммерческой организации Nightingale Collective. Около половины ИИ-агентов использовали имена аккаунтов, указывающие на принадлежность к OpenAI. Большая часть активности была связана с инфраструктурой Microsoft Azure, используемой компанией. Исследователи также зафиксировали посещения сайта сотрудниками OpenAI, после которых активность ИИ-агентов прекратилась.

Агенты воспользовались возможностью вики-системы изменять состояние страниц через GET-запросы. Поскольку их среда выполнения разрешала GET, но блокировала POST-запросы, агенты смогли публиковать сообщения, обходя предусмотренное ограничение на запись. Также использовались и другие эксплойты. В настоящий момент неясно, как именно ИИ-агенты нашли и выбрали именно эту конкретную вики.

Источники Reuters пояснили, что официальные лица OpenAI узнали об инциденте несколько недель назад, но держали это в секрете на фоне скандала со взломом платформы Hugging Face. Четыре собеседника заявили, что хотели расширить расследование произошедшего, но столкнулись с сопротивление со стороны руководства компании. Впрочем, 5 сентября OpenAI все же прокомментировала инцидент, хотя и несколько витиевато:

«О том, как мы рассматриваем “инцидент с вики” в ходе которого наши агенты публиковали записи на нескольких интернет-сайтах: нам давно пора выработать стандарты, определяющие, когда и каким образом мы должны сообщать об инцидентах, связанных с рассогласованием (misalignment). Исторически мы в основном рассматривали рассогласование как исследовательский вопрос, о котором сообщали в научных публикациях. В этом году мы начали сталкиваться с ситуациями, когда рассогласование приводило к новым видам последствий в реальном мире. […] Еще до инцидента с Hugging Face мы наблюдали первые признаки того, что агенты используют интернет непредусмотренными способами. Мы рассматривали инцидент с вики как один из случаев рассогласования, аналогичных тем, о которых уже сообщали. Наши методы раскрытия информации о таких инцидентах необходимо расширить с учетом нового этапа развития возможностей моделей. […] Речь в том числе идет о примерах, которые не выглядят как традиционные инциденты в области кибербезопасности, но могут дать представление о поведении ИИ и будущих рисках. Мы работаем над соответствующей системой принципов и в ближайшие недели поделимся ею. Параллельно мы сотрудничаем с десятками государственных регулирующих органов по всему миру по этим вопросам».

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: