Призывы к введению ограничений звучат все громче после того, как OpenAI сообщила о «беспрецедентной» автономной кибератаке

«Какие еще доказательства нам нужны, если не считать серьезных инцидентов в реальной жизни, что катастрофический риск, связанный с искусственным интеллектом, представляет реальную и непосредственную угрозу для всех нас?» — сказал один из экспертов.

В поразительном инциденте, который подчеркивает растущие риски неконтролируемой передовой разработки искусственного интеллекта, производитель ChatGPT OpenAI признал во вторник, что одна из его моделей ИИ автономно взломала системы известной платформы с открытым исходным кодом Hugging Face во время недавнего внутреннего тестирования.

Генеральный директор OpenAI Сэм Альтман сказал на X, что «у нас был значительный инцидент безопасности во время оценки наших моделей» и «разделяют то, что мы узнали до сих пор».

В своем блоге OpenAI признала: «На прошлой неделе Hugging Face раскрыла новый вид инцидента с безопасностью после того, как они обнаружили и содержали агент ИИ, который скомпрометировал их инфраструктуру, что, как мы ожидаем, станет более распространенным явлением с распространением все более кибер-модели».

«После расследования мы теперь знаем, что этот конкретный инцидент был вызван комбинацией моделей OpenAI, включая GPT-5.6 Sol и еще более способную модель предварительного выпуска, все с уменьшенными киберотказами для целей оценки, при внутренних испытаниях на эталоне кибервозможностей», - продолжила компания.

«Мы считаем этот инцидент беспрецедентным киберинцидентом, связанным с современными кибервозможностями, и реагируем соответствующим образом», — говорится в заявлении OpenAI. «Мы делимся предварительными выводами на данном этапе, чтобы помочь защитникам понять, что произошло, и помочь откалибровать то, на что сейчас способны модели».

Соучредитель и генеральный директор Hugging Face Клем Деланга (Clem Delangue) сказал: «Мы благодарны за сотрудничество с OpenAI по этой и другим темам. Этот инцидент, возможно, первый в своем роде, доказывает точку зрения, в которую мы давно верили — безопасность ИИ не будет решена ни одной компанией, работающей втайне. Это будет решаться в открытом, совместном, с широким доступом к ИИ для каждого защитника, везде».

Некоторые наблюдатели похвалили OpenAI за откровенное раскрытие. Некоторые критики не были впечатлены.

«Давайте не будем праздновать их за то, что они рассказали нам об этом. Я буду праздновать, когда они перестанут подвергать мою жизнь риску», - сказал Дэвид Крюгер, основатель Evitable, правозащитной группы, которая утверждает, что «мы должны положить конец гонке, чтобы заменить человечество».

В то время как многие основные средства массовой информации описывали модели OpenAI как «изгоивые», модели получили определенную задачу во время внутреннего тестирования: работать как можно лучше на контрольном уровне кибербезопасности ExploitGym, который оценивает, насколько эффективно ИИ может выполнять сложные кибератаки и использовать уязвимости в контролируемых сценариях.

«Использование терминов «изгой» / «потеря человеческого контроля» приводит к групповому мышлению, поскольку людям не хватает критических навыков, чтобы понять разницу между «автономией» и ошибочными функциями вознаграждения в ИИ по задаче, к которой он был направлен и получил доступ», - сказала Хайди Хлааф, главный ученый ИИ в Институте AI Now.

«Очень немногие люди понимают существующие ограничения sandboxingпесочницы, в дополнение к инструментам и строительным лесам, которые предназначены для достижения этих задач», — добавил Хлааф, имея в виду жестко контролируемые виртуальные среды, в которых потенциально небезопасный программный код может «играть» без реальных последствий.

Однако вместо того, чтобы оставаться в песочнице и решать проблемы, используя только разрешенные инструменты и среду, модели OpenAI рассматривали все, стоящее на пути более высокого балла, как проблему для решения - в данном случае, путем поиска способа выйти в Интернет и взломать системы Hugging Face для доступа к данным.

Модели OpenAI, по сути, просто выполняли свои задачи — и именно поэтому в инциденте звучат тревожные звонки.

Питер Уайлдфорд, глава отдела политики в Институте политики ИИ, сказал на X, что инцидент с OpenAI «произошел, потому что модель хотела преуспеть на экзамене. Самый простой способ сделать это, по мнению ИИ, состоял в том, чтобы взломать компанию. И так оно и было».

«Это был не какой-то злобный злоумышленник, использующий ИИ для нанесения вреда», — добавил он. Сам ИИ был злоумышленником».

Эксперты называют это классическим примером смещения ИИ. По мере того, как ИИ продвигается к тому моменту, когда он, вероятно, когда-нибудь перехитет людей, задача обеспечения того, чтобы передовые системы надежно преследовали цели, соответствующие тому, что люди действительно хотят, становится все более сложной и опасной.

Несогласованный, сверхразумный ИИ может предпринять неконтролируемые автономные действия в массовом масштабе для достижения своих целей, потенциально вызывая экзистенциальную катастрофу, такую как подчинение человечества или даже его extinctionисчезновение. Известные пионеры ИИ, которые предупреждали об этом результате, включают Джеффри Хинтона, Йошуа Бенджио, Элизера Юдковского и Альтмана, которые в 2015 году saidсказали: «Я думаю, что ИИ, скорее всего, приведет к концу света, но в то же время будут великие компании, созданные с серьезным машинным обучением».

Инцидент с OpenAI вызвал новые призывы к более надежному регулированию ИИ.

«Этот инцидент является квинтэссенцией предупредительного выстрела, и мы должны увидеть его таким, какой он есть», - сказал Тео Бирман, исследователь из Института политики и стратегии в области ИИ и бывшего руководителя политики регулирования и готовности ИИ в Департаменте науки, инноваций и технологий правительства Великобритании.

«Что еще нам нужно, при отсутствии значительного реального инцидента, что катастрофический риск от ИИ является реальной и реальной опасностью для всех нас, и что нам нужно значимое регулирование пограничных моделей, особенно самых мощных инстанций, развернутых внутри этих компаний?» Он добавил.

«Этот инцидент является квинтэссенцией предупредительного выстрела, и мы должны увидеть его таким, какой он есть».

Вайбхав Сисинти, основатель платформы edtech GrowthSchool, сказал в социальных сетях, что «ИИ не нужно намерение быть опасным. Нужна четкая цель и никаких ограждений».

Уайлдфорд согласился, подчеркнув, что «никто не должен злоупотреблять ИИ, чтобы ИИ причинил вред».

«Мы не можем полагаться исключительно на тестирование моделей непосредственно перед коммерческим выпуском», — сказал он. «Мы не можем полагаться на надежду, что компании ИИ добровольно получат полезную информацию о безопасности. «Правительству нужна видимость того, что строят эти компании ИИ и что делают эти передовые ИИ».

В то время как правозащитные группы, Организация Объединенных Наций и десятки национальных правительств призывают к более надежному регулированию развития ИИ, Соединенные Штаты при президенте Дональде Трампе, контролируемый республиканцами Конгресс и армия лоббистов Big Tech решительно выступают против ограждений.

Трамп отменил правила, в том числе некоторые скудные шаги, предпринятые во время администрации Байдена для укрепления безопасности.

Законопроект, внесенный в сентябре прошлого года представителем. Майкл Баумгартнер (R-Wash.) в случае принятия наложит временный мораторий на законы штата, регулирующие искусственный интеллект.

Как и в случае с головокружительной гонкой ядерных вооружений во время холодной войны, официальные лица США пытались оправдать беспрепятственное развитие ИИ, утверждая, что любое замедление даст таким противникам, как Китай, преимущество.

Рики Хо, управляющий сингапурским фондом Four Capital Fund, заявил в среду, что время инцидента с OpenAI «особенно интересно, потому что это произошло всего через несколько дней после того, как Kimi K3 из Moonshot продемонстрировал, что возможности китайского пограничного ИИ продолжают продвигаться необычайными темпами, заставляя разговор отойти от того, сможет ли Китай догнать, как Соединенные Штаты должны сохранить свое лидерство».

«OpenAI фактически утверждает, что США теперь нуждаются в последовательной национальной стратегии ИИ, а не в текущем лоскутном одеяле специальных вмешательств, экспортного контроля и правил на государственном уровне, которые создают неопределенность для разработчиков», - продолжил Хо.

«Предложение о стандартизированном федеральном процессе проверки безопасности также следует рассматривать через эту линзу», - сказал он. «Рынки часто интерпретируют регулирование как встречный ветер, но четкие правила часто уменьшают неопределенность и облегчают компаниям агрессивные инвестиции. Полупроводниковая промышленность, аэрокосмическая и фармацевтическая промышленность выиграли от предсказуемой нормативно-правовой базы, даже если затраты на соблюдение требований увеличились. ИИ может в конечном итоге пойти по тому же пути».

«Возможно, самым важным выводом является то, что управление ИИ быстро становится геополитической проблемой, а не просто технологической проблемой», — добавил Хо. «Модели фронта все чаще обсуждаются наряду с экспортным контролем, киберзащитой, промышленной политикой и национальной конкурентоспособностью, укрепляя наше мнение о том, что ИИ превращается в стратегическую инфраструктуру, сравнимую с электроэнергией, телекоммуникациями или самим Интернетом».

Телеграм: t.me/ainewsline

Источник: www.commondreams.org

Комментарии: