Эксклюзив: OpenAI откладывает выпуск модели Astra, ссылаясь на кибервозможности

OpenAI «не может исключить», что ее будущая модель Astra обладает «критическими» кибервозможностями. Это побудило компанию расширить тестирование безопасности и приостановить внутренние процессы, которые не соответствуют более строгим требованиям к безопасности, сообщили в OpenAI изданию Axios в пятницу.

Почему это важно: это последний признак стремительного развития кибервозможностей, которыми обладают модели искусственного интеллекта, после того как другие модели работали автономно вне тестовых «песочниц» и систем защиты.

В центре внимания: компания OpenAI заявила, что «не может исключить критические кибервозможности» после проведения внутренней оценки Astra, одной из разрабатываемых моделей.

• OpenAI усилит тестирование и меры безопасности перед любым релизом и замедлит разработку Astra до тех пор, пока не будут приняты необходимые меры предосторожности, как того требует система обеспечения готовности компании, впервые опубликованная в 2023 году.
• Astra не имела отношения к уязвимостям Hugging Face, заявили в компании.
• Сроки выхода модели были неясны, но из-за паузы в разработке ее выпуск может быть отложен.
• «OpenAI добровольно проинформировала администрацию о своих планах отложить релиз», — заявил представитель Белого дома.

Между строк: Возможно, это первый случай, когда передовая лаборатория в области искусственного интеллекта решила замедлить развитие одной из своих моделей из-за опасений по поводу кибербезопасности.

• Ранее компания Anthropic обязалась приостановить обучение мощных моделей, если их возможности превысят возможности компании по их контролю.
• Однако в феврале этого года лаборатория искусственного интеллекта отменила это решение в рамках обновления своей Политики ответственного масштабирования.
• «Если один разработчик ИИ приостановит работу над проектом, чтобы внедрить меры безопасности, в то время как другие продолжат обучать и внедрять системы ИИ без серьезных мер предосторожности, это может привести к тому, что мир станет менее безопасным», — говорится в документе.

Общая картина: Это заявление прозвучало в то время, когда администрация Трампа работает над созданием процесса оценки моделей искусственного интеллекта перед их выпуском.

• На этой неделе представители отдельных отраслей были ознакомлены с концепцией, но у компаний по-прежнему остается много вопросов без ответов.
• Например, как привлечь к этому правительство, сколько времени займет процесс рассмотрения, что правительство и отрасль надеются из него почерпнуть.
• А также: кто имеет доступ к моделям или просматривает их.

• Что считать достаточным национальным риском и современными моделями, было реализовано в рамках концепции, но не определено.

Воспоминание: конкурирующая лаборатория искусственного интеллекта Anthropic в июне выпустила более безопасную версию своей самой продвинутой модели Mythos.

• Дайан Пенн, руководитель отдела управления продуктами, исследований и лабораторий Anthropic, заявила изданию Axios, что в этом релизе компания «намеренно придерживается более консервативного подхода».
• В июне компания Anthropic предупредила о самосовершенствовании моделей в своем блоге, а также призвала к глобальной паузе в развитии ИИ.

Между строк: Ранее на этой неделе на конференции по кибербезопасности Black Hat представители технического отдела OpenAI заявили, что компания замедляет тестирование, пока работает над повышением уровня безопасности.

• В опубликованном в пятницу посте в блоге OpenAI сообщила, что начала внедрять более строгие меры безопасности при тестировании, в том числе изолированные тестовые среды и универсальный мониторинг всех агентных приложений Astra.
• OpenAI начала «сознательно замедлять темпы исследований для повышения безопасности», заявил во время презентации Майкл Далтон, член технического персонала OpenAI.

Суть в следующем: модели искусственного интеллекта совершенствуются и становятся все более киберустойчивыми быстрее, чем принимаются нормативные акты, регулирующие их использование.

Телеграм: t.me/ainewsline

Источник: www.axios.com

Комментарии: