OpenAI создала команду по изучению критических угроз ИИ, вплоть до ядерной

OpenAI объявила о создании новой команды под названием Preparedness («боеготовность»), которая сосредоточится на исследовании потенциальных «катастрофических рисков», связанных с моделями искусственного интеллекта (ИИ).

Миссия команды под руководством Александра Мадри, директора Центра развертываемого машинного обучения Массачусетского технологического института, заключается в мониторинге, прогнозировании и защите от опасностей, создаваемых новыми системами ИИ. Сюда входят такие угрозы, как фишинговые электронные письма, создание вредоносного кода и даже более экстремальные сценарии, такие как химические, биологические, радиационные и ядерные риски.

Генеральный директор OpenAI Сэм Альтман выразил обеспокоенность по поводу того, что ИИ может привести к вымиранию человечества. Формирование команды боеготовности отражает стремление компании устранить эти риски. Альтман также заявил, что OpenAI открыта для изучения «менее очевидных» областей риска ИИ.

Компания пригласила людей поделиться своими опасениями: десять лучших заявок получат денежный приз в размере 25 000 долларов США или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Альтман и Илья Суцкевер, главный учёный и соучредитель OpenAI, полагают, что ИИ с сознанием, превосходящим человеческое, может появиться в течение следующего десятилетия. Однако они признают неопределенность, связанную с доброжелательностью такого ИИ. Поэтому OpenAI считает крайне важным изучить способы ограничения потенциальных рисков, связанных с передовыми системами ИИ.

Создавая команду боеготовности, OpenAI стремится активно устранять потенциальные катастрофические угрозы, исходящие от ИИ. Уделяя особое внимание исследованиям, оценке и разработке политики, компания предпринимает шаги для обеспечения безопасной и ответственной разработки моделей ИИ.

Источник: vk.com

Комментарии: