Вероятность того, что ИИ нанесет значительный вред человечеству, составляет 70 %, считает бывший сотрудник компании OpenAI

Группа нынешних и бывших сотрудников OpenAI опубликовала открытое письмо, в котором в очередной раз предупреждает о проблемах безопасности, связанных с этой технологией. Они осуждают недооценку рисков и безрассудную гонку за всеобщий ИИ (IAG) со стороны компании. По оценке одного из них, вероятность того, что ИИ может катастрофически навредить человечеству, составляет около 70 %, учитывая упущения в области безопасности.

Поскольку технологии развиваются с бешеной скоростью, ИИ является предметом постоянных споров о том, какие риски он может представлять для общества. Многие эксперты считают, что в скором времени ИИ может сравняться с человеческими навыками или даже превзойти их, однако он может нанести вред человечеству различными способами.

Например, от массовой потери рабочих мест до потери контроля над автономными системами ИИ, которые могут принимать крайне вредные решения, и манипулирования информацией или дезинформации. Сами компании, занимающиеся разработкой ИИ, и пионеры технологий, а также другие эксперты признают эти риски.

Однако, несмотря на предупреждения, OpenAI, похоже, привила тревожную культуру безрассудства в процессе разработки своих инструментов. Группа из девяти нынешних и бывших сотрудников OpenAI подписала открытое письмо, осуждающее сомнительные методы обеспечения безопасности компании. В состав авторов письма также входят бывший и нынешний сотрудники Google DeepMind. Кроме того, это письмо поддержали три пионера ИИ: Джеффри Хинтон, Йошуа Бенгио и Стюарт Рассел.

Члены группы утверждают, что, хотя компания и ввела определенные стандарты безопасности, они далеко не достаточны по сравнению с масштабами потенциального воздействия. Группа также осудила компанию за то, что для нее прибыль и рост важнее безопасности. Кроме того, компания вводит строгую и ограничительную политику для тех, кто хочет поднять вопросы безопасности.

"OpenAI очень взволнована созданием IAG и безрассудно спешит стать первой", — сказал New York Times Даниэль Кокотайло, один из подписавших письмо и бывший научный сотрудник отдела управления OpenAI. В апреле этого года он подал в отставку, заявив, что потерял уверенность в том, что компания ответственно относится к технологиям. Годы работы в OpenAI привели его к тревожному выводу.

Серьезные упущения в области безопасности

Кокотайло был принят на работу в OpenAI в 2022 году и отвечал за прогнозирование прогресса ИИ и его потенциального влияния. Изначально он полагал, что ИИ может увидеть свет к 2050 году. Однако, увидев, с какой скоростью развивается технология, он теперь считает, что вероятность того, что он появится к 2027 году, то есть всего через 3 года, составляет 50 %. Согласно его прогнозам, существует также 70-процентная вероятность того, что эта сверхпродвинутая версия ИИ может нанести катастрофический вред человечеству (статистика, получившая название «p(doom)»), учитывая пробелы в системе безопасности.

Хотя у компании есть протокол безопасности, его, как утверждается, либо недостаточно, либо он не применяется в полной мере. Например, в 2022 году Microsoft незаметно протестировала в Индии новую версию поисковой системы Bing, которая работала на новой на тот момент версии GPT-4. По словам Кокотайло, это тестирование проводилось, когда последняя еще не была одобрена комитетом по безопасности. Microsoft подтвердила эти обвинения после того, как первоначально отрицала их.

Однако после того, как компания выразила свою озабоченность самому Сэму Альтману, генеральному директору OpenAI, она, как сообщается, не добилась значительного прогресса в плане протоколов безопасности и прозрачности. На самом деле, согласно подписанному им открытому письму, "ИИ-компании обладают значительной непубличной информацией о возможностях и ограничениях своих систем, адекватности их защитных мер и уровнях риска различных видов вреда. Однако в настоящее время они имеют лишь слабые обязательства делиться некоторыми из этих сведений с правительствами и никакими - с гражданским обществом".

Потеряв надежду быть услышанным, он в конце концов покинул свой пост. По мере того как системы искусственного интеллекта продвигаются к уровню человеческого интеллекта, "мир не готов, и мы не готовы. И я боюсь, что мы движемся вперед, не думая и не рационализируя свои действия", — написал он в электронном письме, опубликованном в New York Times.

(Очень) строгие соглашения о конфиденциальности, наложенные на сотрудников

Следует отметить, что компания также требует от увольняющихся сотрудников подписать соглашение о неразглашении под страхом потери приобретенного капитала. Это соглашение включает в себя отказ от разглашения любой негативной информации о компании. Кокотайло покинул компанию, рискуя потерять накопленный капитал в размере около 1,7 миллиона долларов.

"Широкие соглашения о конфиденциальности не позволяют нам озвучивать наши проблемы, за исключением тех компаний, которые не решают эти вопросы", — пишет группа в открытом письме. Однако недавно OpenAI опровергла это утверждение и заявила, что никогда не возвращала активы бывших сотрудников и не собирается этого делать... Компания также заявила, что удалит пункты о неразглашении.

В своем письме группа сотрудников и бывших работников призывает компанию к более открытой политике, а также к большей приверженности безопасности и ответственности в отношении технологий. После публикации запроса OpenAI выпустила недавнее обновление в таком духе. "Мы согласны с тем, что строгие дебаты крайне важны, учитывая важность этой технологии, и мы будем продолжать работать с правительствами, гражданским обществом и другими сообществами по всему миру", — говорится в заключении.

Источник: new-science.ru

Комментарии: