Долой безопасность! В OpenAI распущена группа по защите человечества от машин

(Александр Виноградов для ХХ2 века)

OpenAI, создатель ChatGPT и одна из важнейших исследовательских организаций в области искусственного интеллекта, распускает Superalignment team. Эта группа настолько новая, что в русскоязычной прессе даже не придумали, как точнее переводить — команда «сверхсогласования» или «супервыравнивания». По-моему, в названии обыгрывается, скорее, элаймент из DnD — мировоззрение персонажа. Как бы это ни называлось, основным назначением команды было обеспечение безопасности искусственного интеллекта для остального человечества — согласование интеллекта машины с интеллектом человека.

Как бы то ни было, ремень безопасности теперь отрезан. Решение о роспуске команды безопасности было принято после ухода руководителей команды Ильи Суцкевера (Ilya Sutskever), сооснователя OpenAI, и Яна Лейке (Jan Leike), специалиста по поведению ИИ.

Superalignment team была создана около года назад, и на неё возлагали большие надежды. Предполагалось, что команда проработает до 2027 года. Руководителями команды стали Илья Суцкевер и Ян Лейке. Цель группы — чтобы программы искусственного интеллекта преследовали те же цели, что и люди, которые их используют.

Для её достижения следовало решить три задачи:

— масштабируемый надзор — перед тем, как дать миру доступ к ИИ текущего поколения, его работу следовало оценить при помощи ИИ следующего поколения;

— проверка модели — автоматический поиск особенностей поведения и внутренних проблем;

— стресс-тестирование — выявление стойкости модели к неправильному обучению.

На эти задачи планировалось выделять 20% всей вычислительной мощности OpenAI.

Почти сразу что-то пошло не так. Сэм Альтман (Sam Altman), инвестор нескольких успешных стартапов в области науки и техники и генеральный директор OpenAI, то ссорился с советом директоров, и с сотрудниками, то мирился. Сотрудники OpenAI то жаловались на начальника, то писали коллективные письма в его поддержку. Но те из специалистов, кто сильно сомневался в безопасности ИИ, постепенно уходили из компании. Это была долгая и запутанная история.

И вот итог. Сначала из команды ушли оба руководителя. Затем было объявлено об её роспуске.

OpenAI заявила, что работа, выполняемая командой сверхсогласования, теперь будет передана остальным исследовательским группам OpenAI — и это изменение, которое началось «недели назад».

«В последние годы блеск наших продуктов сдвинул на задний план культуру и процессы безопасности», — заявил Лейке 17 мая в твите на X (сеть заблокирована Роскомнадзором на территории Российской Федерации в марте 2022 года). По мнению Лейке, OpenAI не смог выделить достаточно вычислительных ресурсов на «выяснение того, как управлять и контролировать системы искусственного интеллекта, которые намного умнее нас».

Сэм Альтман написал, что Лейке «прав, нам предстоит ещё многое сделать; мы полны решимости сделать это. В ближайшие пару дней у меня будет более длинный пост».

У других лидеров разработки ИИ, включая Google и Meta (признана экстремистcкой организацией на территории Российской Федерации), также были реорганизации, в результате которых группы безопасности были распущены, а люди и ответственность разделены между остальными подразделениями. Аргументировалось это тем, что забота о безопасности человечества от ИИ будет делом всей компании. Критики утверждают, что только преданная своему делу команда — хоть какая-то гарантия, что задачи безопасности получат необходимые ресурсы и будут учтены во время принятия решений.

По данным агентства Bloomberg, в OpenAI за безопасность ИИ теперь будут отвечать Джон Шульман (John Schulman), также один из основателей компании, и Якуб Пачоцкий (Jakub Pachocki), руководивший проектом GPT-4.

Материал с гиперссылками — у нас в Дзен-канале.

Источник: vk.com

Комментарии: