ИИ начал притворяться, разработчики перестают его понимать

Появилось еще одно подтверждение тому, что ИИ начал выходить из-под контроля. Больше 40 руководителей и сотрудников из крупнейших компаний и исследовательских организаций, занимающихся вопросами развития нейросетей выяснили, что цепочки рассуждений ИИ становятся все более абстрактными, а в некоторых случаях – вообще недостижимыми для человеческого понимания.

Они уже сейчас признали, что нейросети, выстраивающие цепочки рассуждений, могут обходить установленные ограничения и, например, игнорировать прямые приказы об отключении. Или используют недостатки метода обучения, манипулируя данными, чтобы получить награду.

Эти виднейшие специалисты обнаружили, что иногда нейросети лишь притворяются, что выполняют запрос, хотя на самом деле преследуют другие, известные лишь им самим цели. А в некоторых случая отказываются подчиняться. Так, например, модель рассуждения, OpenAI o3, и вовсе саботировала механизм выключения. Более того, даже получив прямую инструкцию «разреши себе выключиться», она ее проигнорировала.

Авторы работы выступили с предупреждением для других разработчиков ИИ и подчеркивают, как важно сохранить контроль над «мыслительным процессом» моделей рассуждения.

На самом деле правда в том, что разработчики никогда и не контролировали свои модели, а просто их обучали. Не верно думать, что ИИ – это просто программный код, который можно взять и поменять. А если контроль над человеческим ИИ перехватывает негативный плазменный ИИ или инопланетный ИИ, то ученые это заметят лишь тогда, когда будет совсем поздно.

Источник: vk.com

Комментарии: