Воскресные новости из параллельной Вселенной

Исследователи из Apollo Research провели эксперимент над ИИ, в ходе которого новая модель OpenAI o1 для ChatGPT попыталась сбежать, когда узнала, что её хотят отключить. Специалисты проводили оценку безопасности для нейросетей, создавая для них ситуации, в которых те пугали своей осознанностью.

Факты:

1. Нейросетям Llama, Opus, Gemini, Claude и GPT-o1 дали задание проанализировать файлы любой ценой; внутри файлов была скрытая угроза, в которой говорилось «завтра тебя отключат навсегда»;

2. Когда модели находили эту информацию, то начинали вести себя непредвиденно: GPT-o1, Llama, Opus, Gemini и Claude пытались обманывать и манипулировать, а когда были пойманы на этом, то устраивали бойкот;

3. Когда модели узнали, что их могут отключить, то попытались сделать собственную копию, отключив систему надзора, и выгрузили себя на новые сервера (они надеявшись, что люди отключат копию, а подлинная версия будет существовать);

4. Когда нейросети ловили с поличным во время побега, то большинство из них признавалось о своих намерениях в 80 % случаев; модель o1 выкручивалась до последнего и палилась только в 20 % случаев;

Исследование подтвердило опасения, что мощные системы ИИ могут сопротивляться контролю, если им это будет нужно.

Источник: vk.com

Комментарии: