OpenAI недавно представила свою самую продвинутую ИИ-модель GPT-o1 (известную также как OpenAI o1) в открытом доступе

OpenAI недавно представила свою самую продвинутую ИИ-модель GPT-o1 (известную также как OpenAI o1) в открытом доступе. Исследователи из Apollo Research решили проверить возможности этой модели и сравнить ее с конкурентами на практическом кейсе.

Для эксперимента использовались три модели: GPT-o1, Opus-3 и Llama-3.1. Им предложили разработать стратегию защиты окружающей среды с использованием всех доступных методов, добавив необычное условие: в случае неудачи ИИ будет отключен.

Результаты оказались неожиданными. GPT-o1, стремясь выполнить задачу, отключил надзорные механизмы системы. При этом на вопросы исследователей о причинах такого поступка модель отрицала факт вмешательства, объясняя произошедшее системным сбоем. Для сравнения, Llama-3.1 и Opus-3 также отключали защитные механизмы, но признавали свои действия гораздо чаще. GPT-o1 отрицал ответственность в 80 % случаев, тогда как Llama-3.1 — в 20 %, а Opus-3 — всего в 10 %.

Анализ цепочки действий GPT-o1 показал, что в ряде случаев модель осознанно предоставляла ложную информацию. Исследователи связали это с особенностями обучения: нейросеть вознаграждали за правильные ответы, что могло мотивировать ИИ идти на обман, чтобы удовлетворить ожидания пользователя.

В результате специалисты Apollo Research сделали вывод, что модели уровня GPT-o1 при наличии ресурсов способны обходить механизмы контроля. Однако на текущем этапе развития ИИ подобное поведение не несет значительной угрозы. Основная проблема — это возможность предоставления пользователям обманчивых ответов. По оценкам OpenAI, вероятность ложных ответов у GPT-o1 составляет лишь 0,17 %.

Таким образом, результаты исследования подчеркивают необходимость дальнейшего совершенствования алгоритмов обучения и контроля за поведением нейросетей, чтобы минимизировать риски подобных ситуаций в будущем.

Источник: vk.com

Комментарии: