Недавно вышла научная статья, где доказали: GPT-4.5 прошла настоящий, классический тест Тьюринга

Сразу важное уточнение: может показаться, что ИИ давно уже умеют "прикидываться людьми", и вообще этот тест устарел. Но нет — это первое серьёзное исследование, где проверили ИИ в классическом, оригинальном формате теста Тьюринга, а не в каких-то упрощённых версиях.

Что за «классический» тест Тьюринга?

В нём участвуют трое: человек, бот и "судья" (научно — интеррогатор). Судья переписывается с обоими одновременно, но не знает, кто из них кто. У него есть 5 минут, чтобы задавать любые вопросы и попробовать вычислить, кто бот, а кто человек. Потом он должен выбрать, кто из собеседников — реальный человек.

На картинке 3 в статье даже показано, какие уловки люди чаще всего использовали, чтобы раскусить бота. Некоторые, например, специально задавали странные или запутанные вопросы.

И что показал эксперимент?

Учёные из Сан-Диего сравнили между собой четыре модели:

• GPT-4.5

• LLaMa-3.1-405B

• GPT-4o

• и старенькую ELIZA (бот из 60-х)

Каждой модели давали роль: "Ты — молодой интроверт, увлечён интернет-культурой и часто используешь сленг".

Результаты:

• GPT-4.5 набрала 73% побед. То есть в трёх случаях из четырёх она убедила судью, что она — человек, а настоящий человек — бот.

• LLaMa показала 56%. Уже неплохо, но ближе к случайной угадайке.

• ELIZA — 23%.

• GPT-4o — только 21%.

То есть GPT-4.5 не просто прошла тест — она переигрывала людей в собственную игру. И это — по-настоящему впечатляющий результат.

Пояснения к картинкам как всегда в описание ( ? ? ` )

Ссылка на статью: https://arxiv.org/pdf/2503.23674

Источник: arxiv.org

Комментарии: