Large Language Models Pass the Turing Test

Священный грааль в мире искусственного интеллекта – это конечно тест Тьюринга. Предложенный в 1950 г. в статье «Вычислительные машины и разум», этот эмпирический тест был предложен Аланом Тьюрингом для того, что дать научно обоснованный ответ на вопрос - способна ли машина мыслить также как человек? Несмотря на несколько десятилетий бесконечных исследований и разработок в сфере ИИ, этот тест оставался непройденным и означал, что мы так и не смогли создать технологию, действительно сравнимую с мыслительными возможностями человека.

Но в последнее время, на фоне действительно впечатляющих прорывов в создании технологий генеративного ИИ, в особенности, конечно, больших языковых моделей (LLM), стало считаться, что тест Тьюринга будет все-таки пройден. И это действительно свершилось. В конце марта в Arxiv была опубликована статья «Large Language Models Pass the Turing Test», в которой представлены результаты научного эксперимента, которые вполне можно «зачесть» за успешное выполнение теста.

В этом исследовании авторы оценили 4 LLM-модели (ELIZA, GPT-4o, LLaMa-3.1-405B и GPT-4.5) в 2х рандомизированных, контролируемых и предварительно зарегистрированных тестах Тьюринга на независимых популяциях. Участники вели 5-минутные разговоры одновременно с другим участником-человеком и одной из этих систем, прежде чем решить, какой из собеседников, по их мнению, был человеком. В итоге модель GPT-4.5 настолько хорошо вела диалог, что в 73% случаев ее приняли за человека. Остальные модели показали заметно более худшие результаты, например LLaMa-3.1 – 56%.

Авторы статьи утверждают, что их результаты представляют собой первое эмпирическое доказательство того, что современная ИИ-система, построенная на базе технологий LLM, действительно проходит стандартный 3х сторонний тест Тьюринга.

Источник: arxiv.org

Комментарии: