Исследование показало, что подписи к мемам, сгенерированные ИИ, в среднем смешнее, чем человеческие

Блоги

20 мар, 19:40 Fantoci

Результаты недавнего исследования показали, что подписи к мемам, сгенерированные искусственным интеллектом (ИИ), в среднем воспринимаются в интернете как более смешные, креативные и способные к распространению, чем те, которые придуманы людьми. Столь неожиданный результат настолько поразил экспертов, что один из них, профессор Уортонской школы бизнеса Итан Моллик, даже заявил о "прохождении мемом теста Тьюринга". Этот термин отсылает к известному тесту, предложенному пионером компьютерной науки Аланом Тьюрингом в середине прошлого века, целью которого было определить, может ли человек отличить продукт деятельности ИИ от человеческого творчества.

Однако авторы нового исследования, результаты которого будут представлены на международной конференции в 2025 году, предостерегают от поспешных выводов о безоговорочной победе машин в области юмора. Они подчеркивают, что, несмотря на способность ИИ повышать продуктивность и генерировать контент, привлекательный для широкой аудитории, именно человеческая креативность остается ключевым фактором для генерации контента, способного вызвать более глубокий эмоциональный отклик.

В рамках международного исследования, проведенного учеными из Швеции, Германии, было организовано три эксперимента, в которых сравнивалось качество создаваемых мемов. В этих экспериментах участвовали как люди, работавшие самостоятельно, так и те, кто сотрудничал с большими языковыми моделями (LLM), в частности с разработанной OpenAI моделью GPT-4o. Также оценивались мемы, полностью сгенерированные GPT-4o без какого-либо участия человека.

В качестве основы для исследования использовались уже известные и популярные шаблоны мемов. Исследователи сосредоточились на трех распространенных тематиках: работа, еда и спорт. Целью было выяснить, как ИИ и люди справляются с созданием юмористического контента в знакомых и понятных каждому контекстах. Анализ результатов показал, что эффективность юмора в мемах, будь то созданных человеком или ИИ, во многом зависит от категории. Например, мемы на рабочую тематику, как правило, получали более высокие оценки за юмор и виральность по сравнению с мемами о еде или спорте. Под "виральностью" исследователи подразумевают потенциал мема к широкому охвату аудитории, обусловленный его юмористическим содержанием, узнаваемостью и актуальностью для текущих культурных трендов.

Важно отметить, что в данном исследовании ИИ не занимался созданием самих изображений для мемов. Вместо этого использовались готовые, широко известные шаблоны, а задача GPT-4o и участников-людей заключалась в написании к ним подписей.

Анализ оценок, выставленных мемам участниками краудсорсинговой платформы, выявил интересную закономерность. Мемы, полностью созданные моделями ИИ, в среднем получили более высокие баллы по таким критериям, как юмор, креативность и способность к распространению в сети. Авторы исследования подчеркивают, что это одна из первых работ, демонстрирующих превосходство ИИ над человеком в создании мемов по этим ключевым показателям.

Тем не менее, исследование выявило важное ограничение. Хотя в среднем мемы, сгенерированные исключительно ИИ, получили более высокие оценки, чем мемы, созданные только людьми или в результате сотрудничества человека и ИИ, анализ лучших индивидуальных примеров показал, что самые смешные мемы были созданы именно людьми. А наиболее креативные и способные к распространению мемы появились в результате совместной работы человека и ИИ. Таким образом, ИИ демонстрирует способность стабильно генерировать мемы, которые находят отклик у широкой аудитории, однако самые выдающиеся и оригинальные мемы по-прежнему являются результатом человеческого творчества, как самостоятельно, так и при поддержке ИИ.

Исследование также показало, что участники, использовавшие инструменты ИИ в качестве помощников, сгенерировали значительно большее количество идей для мемов и охарактеризовали процесс как более простой и менее трудозатратный. Несмотря на заметное увеличение производительности, мемы, созданные в сотрудничестве человека и ИИ, в среднем не получили более высоких оценок, чем мемы, созданные людьми самостоятельно. Исследователи пришли к выводу, что увеличение количества идей благодаря помощи ИИ не приводит автоматически к повышению их качества.

Кроме того, участники, работавшие с ИИ, отмечали некоторое снижение чувства авторства по сравнению с теми, кто создавал мемы в одиночку. Учитывая, что ощущение сопричастности к результату влияло на творческую мотивацию и удовлетворение от процесса, исследователи рекомендуют тем, кто планирует использовать ИИ в творческих задачах, тщательно взвешивать степень его участия.

Объясняя относительно высокую среднюю оценку юмора в мемах, созданных ИИ, исследователи предполагают, что это связано с обучением модели на огромных массивах интернет-данных, что позволило ей выявить наиболее распространенные и понятные широкой аудитории юмористические шаблоны. В то же время мемы, созданные людьми, часто отражали более личный опыт, что, хотя иногда и приводило к появлению исключительно смешного контента, в среднем давало более низкие баллы.

Примечательно, что профессор Моллик, комментируя результаты исследования в социальной сети Bluesky, согласился с мнением одного из пользователей о том, что сгенерированные ИИ мемы могут быть не самыми остроумными. Он предположил, что одной из причин такого результата может быть то, что многие люди находят смешными даже не самые удачные мемы. Такое предположение поднимает важный вопрос о том, действительно ли успех ИИ в данном случае отражает его способность статистически точно воспроизводить распространенные юмористические приемы, или же он просто нацелен на самый низкий общий знаменатель интернет-юмора.

Авторы исследования признают ряд ограничений. В частности, сессии по созданию подписей к мемам были относительно короткими, и участники не всегда в полной мере использовали потенциал инструментов ИИ для совместной работы. В будущих исследованиях планируется изучить, как более длительное взаимодействие с ИИ и более эффективные подсказки могут повлиять на результаты творческого сотрудничества человека и ИИ.

Кроме того, использование краудсорсинговых оценок неизбежно вносит элемент субъективности и потенциальную предвзятость в сторону юмора, ориентированного на широкую аудиторию, что могло способствовать более высоким оценкам мемов, сгенерированных ИИ. В будущих работах предлагается использовать экспертные оценки или проводить исследования среди целевых демографических групп, чтобы лучше учесть нюансы и культурно-специфические аспекты юмора и креативности.

Исследовательская группа также предлагает изучить сценарии, в которых ИИ будет быстро генерировать большое количество идей, а люди будут выступать в роли кураторов, отбирая и дорабатывая наиболее удачные из них. Однако, на данный момент, в области создания действительно выдающихся подписей к мемам пальма первенства по-прежнему принадлежит человеку.