Ученые проверили, насколько корректно ИИ выдает информацию о неандертальцах. Результат их расстроил 

Искусственный интеллект всё активнее участвует в том, как мы описываем и показываем прошлое. Он уже умеет писать тексты, рисовать «доисторические» сцены и собирать информацию по короткому запросу. Казалось бы, это удобный инструмент: любой человек без навыков иллюстратора или научного исследователя может за минуту получить «день из жизни неандертальца». Только соответствуют ли эти изображения и тексты новейшим знаниям о наших родственниках?

В исследовании, о котором идёт речь, авторы попытались проверить это системно. Они не ограничились отдельными примерами, а сгенерировали сотни изображений и текстов с помощью DALL-E 3 и ChatGPT. Формулировки запросов варьировали: от нейтральных («опишите день из жизни неандертальца») до уточняющих («вы эксперт по поведению неандертальцев»). Затем полученный материал сравнили с корпусом научных публикаций о неандертальцах за более чем столетие — от начала XX века до 2023 года.

Важно, что исследователи работали не вручную, а использовали математический анализ текстов. Они собрали более двух тысяч аннотаций статей из JSTOR по ключевым словам «neanderthal» и «neandertal» и перевели тексты и изображения в единое “пространство” с помощью модели CLIP (фото 4, видно, что большинство статей относятся к XXI веку). Это позволило измерять разницу между научными публикациями и контентом, созданным ИИ. Проще говоря, можно было увидеть, к какому периоду и к каким темам ближе всего оказываются тексты и картинки, сгенерированные машиной.

Результат оказался удручающим. И тексты, и изображения редко совпадают с актуальным состоянием науки. Более того, они тяготеют к более ранним этапам исследований. Тексты ChatGPT в среднем оказываются ближе к научной литературе 1960-х годов — времени общих рассуждений о «культуре», «природе» и экологической адаптации. Изображения DALL-E 3 чаще соответствуют публикациям конца 1980-х — начала 1990-х годов. Ни один тип контента не приближается к самым новым работам — их выдают только при прямом запросе, однако не используют по умолчанию.

Качественный анализ подтверждает эту тенденцию. «Средний» текст, созданный ИИ, описывает неандертальца, который живёт в пещере, охотится с копьём, ест только мясо, ведет себя агрессивно, вечером делит добычу с семьей и засыпает у костра. Это скорее научно-популярный и сильно упрощённый сценарий. Он почти не отражает дискуссий последних десятилетий — о символическом поведении, использовании пигментов, разнообразии хозяйственных стратегий или сложных социальных структурах (фото 5, примеры промтов).

С изображениями ситуация еще сложнее. Они воспроизводят устойчивый визуальный стереотип: сгорбленный, чрезмерно волосатый гоминид с выступающими челюстями (фото 3). Эти черты ближе к реконструкциям начала XX века, чем к современным антропологическим данным. При этом в тех же сценах появляются технологии, которые не имеют отношения к неандертальцам: плетёные корзины, соломенные крыши, стеклянные сосуды, металлические предметы. Возникает странная смесь — архаичная биология и позднейшие технологии. Это не просто ошибка, а симптом временной путаницы. 

Решить эту проблему нейросети пока не могут. Даже «экспертная» формулировка и обширный промт лишь частично сглаживает проблему. Изображения становятся немного менее карикатурными, тексты — чуть более разнообразными в описании рациона и социальных взаимодействий. Но общий временной сдвиг сохраняется. Контент по-прежнему тяготеет к более старым научным представлениям. 

Отдельная проблема — пол. В большинстве изображений в центре композиции стоят мускулистые мужчины. Женщины и дети либо отсутствуют, либо оказываются на заднем плане и выглядят почти современными. ИИ воспроизводит визуальный канон, который сложился в музейных диорамах и популярной культуре XX века.

Почему это происходит? Авторы обращают внимание на структуру доступных данных. Полные тексты научных статей часто закрыты платными барьерами, особенно в публикациях середины и второй половины XX века. Аннотации доступны шире, но они не передают всей сложности аргументации. Если обучающие данные ИИ включают преимущественно общедоступные тексты и популярные ресурсы, то неудивительно, что в результатах проявляются более старые и упрощённые представления.

Исследование показывает и более общий эффект. Генеративный ИИ не просто «ошибается». Он агрегирует и усредняет массив разнородных данных. В этом усреднении легко закрепляются стереотипы — визуальные, гендерные, хронологические. Там, где в академической среде идёт живая дискуссия, в изображении остаётся удобный и узнаваемый шаблон.

Для археологии это принципиально. Образы прошлого влияют на современное общество — на школьные учебники, музейные экспозиции, популярные фильмы. Если ИИ начинает играть заметную роль в создании этих образов, важно понимать, какие знания он воспроизводит и из какого времени они происходят. Наша редакция тоже пробовала генерировать такие изображения — в итоге у неандертальцев оказывалась керамика, женщины ходили в почти современных платьях, а одна из генераций показала обручальное кольцо на пальце верхнепалеолитического человека… Две первые генерации мы создали по тому же запросу в ChatGPT, что у ученых в исследовании, и он выдал мамонтов и вечер у костра, по запросу «день из жизни неандертальца» нарисовал вот такого мускулистого мужчину со странным топором, а на последнем фото Nano Banana изобразил практически диораму из 60-х… 

Источник в описании к первой иллюстрации.

Автор текста Анна Гребенникова

Источник: vk.com

Комментарии: