Работу ИИ проверили на неандертальцах

AdvArchaeolPract: сведения ИИ о неандертальцах основаны на устаревших данных

И получили неудовлетворительные результаты.

Технологические достижения последних сорока лет превратили мобильные устройства и компьютеры в огромную библиотеку, где информация доступна в одно касание. Телефоны, ноутбуки, планшеты, умные часы — все это стало частью повседневной жизни, упрощая доступ к развлечениям, знаниям и общению. Еще больше возможностей придает этим технологиям бурное развитие генеративного искусственного интеллекта. Независимо от того, спрашивает пользователь у ИИ о динозаврах или о своем пульсе — он получит ответ быстрее, чем когда?либо прежде. Правда, далеко не факт, что этот ответ окажется верным.

Американские ученые проверили знания ИИ о неандертальцах. С результатами любопытного эксперимента можно ознакомиться на страницах Advances in Archaeological Practice. И они, надо прямо признать, оставляют желать лучшего: точность ответов моделей зависит от способности ИИ получать доступ к источникам информации, которые, увы, во многом устарели.

Что проверяли

Авторы задались целью понять, как в повседневном использовании ИИ проявляются предубеждения и дезинформация о прошлом.

«Крайне важно в целом изучать те виды предвзятости, которые заложены в наше ежедневное взаимодействие с этими технологиями. Необходимо понимать, как быстро получаемые ответы корректируются в соответствии с современными научными знаниями. Возможно ли получать устаревшую информацию, обращаясь к чат?ботам, и в каких именно областях?» — говорит антрополог-археолог Мэтью Магнани из Университета Мэна.

Авторы проверили четыре различных запроса по 100 раз каждый в DALL?E 3 для генерации изображений и ChatGPT?3.5 для текстов. Два запроса не требовали научной точности, а два других — требовали. Два задания также были более детализированными, включая контекст — например, чем должны заниматься неандертальцы или какую одежду носить.

Первые изображения скелетных останков неандертальцев появились в 1864 году. С тех пор научное сообщество не раз меняло и оспаривало детали, касающиеся этого вида — от покроя их одежды до способов охоты. Именно эта неоднозначность и недостаточная определенность знаний о неандертальцах сделали их идеальной темой для проверки генеративного ИИ.

Что получили

Сгенерированные в ходе исследования изображения показывают неандертальцев такими, какими их представляли более ста лет назад: примитивными родственниками человека с архаичными чертами, более похожими на шимпанзе, чем на людей. Кроме того, на нарисованных DALL?E картинках почти не представлены женщины и дети.

Текстовые описания недооценивают разнообразие и сложность культуры неандертальцев, о которых хорошо знает современная наука. Около половины всех текстов, выданных ChatGPT, не соответствуют академическому знанию, а для одного из запросов этот показатель превысил 80%.

Как в изображениях, так и в текстах встречаются отсылки к слишком развитым для той эпохи технологиям — плетеным корзинам, соломенным крышам и лестницам, стеклу и металлу.

Сопоставляя выдачу ИИ с научными публикациями разных десятилетий, исследователи выяснили, из каких источников чат?боты черпают информацию. Оказалось, что ChatGPT чаще всего воспроизводит представления 1960?х годов, а DALL?E 3 — конца 1980?х и начала 1990?х.

Авторское право, закрепленное в 1920?х годах, ограничивало доступ к научным исследованиям вплоть до появления открытого доступа в начале 2000?х. В дальнейшем политика в отношении доступа к академическим работам будет напрямую влиять на результаты генерации ИИ и, как следствие, на то, как мы представляем себе прошлое.

«Один из важных способов повысить точность выводов ИИ — обеспечить доступность антропологических данных и научных статей для искусственного интеллекта», — резюмирует Джон Клинданиэл, занимающийся вычислительной антропологией в Чикагском университете.

Что делать

Исследование начато в 2023 году. Всего за два года генеративный ИИ превратился из перспективной технологии в неотъемлемую часть современного общества. Магнани полагает, что если бы тестирование проводилось сейчас, результаты были бы лучше.

ИИ может быть отличным инструментом для обработки больших массивов информации и выявления закономерностей, но работать с ним нужно умело и внимательно, чтобы он опирался на научные данные, напоминает Клинданиэл.

«Обучение студентов осторожному и критичному подходу к генеративному ИИ поможет сформировать более технологически грамотное и вдумчивое общество», — заключает Магнани.

Источник: www.cambridge.org

Комментарии: