Ученые предупреждают, что созданные с помощью ИИ поддельные ссылки заполонили научную литературу во всех изданиях

Ссылки в конце научной работы должны представлять собой прочную основу существующих знаний в конкретной области, пул рецензируемых источников, сформированный за годы исследований и изучения. Однако с ростом использования ИИ и больших языковых моделей при написании научных работ возрастает вероятность того, что ссылка, на которую кто-то кликнет, может даже не существовать, а исследование, источник или даже сами исследователи могут быть полностью поддельными.

В недавнем исследовании, опубликованном на сервере препринтов arXiv , исследователи проанализировали миллионы научных работ и обнаружили, что в исследовательских статьях, размещенных в четырех крупнейших научных репозиториях — arXiv , bioRxiv , SSRN и PubMed Central , присутствовало около 146 900 фиктивных цитирований. Эти данные относятся только к 2025 году.

Фальшивые ссылки встречались не только в нескольких недобросовестных источниках, но и во многих статьях, каждая из которых содержала небольшое количество ложных ссылок, что указывает на более широкую тенденцию использования ИИ исследователями, которые не проверяют результаты на достоверность.

Научные исследования развиваются, опираясь на предыдущие открытия, где каждое новое открытие зависит от уже установленных фактов. В этой области стремительный рост использования ИИ и сопутствующие ему галлюцинации не показывают признаков замедления, что вызывает серьезные опасения.

Галлюцинаторный интеллект

Инструменты генеративного ИИ, построенные на основе больших языковых моделей, довольно хорошо справляются с созданием информации, которая звучит правдоподобно и реалистично, но на самом деле является полностью вымышленной или неверной. Эти модели обучаются на огромных массивах данных для выявления закономерностей, которые затем используются для прогнозирования следующего слова и генерации нового контента.

В результате, иногда они могут выдавать результаты, основанные на прогнозировании закономерностей, а не на каких-либо фактических данных.

Галлюцинации встречаются не только в научной литературе, но и в правительственных отчетах, судебных документах и ??даже новостных статьях известных СМИ.

Ученые ранее изучали галлюцинации, вызванные искусственным интеллектом, но большинство исследований проводилось либо в лабораторных условиях, либо ограничивалось небольшими выборками или узкими областями. Фактический масштаб и влияние таких ошибок, особенно в научной литературе, оставались неясными.

Разоблачение несуществующего

В этом исследовании группа провела масштабный аудит 111 миллионов ссылок из 2,5 миллионов научных статей. Используя сочетание автоматизированных и ручных проверок, они искали заголовки цитирований, которые не могли быть связаны ни с одной реальной публикацией.

Более 95% ссылок были успешно сопоставлены. Для оставшихся записей они исправляли опечатки с помощью ИИ до тех пор, пока не появлялось совпадение, а для оставшихся нескольких загадочных названий они обращались к Google Scholar, чтобы убедиться, что не пропустили ни одной малоизвестной публикации.

Чтобы изолировать роль ИИ, команда также проанализировала несоответствующие показатели цитирования до 2023 года, до того, как ChatGPT, Gemini и другие крупные языковые модели получили широкое распространение. Это позволило им определить базовый уровень для оценки того, какая часть проблемы может быть связана с ошибками ИИ, а какая — с ошибками человека.

В ходе проверки был выявлен резкий рост числа поддельных, несуществующих ссылок в серьезных научных статьях, особенно начиная с середины 2024 года.

Исследование показало, что молодые ученые и небольшие группы чаще всего использовали подобные фальшивые ссылки, и в некоторых случаях производительность этих же исследователей увеличилась примерно в три раза с появлением ИИ.

Была выявлена ??еще одна интересная закономерность: в вымышленных ссылках, как правило, непропорционально отдавалось должное уже известным ученым-мужчинам, что позволяет предположить, что ошибки, допускаемые магистерскими программами, могут усиливать существующее неравенство в признании научных достижений.

Полученные данные выявили существующие пробелы в системах контроля, таких как модерация препринтов, работа редакторов журналов и рецензирование, которые могли выявить лишь небольшую часть этих ошибок. Например, хотя модерация arXiv выявила некоторые проблемы, по оценкам, 78,8% несуществующих цитирований все же прошли через платформу и появились на ней.

Исследователи предупреждают, что галлюцинации неуклонно проникают в процесс производства знаний в больших масштабах, угрожая как их достоверности, так и справедливости. Без вмешательства их влияние может распространиться от будущего научных открытий до политики и общественного понимания.

Сведения о публикации

Чжэньюэ Чжао и др., Галлюцинации LLM в дикой природе: масштабные доказательства на основе несуществующих цитирований, arXiv (2026) https://arxiv.org/abs/2605.07723

Телеграм: t.me/ainewsline

Источник: arxiv.org

Комментарии: