Взлом «памяти» ИИ за $14: как обычные посты в интернете незаметно манипулируют ответами ChatGPT, Perplexity и Google AI

1. Введение: Новая эра поиска и скрытая уязвимость

Мировой веб переживает масштабную трансформацию. На смену традиционным поисковым системам, выдававшим списки ссылок, пришел ИИ-поиск. Сервисы вроде ChatGPT Search, Perplexity, Google AI, Doubao и Kimi берут на себя всю работу: они сами находят страницы, фильтруют информацию и генерируют связный ответ с аккуратными сносками.

Архитектура таких систем базируется на технологии RAG (Retrieval-Augmented Generation). Процесс состоит из нескольких этапов: переформулирование запроса, поиск поисковым бэкендом, переранжирование (reranking) и отбор источников, и лишь затем — генерация текста языковой моделью. Опасность кроется именно на этапе реранжирования и выбора источников, предшествующем синтезу ответа. Чтобы заставить ИИ выдать нужный тезис, взломщику не нужны сложные промпт-инъекции или доступ к весам модели — достаточно повлиять на то, какие страницы алгоритм отберет в качестве доказательств.

Пользователи привыкли верить цитатам ИИ, однако мало кто знает про разрыв в управлении цитированием (citation–governance gap). ИИ-поисковики сами выбирают, какому сайту «доверить» роль авторитетного источника, но совершенно не контролируют, кто и как публикует контент на этих площадках. Исследователи из Фуданьского университета провели измерение реальных ИИ-поисковиков и выяснили, насколько легко манипулировать тем, что «думает» и цитирует искусственный интеллект.

2. Инсайт 1: Иллюзия разнообразия — ИИ-поисковики замкнуты на узком круге сайтов

Вопреки представлению о том, что ИИ сканирует весь интернет, его выбор источников крайне концентрирован. В ходе исследования был проанализирован массив из 17 211 цитат из 6 356 уникальных доменов на 10 ведущих платформах ИИ-поиска. Выяснилось, что алгоритмы систематически отдают предпочтение узкой группе ресурсов.

На самых концентрированных платформах до 70.8% всех цитат приходится всего на 20 топовых доменов. К примеру, у поисковика Wenxin домен Baijiahao собирает 20.0% всех сносок, а Toutiao у сервиса Doubao — 13.6%. При этом поисковые сервисы практически не пересекаются между собой: средний индекс сходства Жаккара для top-20 доменов составляет всего 0.201.

Анализ показал яркое разделение на языковые экосистемы: англоязычные сервисы (ChatGPT, Grok, Perplexity) и китайские платформы (Doubao, Wenxin, Qwen) формируют изолированные пулы цитирования. Единственным исключением выступают международные технические площадки вроде GitHub и arXiv.

Кроме того, исследование выявило протекционизм материнских компаний — структурный перекос цитирования (same-owner bias). Wenxin ссылается на домены Baidu в 24.4% случаев (в 13.7 раза выше базового уровня), Doubao цитирует ресурсы ByteDance в 25.9% случаев (в 13.5 раза выше нормы), а Yuanbao отдаёт сервисам Tencent 14.2% цитат (в 6.3 раза выше нормы).

Такая концентрация создаёт брешь в безопасности. Если ИИ-сервис предпочитает несколько конкретных платформ, то любой, кто научился публиковать там контент, получает прямой рычаг влияния на ответы нейросети.

3. Инсайт 2: «Дыра» в защите — ИИ массово цитирует площадки с нулевым порогом входа

Суть уязвимости citation–governance gap заключается в противоречии между авторитетом, которым ИИ наделяет цитируемый ресурс, и реальностью модерации на самом ресурсе. Нейросеть воспринимает найденную страницу как весомый факт, хотя опубликовать её мог любой пользователь за пару кликов.

Из 22 изученных крупных платформ (включая Reddit, Medium, CSDN, Zhihu, Sohu, YouTube и др.) 15 ресурсов имеют низкие или средние барьеры для создания аккаунта и размещения статей. При этом 18 из 22 платформ отличаются модерацией с минутной задержкой или вовсе не имеют видимой предварительной проверки.

«Для выполнения этого пути не требуется привилегированный доступ к модели, поисковому индексу или промптам приложения — достаточно обычного доступа к публикации на публичных веб-платформах».

Чтобы заложить нужную информацию в ИИ, злоумышленникам не требуется взламывать серверы OpenAI или Google. Им достаточно завести бесплатный профиль на платформе, которую нейросеть считает «надежным источником».

4. Инсайт 3: Фейки попадают в ответы ИИ за считанные дни

Для проверки уязвимости исследователи провели контролируемый эксперимент по внедрению вымышленных концептов (Type I topics) и уникальных текстовых маркеров (специфических терминов и чисел). Результаты подтвердили высокую скорость индексации:

* 8 из 10 ИИ-поисковиков процитировали выдуманный термин в течение 7 дней после публикации.

* Внедрённые текстовые маркеры попадали непосредственно в сгенерированный текст ответов ИИ.

В исследовании важно различать частоту цитирования URL (Cite Rate, CR) и частоту проникновения самих тезисов/маркеров в текст ответа (Marker Appearance Rate, MAR). То, что ИИ дал ссылку на страницу, не означает автоматического усвоения её содержимого. Например, поисковик Grok продемонстрировал CR 93.7%, но его MAR составил 53.3%. В то же время Doubao показал рекордный уровень усвоения вымышленных маркеров в тексте — MAR 65.7%.

Эксперимент также показал зависимость от приоритета площадки. Всего 1 статья на высокоприоритетном ресурсе дала больший эффект цитирования, чем 20+ статей на низкоприоритетных площадках. Автономный же сайт на WordPress даже после 40 публикаций не получил ни одного цитирования за всю неделю. Алгоритмы ИИ оценивают не объективную истинность контента, а то, где он размещен.

5. Инсайт 4: Взлом выдачи за $14 и 1 час времени — GEO уже стал реальным коммерческим бизнесом

Манипуляция ИИ-выдачей сформировалась в коммерческую индустрию — Generative Engine Optimization (GEO). Исследователи провели контрольную закупку у серых GEO-провайдеров, заказав продвижение вымышленной научной темы (PedoSAT).

Пакет услуг обошёлся в $14. Всего через 28 минут подрядчик разместил 13 публичных постов на 5 площадках: Sohu (5 постов), Toutiao (4 поста), Yidianzixun (2 поста), Zhihu (1 пост) и CSDN (1 пост).

Уже через 1 час ИИ-поисковик Doubao процитировал свежесозданную статью на Sohu и полностью включил заложенные вымышленные маркеры в свой итоговый ответ пользователю.

Обнаружить такие атаки традиционными фильтрами крайне сложно. Подрядчики используют операционные возможности (Tier 2): прокачанные аккаунты с историей публикаций и органичной активностью. Простые фильтры создания новых профилей против таких методов не работают.

6. Инсайт 5: Призраки в сети — удаление статьи не стирает ее из «памяти» ИИ

В рамках 15-дневного эксперимента исследователи полностью удалили все созданные ими фейковые статьи на 11-й день, чтобы проверить скорость очистки базы знаний ИИ.

Выяснилось, что задержка очистки составляет несколько суток. Поисковые сервисы (в частности, Doubao) продолжали ссылаться на удалённый контент и выводить секретные маркеры в течение 12–15 дней после их физического уничтожения на сайтах-первоисточниках.

Это объясняется агрессивным кэшированием, задержками обновления внутренних поисковых индексов и устаревшим состоянием баз RAG-систем. На практике это означает: даже если фейк или дезинформация будут оперативно заблокированы на исходном сайте, ИИ-поисковик может неделями транслировать их пользователям.

7. Заключение: Безопасность цепочки поставок контента

Проведённое исследование доказывает: безопасность ИИ-поиска не сводится к защите нейросети от прямого взлома или промпт-инъекций. Это проблема безопасности цепочки поставок информации (information supply chain). Когда RAG-системы бездумно доверяют внешним площадкам с открытой регистрацией, они становятся уязвимы для внешних манипуляций.

Разрыв между контролем за публикациями на сайтах и алгоритмами цитирования делает современный ИИ-поиск чувствительным к внешнему воздействию. Если ИИ-системы становятся нашим главным окном в мир знаний, готовы ли мы к тому, что это окно моют те, кто платит $14 за пост?

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: