Детекторы ИИ - это полная лажа

Наглядный пример: Пол Спикер, ученый с мировым именем, закинул в «умный» сканер свою первую научную статью, опубликованную 45 лет назад. В 1981 году, когда пределом мечтаний был кассетный плеер, а не ChatGPT.

Результат просто ахуенный: сервис выдал, что 77% текста сгенерировано нейросетью.

Почему это происходит?

Детекторы не «узнают» почерк робота. Они просто ищут сухой, академический и структурированный язык.

Если ты пишешь грамотно, четко и без лишней воды — для тупого алгоритма ты гребаный Терминатор.

Так что, если препод или заказчик кидает вам скриншот с «низким процентом уникальности» — шлите их лесом и показывайте этот пример.

ps ИИ-детекторы определяют текст по следующим критериями:

Перплексия (perplexity) — это показатель того, насколько уверенно языковая модель «угадывает» следующий элемент в тексте. Если значение низкое, значит модель хорошо справляется: текст для неё выглядит логичным и предсказуемым. Высокая перплексия, наоборот, говорит о том, что последовательность кажется модели менее очевидной и содержит больше неожиданных сочетаний слов.

Perplexity(W)=exp(?N1i=1?NlogP(wi?w1,…,wi?1)

По-человечески:

Перплеусия это показатель того, насколько текст «понятен» модели.

Да. Любая модель ИИ если что это просто рандомизатор текста, который пытается угадать как правильно написать ответ.

Взрывчатость (burstiness) измеряет вариативность длины и структуры предложений. Люди склонны писать «взрывами и затишьями», смешивая длинные, сложные предложения с короткими и емкими. Это создает неравномерный, «взрывной» ритм. Модели ИИ, напротив, обычно создают текст с более однородной и регулярной структурой предложений, что приводит к низкой взрывчатости.

Эта однородность является прямым артефактом формульного, пословного процесса генерации.

Формально это можно посчитать через два параметра:

— средний промежуток между появлениями слов,

kk — средний размер таких «кусков».

Тогда показатель взрывчатости считается так:

B=(??k/?+k)

Вот взрывчатость текста и является как правило фактором определения у всяких ИИ-детекторов. Дело все в том, что академические текста (на которых чаще всего и обучались нейронки), как правило длинные, размеренные, что и приводит детектор в ступор.

Но ещё одним фактором является стилометрия.

Стилометрия — это изучение лингвистического стиля, и она лежит в основе многих функций обнаружения. Детекторы анализируют тексты на предмет закономерностей в стиле, структуре предложений, частоте слов и других параметрах. Ключевые признаки включают:

• Лексическое разнообразие: Текст, сгенерированный ИИ, часто имеет менее разнообразный словарный запас. Детекторы анализируют такие метрики, как количество уникальных слов, соотношение уникальных слов к общему числу слов (коэффициент лексического разнообразия, Type-Token Ratio) и частоту слов, встречающихся только один раз (hapax legomenon rate).

• Синтаксическая структура: Человеческое письмо демонстрирует более экспериментальные и разнообразные структуры предложений. Текст ИИ, особенно от ранних моделей, часто сохраняет «стерильную» и последовательную структуру с плавными, логичными переходами, которые могут ощущаться неестественно. Средняя длина предложения — еще один важный признак.

• Выбор слов и фраз: Модели ИИ часто злоупотребляют определенными переходными фразами («В заключение», «Это означает, что...»), общими или универсальными утверждениями и формальным языком, что может быть обнаружено детекторами.

Все вышеуказанные данные отлично ложиться на любой академический/научный текст и даже на художественные произведения.

Это не весь гайд, лишь кусок из ~70 страниц.

ps Знаете что забавно? Даже этой незначительной инструкции хватает, чтобы обойти самые последние версии ИИ-детекторов

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: