Как я охотился на "нейротексты"

Я тут недавно облажался - в одном из книжных обзоров похвалил роман, который, как меня заверили, написала нейросеть.

Во время всенародного осмеяния добрые люди подкинули мне ссылку на сервис "Яндекса", который был выложен несколько недель назад - https://yandex.ru/lab/neurodetector

В него загружаешь текст, а он определяет - человек его писал, или машина железная. А если автор - тварь бездушная, то на сколько процентов оная сущность вложилась.

И здесь я должен честно признаться - я в последнее время практически не следил за нейросетями. Пару раз я попытался начать эксплуатировать "Чатджипити" и "Дипсик", но они оба сразу наврали мне сорок бочек арестантов, после чего интерес к таким брехливым помощникам я потерял.

Пару раз я интересовался у знающих людей - не перестали ли ИИ врать? Мне, вздохнув, печально отвечали, что - нет, не перестали. Их "галлюцинации" к сожалению, пока являются нерешаемой проблемой. Ну и у меня интерес не проснулся.

Пару раз до меня долетали отзвуки идущих в интернете дебатов на тему "Все бестселлеры пишут нейросети, я гарантирую это", но я не обращал на срачи большого внимания.

Почему?

Потому что в нашей стране одной из самых распространенных фобий является страх оказаться обманутым лошариком.

Наш человек - он же все время начеку! Он все время подозревает (и, надо сказать - не без оснований), что его хотят нагорбатить. Злые силы, воодушевленные девизом "Лох не мамонт, лох не вымрет!", так и норовят подсунуть ему вместо шанхайских барсов мексиканского тушкана, крашенного акварелью - а он сопротивляется этим попыткам.

Поэтому в моем сознании все склоки из-за нейросетей проходили по ведомству "Паранойя косит наши ряды". Не, ну правда! Просто раньше все рассказывали, что книги Донцовой пишут литературные негры, теперь - что книги Донцовой пишет нейросетка.

Но после случившегося со мной конфуза я засомневался и устыдился - слишком уж много уважаемых мною людей намекнули мне, что нейросетка сегодня действительно многое пишет. Мне стало стыдно за свою дремучесть. "Э-хе-хе, поделом тебе, невежде, наука!", - сказал я себе и решил все-таки изучить вопрос.

И здесь опять придется признаться, что я, как истинный сын своего народа, тоже изрядно выкошен паранойей. Я тоже все время опасаюсь, что меня нае..., извините, злые люди обманут меня в лучших чувствах.

Поэтому первым делом я решил проверить работоспособность выданного мне инструмента.

Мало ли? Вдруг он температуру на поверхности Моря Бурь показывает?

Сначала я решил скормить "нейрометру" Яндекса свои собственные статьи, которые стопроцентно написаны "в ручном режиме", нейросеть там даже в тапочках не проходила. Кормил я инструмент главами из книги "От Маленького принца до Моховой бороды", которую пишу сейчас.

Вот результаты.

Глава "Крошка Енот" как альтернатива Библии". Приговор - этот тест сгенерирован нейросетью с вероятностью 0.56%

Как каблуки-шпильки в сказку попали - 0.50%

И просто сосиски, или Работа над ошибками - 0.14%

Фальшивый осел и Дорогое Буратино - 0.00%

Мафин и его веселые неполиткорректные друзья - 0.65%

Память упакована в бумажку - 0.33%

Лифчик Пеппи - 0.51%

Как Пеппи Длинныйчулок не повезло в СССР - 0.00%

Бедная, бедная Пеппилотта! - 0.45%

Про Деда-Мороза, который делал бизнес - 0.13%

С оригинальными текстами все примерно понятно. Теперь нам нужны нейротексты.

У меня есть бывший коллега, с которым мы когда-то работали в газете, а теперь он на пенсии за мзду малую подрабатывает ведением корпоративных соцсетей. Поскольку работы у него много, а желания работать - мало, практически все тексты в соцсети пишет Дипсик по его команде, а он их только редактирует.

Я попросил у него охапку сгенерированных текстов и пошел кормить ими яндексовскую шайтан-машину. Дальше - только итоговые проценты, названия текстов я палить не буду.

№ 1 - 38.63%

№ 2 - 60.53%

№ 3 - 92.17%

№ 4 - 8.16%

№ 5 - 99.83%

№ 6 - 54.57%

№ 7 - 38.59%

№ 8 - 99.65%

№ 9 - 99.28%

№ 10 - 93.23%

Потом мне стало просто любопытно - а уменьшится ли процент нейровклада после редактуры, произведенной кожаным мешком?

Я взял последние три текста (№ 8-10) и отредактировал их. Перепахал эдакой серьезной, глубокопроникающей редактурой.

Процент упал, причем значительно.

№ 8 - 2.64%

№ 9 - 0.46%

№ 10 - 39.37%

Какие предварительные выводы я сделал для себя на этом этапе?

1. Инструмент, разработанный Яндексом НИ РАЗУ не назвал оригинальный текст - "нейротворчеством". На моих оригинальных текстах заявленная шайтан-машиной доля нейротекста ни разу не пересекла отметку в 1%. В этом отношении он сработал отлично.

2. С нейротекстами сложнее. Определитель Яндекса может облажаться и заявить, что машинный в своей основе нейротекст написан человеком "от и до". Наверное, это из-за редактуры.

Тогда я решил убрать фактор человеческой редактуры и покормить "нейрометр" текстами Дипсика, которых не касалась человеческая рука. То есть я просил Дипсика написать условный исторический очерк про Махно или про железнобоких Кромвеля и и сразу на выходе скармливал его шайтан-машине. Вот что получилась.

№ 1 - 25.25%

№ 2 - 68.66%

№ 3 - 5.97%

№ 4 - 10.75%

№ 5 - 99.27%

№ 6 - 5.48%

№ 7 - 98.76%

№ 8 - 41.96%

№ 9 - 98.87%

№ 10 - 97.55%

На троечку, согласитесь?

Тогда я решил пожестче проверить работу нейродетектора с оригинальными текстами и начал совать ему в топку первые главы самых разных книг, взятых наугад из моей электрической библиотеки "Колибри". Вот с каким итогом.

Сергей Конёнков. Пророчества о войне. Письма Сталину - 0.00%

С.Т. Коненков Мой ХХ век. Воспоминания - 0.48%

Дж. Родари. Путешествие Голубой стрелы - 0.05%

В. Похлебкин. Моя кухня - 0.55%

Дэвид Уиллис Маккалоу Вечная тайна лабиринта - 0.30%

Жан-Люк Энниг Краткая история попы - 0.00%

В общем, продолжать не стал. Бессмысленно - здесь он ни разу не ошибся.

Какие выводы им сделаем из этой проверки?

Определять долю нейротекста в общем массиве текста "нейромерка Яндекса" пока не умеет и пишет в этой графе все, что ему в железную голову взбредет.

Но вот что она действительно умеет - это отличать человеческий текст от нечеловеческого. Здесь чих-пых-машинка не ошиблась ни разу.

То есть пока позиций на шкале всего две - "автор не юзал нейросеть" (если результат менее 2%) и "автор юзал нейросеть" (все остальные проценты).

Как вы думаете, что я сделал дальше?

Угадали.

Я побежал замерять самые популярные новинки месяца на портале "Автор.Тудей". Как правило, "замерял" три главы, при необходимости добавлял еще несколько замеров.

Слайды! Слады! - кричит уже публика.

Извольте.

№ 10. Ник Тарасов. Таксист из Forbes

Глава 1 – 99,06%

Глава 11 – 100%

Глава 22 – 100%

№ 9. Катэр Вэй. Павел Барчук. Маньчжурский гамбит

Глава 1 – 30,86%

Глава 2 – 29,94%

Глава 3 – 0,43%

Глава 5 – 2,51%

Глава 10 – 0,00%

Глава 15 – 0,07%

Глава 20 – 0,99%

№ 8 Виктор Молотов, Александр Лиманский «Лекарь Фамильяров»

Глава 1 – 51,48%

Глава 13 – 54,03%

Глава 26 – 34,75%

№ 7 Кирико Кири «Небесный всадник»

Глава 1 – 0,90%

Глава 21 – 0,78%

Глава 42 – 0,00%

№ 6 Евгений Капба «Космос.Today»

Глава 1 – 0,48%

Глава 12 – 0,00%

Глава 23 – 0,92%

№ 5 Тимофей Афаэль «Речной Князь»

Глава 1 – 97,92%

Глава 15 – 93,50%

Глава 31 – 94,11%

№ 4 Ярослав Мечников «Укротитель Драконов»

Глава 1 – 85,43%

Глава 12 – 80,21%

Глава 23 – 94,24%

№ 3 Дорничев Дмитрий «Мигрирующая империя. Том 1 + Том 2»

Глава 1 – 0,00%

Глава 17 – 0,00%

Глава 29 – 0,34%

№ 2 Александр Сорокин, Павел Шимуро «Кодекс Магических Зверей I»

Глава 1 - 100.00%

Глава 13 - 90.53%

Глава 25 – 72,76%

Глава 26 - 31.32%

№ 1 Ковтунов Алексей «Путь Строителя»

Глава 1 - 0.00%

Глава 9 - 0.54%

Глава 12 - 0.99%

Глава 13 – 29,25%

Глава 14 – 11,95%

Глава 15 - 22.07%

Глава 16 - 60.26%

Глава 17 - 60.26%

Конечно, комментировать все это - только портить. И так понятно, что читателей одного из самых популярных книжных порталов рунета давно и обильно окормляет нейросетка.

Но я все-таки не удержусь от комментариев.

Дальше - самая неинтересная часть текста. Заканчивается более-менее объективная информация, начинаются мои досужие размышления

Вопрос первый - зачем я спалил контору.

Затем, что контору спалил не я. Контору спалил "Яндекс", который своим "Нейроскопом" выпустил джинна из бутылки. Слух об этом инструменте уже разнесся по АТ и отныне, думаю, любая более-менее популярная новинка на "Автор.Тудей" будет мгновенно проверяться на нейрослоп, а результаты выкладываться на всеобщее обозрение.

Вопрос второй - значит ли это, что нейротексты исчезнут?

Ни в коем случае! Более чем уверен - они просто легализуются.

Дальше говорю с позиции человека, который, в отличие от вас, прочитал по нескольку глав у всех десяти вышеперечисленных романов. Знаете, что для меня было самым большим удивлением в результатах этого исследования, на которое я убил все выходные?

Высокий уровень профессионализма нейросети.

Я понимал, что рано или поздно это случится, но, честно говоря, думал, что сначала ИИ будет писать кривенькие тексты, над которыми все будут ржать, и только потом начнет улучшаться...

Да хрен там!

Сейчас нейросеть в руках умелого оператора пишет развлекательную жанровую литературу гораздо лучше большинства живых авторов на АТ. в этом вопросе полная аналогия с нейро-рисунками - Миджорня с самого начала рисовала лучше и профессиональнее большей части сетевых художников.

Если не верите в высокое качество нейрокнижек - мой вам совет, просто прочитайте первые главы стопроцентно-нейронного "Таксиста из Forbes" (https://author.today/work/559417) и сравните, ну хотя бы с абсолютно авторским творчеством Дмитрия Дорничева (https://author.today/work/562863). А потом скажите честно - кто из них пишет профессиональнее.

Поэтому на мой личный взгляд читатели от появления нейрокниг еще и в плюсе окажутся.

Вопрос третий. Да что ты такое несешь, в каком плюсе окажутся читатели? Нейронка не умеет творить, она может только обезьянничать и подражать!

А я соглашусь. И в ответ спрошу - а кому нужны ваша оригинальность и самобытность? Нет, я тоже за все хорошее и против всего плохого, но давайте воспринимать мир таким, какой есть в реальности, а не свои представления о нем.

В реальности абсолютная, подавляющая часть читателей портала "Автор.Тудей" приходят туда отдохнуть и почитать не что-нибудь новое, а что-нибудь привычное. Им не нужны ваши эксперименты, им нужна предсказуемость, нужно то, что они любят, канон им нужен! Драки должны быть драчливыми, женщины - грудастыми, и герои - всенагибающими! Все остальное - ересь и вода!

Любое, подчеркиваю - любое отступление от канона на АТ приводит к дикой потере читателей.

И вот для этих вот читателей "нейронная" литература - несомненное благо. Поскольку она будет их обеспечивать (да почему "будет"? уже обеспечивает) гораздо большим объемом нужного им товара, причем гораздо более высокого качества.

Нет, авторы нейронки не вымрут, как лошадь Пржевальского. Они продолжат процветать, зарабатывая деньги. Правда, уже меньшие - конкуренция у них резко возрастет. Как и объем поставляемых ими на рынок книг.

Вопрос четвертый. Какие деньги? Ты гонишь, что-ли? За что им платить? За них нейросети пишут!

Нет.

В нейросетях нет кнопки "Сделать все зашибись", я проверял. Ей нельзя сказать "Напиши мне книгу про мальчика, который остался сиротой и стал великим магом и трахнул всех теток, и зачморил всех врагов, но только так напиши, чтобы мне было интересно!".

Так она вам ни шиша не напишет.

Я этим не занимался, но подозреваю, сначала надо разработать план книги - либо самому, либо с помощью нейросетки, но второе хуже, у нее креативность так себе. Потом скармливать ей похожие книги в качестве образца, писать ей промт на каждую главу, заставлять переписывать, когда она налажала, редачить то, что она родила в муках нейро-творчества... В общем, делать примерно то же, чем занимались авторы жанровой литературы, только рутинный труд написания слов и предложений будет механизирован.

Это будет нормальная работа оператором писательской шайтан-машины, этой профессии еще на курсах учить будут, вот увидите.

Сейчас все посуетятся немного, покричат, потом все успокоится. И дальше будет на рынке два типа книжек - фабричная продукция и кустарные изделия, сделанные от начала до конца одним ремесленником.

Хэнд-мейд литературного рынка, чо уж там.

Телеграм: t.me/ainewsline

Источник: author.today

Комментарии: