Проект AI-News.ru: полная смена поискового движка

Это наш ответ на появление ChatGPT и прочих бредогенертов. Которые за последнее время привели к появлению значительного числа полностью и частично  генерированных  и как следствие совершенно пустых статей. Если раньше на некоторое более-менее важное событие откликалось  3-4 новостных сайта и 2-3 блогера, чье творчество было заметно в сети,  то сегодня может появиться десяток бредогенерированных статьи на эту тему и еще десяток празно о ней рассуждующих. Последнее правда вызванно в большей степени общим увеличением статей на тему ИИ.  Все это “уникальное и креативное” дерьмо в некоторые дни полностью забивает окно поисковой машины. Которое используется в алгоритме поскольку обработать зараз весь новостной поток с Интернета вычислительно невозможно.

Вообще проблема не так остра как казалось изначально.  За последние пару месяцев число бредогенерированных статей упало. Горе блогеры наигрались, а читатели от них устали. С другой стороны появился постоянный  “гул” из некоторого числа наполовину генерированных статей.  Именно они представляют наибольшую проблему. Их немного, но все они “уникальны&пусты”, и часто обманывает текущий поисковый движок.

Причем проводимая, в первую очередь Яндексом и ВКонтаке, политика на искусственное продвижение “уникального авторского контента” сильно усугубляет ситуацию.  Отсеивать бредогенерированный и набитый галлюцинациями текст они не умеют и как следствие “уникальные” статьи получают больший, искусственно усиленный охват. Эти безмозглые не понимают, что вредят сами себе.  

Новый поисковый движок выполнен на совершенно другой математике и теоретически должен быть более устойчив к наполненному галлюцинациями тексту. В нем сами галлюцинации (псевдослучайные последовательности групп слов) сами являются одной и метрик. Что позволяет собирать все наполненные галлюцинациями статьи в один кластер.  Другим  достоинством нового движка является больший размер просматриваемого окна.  Что обусловлено другим алгоритмом работы с базой данных.

Переход на новый поисковый движок займет 2-3 месяца. Поскольку необходимо обеспечить сохранность всех старых статей. Сейчас машина помнит все попавшие в ленту статьи за последние 9.5 лет  и если базу очистить, то старые статьи которые периодически появляются на других сайтах или в виде постов в социальных сетях опять попадут к нам в ленту.

С одной стороны это первое за последние 9.5 полное обновление поискового движка, а с другой возможно и единственное перед появлением общедоступной версии.  Которая позволит каждому собирать собственную новостную ленту.    

Источник: vk.com

Комментарии: