Из-за бума ИИ все сложнее сохранять наследие интернета

Из-за резко выросшего спроса со стороны дата-центров цены на жёсткие диски большого объёма выросли в несколько раз, а свободные партии практически полностью уходят крупным облачным компаниям.

Организации вроде Internet Archive, поддерживающей Wayback Machine, или Wikimedia Foundation, отвечающая за Википедию., уже столкнулись с тем, что нужные им накопители просто исчезли с рынка или стали слишком дорогими. При этом их архивы постоянно растут — ежедневно добавляются сотни терабайт данных, и хранение всего этого требует всё больше ресурсов. Даже при поддержке доноров и производителей ситуация становится всё сложнее.

Дополнительная проблема — ограничения на сбор данных. Компании, разрабатывающие ИИ, активно используют массовый скрейпинг интернета для обучения моделей, из-за чего многие сайты начали блокировать автоматический доступ. В итоге под ограничения попадают и архивные проекты, которым те же механизмы нужны для сохранения страниц.

В результате энтузиасты и небольшие инициативы по сохранению данных уже фактически замедлили работу, а крупные архивные организации пока держатся только за счёт ресурсов и запасов. Общая картина выглядит так, что инфраструктура сохранения интернета начинает проигрывать конкуренцию новым ИИ-системам за те же самые вычислительные и физические ресурсы.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: