Википедия борется с прожорливыми ботами-сканерами ИИ

Wikimedia Foundation сообщает о 50-процентном увеличении объема трафика, используемого для загрузки мультимедийного контента с января 2024 года. Однако причиной этого не стало внезапное увлечение читателей Википедии статьями, видеороликами или файлами из Wikimedia Commons. Рост трафика вызван ботами-скрейперами – автоматизированными программами, которые скачивают изображения, видео, статьи и другие файлы Wikimedia с открытыми лицензиями для обучения генеративных моделей искусственного интеллекта.

Такое резкое увеличение трафика от ботов может замедлить доступ к страницам и ресурсам Wikimedia, особенно во время событий повышенного интереса. Например, после смерти Джимми Картера в декабре интерес к видео его президентских дебатов с Рональдом Рейганом привел к замедлению загрузки страниц для некоторых пользователей.

Wikimedia готова выдерживать всплески трафика от обычных читателей во время таких событий, и просмотр видео с участием Картера не должен был вызвать никаких проблем. Однако, как отмечает фонд, «объем трафика, генерируемый ботами-скрейперами, беспрецедентен и создает растущие риски и расходы».

Wikimedia объясняет, что обычные читатели обычно ищут конкретные и часто похожие темы. Например, когда тема становится популярной, многие люди ищут одно и то же. Wikimedia кэширует запрошенные несколько раз фрагменты контента в дата-центре, ближайшем к пользователю, что позволяет ему быстрее предоставлять контент.

Однако статьи и контент, к которым не обращались в течение длительного времени, должны быть предоставлены из основного дата-центра, что требует больше ресурсов и, следовательно, стоит Wikimedia больше денег. Поскольку боты AI склонны считывать большие объемы страниц, они обращаются к малоизвестным страницам, которые должны быть предоставлены из основного дата-центра.

Wikimedia сообщает, что при более детальном рассмотрении 65% ресурсоемкого трафика поступает от ботов. Это уже постоянно создает проблемы для команды надежности сайта, которая вынуждена блокировать ботов, чтобы они не значительно замедлили доступ к страницам для реальных читателей.

Как отмечает Wikimedia, основная проблема заключается в том, что «расширение произошло в значительной степени без достаточной атрибуции, которая является ключом для привлечения новых пользователей и вовлечения их в движение». Фонд, который зависит от пожертвований людей для продолжения работы, должен привлекать новых пользователей и побуждать их заботиться о его деле.

«Наш контент бесплатен, наша инфраструктура – нет», – заявил фонд. Wikimedia сейчас ищет устойчивые способы предоставления доступа к своему контенту разработчикам и повторным пользователям в предстоящем финансовом году. Ему приходится это делать, потому что он не видит признаков замедления трафика, связанного с ИИ, в ближайшее время.