Разработчики с открытым исходным кодом говорят, что боты ИИ захватили трафик, заставляя блокировать целые страны

Анонимный читатель приводит отчет Ars Technica: разработчик программного обеспечения Xe Iaso столкнулся с серьезной проблемой в начале этого года, когда агрессивный трафик поисковых роботов AI от Amazon перегрузил их сервис Git-репозитория, многократно вызывая нестабильность и простои. Несмотря на настройку стандартных защитных мер - корректировку файла robots.txt, блокирование известных пользовательских агентов поисковых роботов и фильтрацию подозрительного трафика - Iaso обнаружил, что поисковые роботы AI продолжают уклоняться от всех попыток остановить их, подделывая пользовательские агенты и используя жилые IP-адреса в качестве прокси-серверов. В отчаянии, пытаясь найти решение, Iaso в конечном итоге переместил свой сервер за VPN и создал "Anubis" - собственную систему проверки Proof-of-Work, которая заставляет веб-браузеры решать вычислительные задачи перед доступом к сайту.

«Бесполезно блокировать ботов поисковых роботов AI, потому что они лгут, меняют свой пользовательский агент, используют жилые IP-адреса в качестве прокси и многое другое», - написал Iaso в своем блоге под названием «Отчаянный крик о помощи». «Я не хочу закрывать свой сервер Gitea от общественности, но сделаю это, если потребуется».

История Iaso ярко иллюстрирует более широкий кризис, который быстро распространяется по сообществу открытого исходного кода. Агрессивные поисковые роботы AI все чаще перегружают инфраструктуру с открытым исходным кодом, вызывая то, что можно назвать постоянными атаками типа «отказ в обслуживании» (DDoS) на важные общественные ресурсы. Согласно последнему всестороннему отчету LibreNews, некоторые проекты с открытым исходным кодом теперь видят до 97% своего трафика, исходящего от ботов компаний AI, что значительно увеличивает затраты на пропускную способность, нестабильность службы и усложняет работу уже перегруженных сотрудников.

Кевин Фенци (Kevin Fenzi), член команды sysadmin проекта Fedora Pagure, сообщил в своем блоге, что проекту пришлось заблокировать весь трафик из Бразилии после многочисленных попыток смягчить ботовый трафик. GNOME GitLab внедрил систему «Anubis» Iaso, требующую от браузеров решения вычислительных задач перед доступом к содержимому. Системный администратор GNOME Барт Пьотровски (Bart Piotrowski) поделился в Mastodon, что только около 3,2% запросов (2690 из 84056) прошли их систему проверки, что говорит о том, что подавляющее большинство трафика было автоматизировано. Согласно LibreNews, ссылаясь на чат KDE Development, инфраструктура GitLab KDE временно была отключена от сети из-за ботового трафика, исходящего из диапазонов IP Alibaba.

Хотя «Anubis» оказался эффективным для фильтрации ботового трафика, он имеет недостатки для законных пользователей. Когда много людей одновременно получают доступ к одной и той же ссылке — например, когда ссылка GitLab делится в чате — они могут столкнуться с серьезными задержками. По данным новостного издания, некоторые пользователи мобильных устройств сообщали о том, что им приходилось ждать до двух минут, пока завершится проверка Proof-of-Work.