Cloudflare использует ИИ для борьбы с собой: бесконечный лабиринт бессмысленных фактов

В этой неделе провайдер веб-инфраструктуры Cloudflare представил функцию «AI Labyrinth», предназначенную для предотвращения несанкционированного сбора данных ИИ путем подачи ботам реалистичного, но несущественного контента вместо прямого блокирования. Система заманивает поисковых роботов в «лабиринт» из страниц, сгенерированных с помощью ИИ, содержащих нейтральную научную информацию, специально тратя вычислительные ресурсы тех, кто пытается собрать обучающие данные для языковых моделей без разрешения.

«Когда мы обнаруживаем несанкционированное сканирование, вместо блокирования запроса, мы будем ссылаться на серию страниц, созданных с помощью ИИ, которые достаточно убедительны, чтобы привлечь поискового робота к их просмотру», – объяснил Cloudflare. Компания сообщает, что поисковые роботы ИИ генерируют более 50 миллиардов запросов к их сети ежедневно, составляя почти 1% всего веб-трафика, который они обрабатывают. Функция доступна всем клиентам Cloudflare, включая тех, кто использует бесплатные планы.

Этот подход знаменует собой отход от традиционных методов защиты, поскольку Cloudflare утверждает, что блокирование ботов иногда сигнализирует операторам о том, что они были обнаружены. Ложные ссылки содержат мета-директивы, чтобы предотвратить индексацию поисковыми системами, оставаясь при этом привлекательными для ботов-скрейперов данных.