Perplexity использует скрытых, незаявленных краулеров для обхода директив запрета сканирования, утверждает Cloudflare.

Стартап в области искусственного интеллекта Perplexity использует незадекларированных веб-краулеров, маскирующихся под обычные браузеры Chrome, для доступа к контенту веб-сайтов, которые явно заблокировали его официальных ботов, согласно отчету Cloudflare, опубликованному в понедельник. Когда задекларированные краулеры Perplexity сталкиваются с ограничениями в файле robots.txt или сетевыми блокировками, компания переключается на универсальный user agent, имитирующий "Chrome/124.0.0.0 Safari/537.36", работающий на macOS, сообщает компания, занимающаяся веб-инфраструктурой.

Инженеры Cloudflare протестировали такое поведение, создав новые домены с файлами robots.txt, запрещающими любой автоматизированный доступ. Несмотря на эти ограничения, Perplexity предоставлял подробную информацию о защищенном контенте по запросу, в то время как скрытый краулер генерировал от 3 до 6 миллионов запросов в день на десятки тысяч доменов. Незадекларированный краулер использовал несколько IP-адресов и сетевых провайдеров, чтобы избежать обнаружения.