Статьи с тегом: user agent
Perplexity использует скрытых, незаявленных краулеров для обхода директив запрета сканирования, утверждает Cloudflare.
AI-стартап Perplexity обходит блокировки сайтов, используя скрытых веб-краулеров, маскирующихся под обычные браузеры, что позволяет ему получать доступ к заблокированному контенту и предоставлять более полные ответы на запросы пользователей. Обнаруженная практика может нарушать правила использования сайтов и вызывать вопросы о соблюдении этических норм в сфере искусственного интеллекта.
Cloudflare утверждает, что AI-боты Perplexity осуществляют «скрытный обход» заблокированных сайтов.
Perplexity обвинили в обходе защиты сайтов для сбора данных: компания скрывает своих ботов, маскируясь под обычные браузеры, что вызывает опасения у издателей и может привести к блокировкам. Cloudflare уже предпринял меры по борьбе с подобным "скрытным" краулингом, защищая контент своих клиентов от несанкционированного использования.