Cloudflare теперь по умолчанию будет блокировать AI-ботов

Крупнейший поставщик интернет-архитектуры Cloudflare теперь по умолчанию будет блокировать известные веб-краулеры искусственного интеллекта, чтобы предотвратить их «доступ к контенту без разрешения или компенсации», как было объявлено во вторник. С этим изменением Cloudflare начнет спрашивать новых владельцев доменов, хотят ли они разрешить AI-скрейперам доступ, и даже позволит некоторым издателям внедрить плату «Pay Per Crawl» (оплата за сканирование).

Программа Pay Per Crawl позволит издателям устанавливать цену за доступ AI-скрейперов к их контенту. AI-компании смогут просматривать цены и выбирать, регистрироваться ли в программе «Pay Per Crawl» или отказаться. Пока это доступно только для «группы ведущих издателей и создателей контента», но Cloudflare заявляет, что обеспечит возможность для AI-компаний использовать качественный контент «правильным образом — с разрешения и компенсацией».

Cloudflare уже некоторое время помогает владельцам доменов бороться с AI-краулерами. Компания начала разрешать веб-сайтам блокировать AI-краулеров в 2023 году, но это применялось только к тем, которые соблюдают файл robots.txt, не имеющее юридической силы соглашение, которое указывает, могут ли боты сканировать его контент. Cloudflare начала разрешать веб-сайтам блокировать «все» AI-ботов в прошлом году — независимо от того, соблюдают ли они файл robots.txt или нет — и теперь эта настройка включена по умолчанию для новых клиентов Cloudflare. (Компания идентифицирует скрейперов, которых нужно заблокировать, сравнивая их со своим списком известных AI-ботов.)

Также Cloudflare представила в марте функцию, которая отправляет веб-краулинг-ботов в «AI Labyrinth» (AI-лабиринт), чтобы удержать их от сканирования сайтов без разрешения. Несколько крупных издателей и онлайн-платформ, включая The Associated Press, The Atlantic, Fortune, Stack Overflow и Quora, поддерживают новые ограничения Cloudflare на AI-краулеров, поскольку веб-сайты сталкиваются с будущим, в котором все больше людей получают информацию через AI-чат-ботов, а не через поисковые системы.

«Люди доверяют AI больше за последние шесть месяцев, что означает, что они не читают оригинальный контент», — заявил генеральный директор Cloudflare Мэтью Принс (Matthew Prince) во время мероприятия Axios Live на прошлой неделе. Кроме того, Cloudflare заявляет, что работает с AI-компаниями, чтобы помочь им проверить своих краулеров и позволить им «четко указать свою цель», например, используют ли они контент для обучения, вывода или поиска. Владельцы веб-сайтов могут затем просмотреть эту информацию и определить, каких краулеров допустить.

«Оригинальный контент — это то, что делает Интернет одним из величайших изобретений последнего столетия, и мы должны объединить усилия, чтобы защитить его», — заявил Принс в пресс-релизе. «AI-краулеры сканировали контент без ограничений. Наша цель — вернуть власть создателям, одновременно помогая AI-компаниям внедрять инновации».