Cloudflare заманивает ботов для сбора данных в «ИИ-лабиринт»

Cloudflare, одна из крупнейших в мире компаний по интернет-инфраструктуре, объявила о запуске нового инструмента под названием AI Labyrinth, предназначенного для борьбы с веб-краулерами – ботами, которые скрапируют сайты для обучения ИИ без разрешения. В своем блоге компания пишет, что при обнаружении «неприемлемого поведения ботов», бесплатный инструмент по выбору владельцев сайтов заманивает краулеров по цепочке ссылок на страницы-приманки, сгенерированные с помощью ИИ, которые «замедляют, запутывают и тратят ресурсы» злоумышленников.

До сих пор сайты использовали систему robots.txt, текстовый файл, который разрешает или запрещает скрапинг, но, как утверждается, компании по разработке ИИ, даже известные, такие как Anthropic и Perplexity AI, игнорировали эти правила. Cloudflare пишет, что ежедневно обрабатывает более 50 миллиардов запросов от веб-краулеров, и хотя у нее есть инструменты для обнаружения и блокирования вредоносных ботов, это часто побуждает злоумышленников менять тактику в «бесконечной гонке вооружений».

Вместо блокировки ботов AI Labyrinth, как утверждается, противостоит им, заставляя их обрабатывать данные, не связанные с фактическими данными конкретного сайта. Компания также говорит, что инструмент функционирует как «следующее поколение ловушки», приманивая краулеров ИИ, которые продолжают следовать ссылкам на поддельные страницы глубже, в то время как обычный человек этого не сделал бы. Это, по ее словам, облегчает идентификацию вредоносных ботов для списка злоумышленников Cloudflare, а также выявление «новых шаблонов и сигнатур ботов», которые в противном случае остались бы незамеченными.

Согласно публикации, эти ссылки не должны быть видны обычным посетителям. Вы можете прочитать больше о том, как работает AI Labyrinth, на блоге Cloudflare, но вот немного дополнительных деталей из публикации:

«Мы обнаружили, что генерация разнообразного набора тем, а затем создание контента для каждой темы, приводит к более разнообразным и убедительным результатам. Для нас важно не генерировать неточную информацию, которая способствует распространению дезинформации в Интернете, поэтому создаваемый нами контент является реальным и связан с научными фактами, просто не относящимся к скрапируемому сайту».

Администраторы веб-сайтов могут включить AI Labyrinth, перейдя в раздел «Управление ботами» в настройках панели управления Cloudflare своего сайта и включив его. Компания говорит, что это «только первая итерация использования генеративного ИИ для борьбы с ботами». Она планирует создавать «целые сети связанных URL-адресов», которые боты, попавшие туда, будут иметь трудности в определении как поддельных. Как отмечает Ars Technica, AI Labyrinth звучит похоже на Nepenthes, инструмент, который предназначен для отключения краулеров на «месяцы» в аду сгенерированных ИИ мусорных данных.