Трафик от AI-ботов, собирающих данные с сайтов, сложно монетизировать.

По данным Washington Post, люди все чаще заменяют поиск в Google на инструменты искусственного интеллекта, такие как ChatGPT.

Однако это лишь первое изменение. Согласно информации нью-йоркского стартапа, занимающегося мониторингом компаний, использующих контент-скрейпинг, и предлагающего бесплатный аналитический продукт для обеспечения оплаты за потребляемый контент, трафик от поисковых ботов вырос на 49% в первом квартале 2025 года по сравнению с четвертым кварталом 2024 года (данные по 266 веб-сайтам, половина из которых принадлежат национальным или местным новостным организациям). Представитель OpenAI заявил, что трафик, направляемый на издательства из поисков в ChatGPT, может быть меньше по объему, но он отражает более четкие намерения пользователей по сравнению с обычным просмотром веб-страниц.

Чтобы извлечь выгоду из этого сдвига, веб-сайтам необходимо переориентироваться на посетителей, представляющих собой искусственный интеллект, а не людей, – заявил генеральный директор и соучредитель TollBit Тошит Паниграхи. Он также признал, что добиться оплаты за контент будет непросто, поскольку компании, использующие ИИ, утверждают, что сбор данных из открытых источников является добросовестным использованием, особенно учитывая, что ведущие игроки затрудняют идентификацию новых посетителей, представляющих собой ИИ.

За последние восемь месяцев, по мере развития чат-ботов и интеграции в них функций веб-поиска и "рассуждений" для ответа на более сложные запросы, трафик поисковых ботов резко возрос. Согласно отчету TollBit, он вырос в 2,5 раза быстрее, чем трафик ботов, собирающих данные для обучения, в период с четвертого квартала 2024 года по первый квартал 2025 года. Паниграхи отметил, что данные TollBit могут занижать масштабы этого изменения, поскольку они не учитывают ботов, которые компании, использующие ИИ, отправляют от имени ИИ-агентов, способных выполнять задачи по поручению пользователя, например, заказывать еду через DoorDash. Результаты стартапа также добавляют аргументов в пользу необходимости реструктуризации современного интернета, оптимизированного для результатов поиска Google и алгоритмов социальных сетей, по мере роста популярности ответов, генерируемых ИИ. "Думать о том, что вы оптимизируете свой поиск для людей, – значит упустить большую возможность", – заявил он.

Установка аналитической платформы TollBit бесплатна для новостных издателей, и компания насчитывает более 2000 клиентов, многие из которых сталкиваются с этими серьезными изменениями. Хотя новостные издатели и другие веб-сайты могут внедрять блокировщики для предотвращения сбора контента различными ИИ-ботами, TollBit обнаружил, что в марте более 26 миллионов запросов от ИИ-ботов обошли эти блокировщики. Некоторые компании, использующие ИИ, утверждают, что ботам, действующим от имени ИИ-агентов, не нужно следовать инструкциям для ботов, поскольку они действуют от имени пользователя.

Washington Post также получила комментарий от операционного директора медиакомпании Time, которая успешно заключила соглашения о лицензировании контента с OpenAI и Perplexity. "Подавляющее большинство ИИ-ботов в настоящее время не используют никаких платных механизмов для получения контента… Предстоит еще долгий путь".