Роботы-анализаторы всё ещё не умеют корректно взаимодействовать с сайтами

SourceHut, хостинг-сервис для git с открытым исходным кодом, сообщает, что поисковые роботы компаний по разработке ИИ замедляют работу сервиса из-за чрезмерных требований к данным. В отчете говорится: «SourceHut продолжает сталкиваться с сбоями из-за агрессивных поисковых роботов для систем машинного обучения», — сообщила компания в понедельник на своей странице состояния. «Мы непрерывно работаем над внедрением мер по смягчению последствий. Мы развернули ряд мер, которые пока что позволяют контролировать проблему. Однако некоторые из наших мер могут повлиять на конечных пользователей».

SourceHut сообщил, что развернул Nepenthes — ловушку для поисковых роботов, которые собирают данные в основном для обучения крупным языковым моделям, и отметил, что это может ухудшить доступ к некоторым веб-страницам для пользователей. «Мы в одностороннем порядке заблокировали несколько облачных провайдеров, включая GCP [Google Cloud] и Azure [Microsoft], из-за большого объема ботового трафика, исходящего из их сетей», — заявила компания, порекомендовав администраторам служб, интегрируемых с SourceHut, связаться с ними для получения исключения из блокировки.