Программное обеспечение с открытым исходным кодом, спасающее интернет от ботов-скрейперов с искусственным интеллектом.

Анонимный читатель ссылается на отчет 404 Media: для человека, который утверждает, что борется с ботами-скрейперами в свободное время, Xe Iaso демонстрирует впечатляющие результаты. С момента запуска в январе программа Anubis, разработанная для защиты небольших сайтов от непрерывного потока запросов, поступающих от компаний, занимающихся искусственным интеллектом, была скачана почти 200 000 раз и используется заметными организациями, включая GNOME, популярную среду рабочего стола с открытым исходным кодом для Linux, FFmpeg, проект с открытым исходным кодом для обработки видео и других мультимедийных файлов, и UNESCO – организацию Объединенных Наций в области образования, науки и культуры.

“Anubis – это 'анти-капча'”, – объясняет Iaso на своем сайте. “Он использует возможности вашего браузера для автоматизации большей части работы, которую выполняет CAPTCHA, и на данный момент основная реализация заключается в выполнении ряда криптографических вычислений с помощью JavaScript, чтобы доказать, что вы можете запускать JavaScript способом, который может быть проверен на сервере”. По сути, Anubis проверяет, является ли любой посетитель сайта человеком, использующим браузер, а не ботом. Один из способов достижения этого – заставить браузер выполнять тип криптографических вычислений с помощью JavaScript или другие тонкие проверки, которые браузеры выполняют по умолчанию, но которые боты должны выполнять явно. Эта проверка невидима для пользователя, и большинство браузеров с 2022 года способны пройти этот тест. Теоретически, боты-скрейперы могли бы притворяться пользователями с браузерами, но дополнительные вычислительные затраты на это в масштабе сбора данных со всего интернета были бы огромными. Таким образом, Anubis создает вычислительные затраты, которые являются непомерно высокими для ботов-скрейперов, обращающихся к миллионам сайтов, но незначительными для обычного пользователя, использующего интернет как человек.

Anubis бесплатен, имеет открытый исходный код, является легковесным, может быть размещен на собственном сервере и может быть реализован практически где угодно. Он также, по всей видимости, является хорошим решением для широко распространенной проблемы в интернете, что объясняет его популярность. Но Iaso продолжает работать над улучшением и добавлением новых функций. Она рассказала, что работает над задачей, не требующей криптографии, чтобы снизить нагрузку на процессоры пользователей, а также рассматривает версию, не требующую JavaScript, который некоторые пользователи, заботящиеся о конфиденциальности, отключают в своих браузерах. Самой большой проблемой при разработке Anubis, по словам Iaso, является поиск баланса. “Баланс между тем, как блокировать вещи, не блокируя при этом людей, не затронув слишком многих ложными срабатываниями, – говорит она. – И также убедиться, что люди, запускающие ботов, не смогут понять, с каким шаблоном они сталкиваются, в то время как люди, попавшие в эту сеть, смогут понять, с каким шаблоном они сталкиваются, чтобы они могли связаться с организацией и получить помощь. Это, знаете ли, стандартный, невозможный сценарий”.