Веб-скрейпинг: ИИ-боты нарушают работу научных баз данных и журналов.

Автоматизированные веб-скрейперы, собирающие данные для обучения моделей искусственного интеллекта, наводнили научные базы данных и академические журналы таким объемом трафика, что многие сайты стали неработоспособными. Онлайн-репозиторий изображений DiscoverLife, содержащий около 3 миллионов фотографий видов, начал получать миллионы ежедневных запросов в феврале этого года, что привело к замедлению работы сайта до полной невозможности загрузки, сообщает Nature в понедельник.

Этот всплеск усилился после выпуска DeepSeek, китайской большой языковой модели, продемонстрировавшей, что эффектифный искусственный интеллект можно построить с меньшими вычислительными ресурсами, чем считалось ранее. Это открытие спровоцировало то, что отраслевые наблюдатели описывают как «взрыв ботов, стремящихся собрать данные, необходимые для обучения этого типа моделей». Конфедерация открытых репозиториев сообщила, что более 90% из 66 опрошенных членов столкнулись со скрейпингом данных ботами искусственного интеллекта, при этом примерно две трети испытали сбои в обслуживании. Издатель медицинского журнала BMJ зафиксировал, что трафик от ботов превысил активность легитимных пользователей, перегружая серверы и прерывая обслуживание клиентов.