ИИ-глюки приводят к новой киберугрозе: Сквоппинг.

Исследователи обнаружили новую атаку на цепочку поставок, получившую название Slopsquatting, в которой злоумышленники используют галлюцинации – вымышленные, несуществующие имена пакетот, генерируемые инструментами кодирования на основе искусственного интеллекта, такими как GPT-4 и CodeLlama. Почти 20% протестированных образцов оказались такими убедительными, но фальшивыми пакетами, которые могут быть зарегистрированы атакующими для распространения вредоносного кода.

Slopsquatting, как отмечают исследователи, получил свое название от техники typosquatting (опечатки в названии пакета) из-за схожести подходов. Однако, в отличие от typosquatting, где злоумышленники полагаются на ошибку пользователя, в Slopsquatting злоумышленники используют ошибку модели искусственного интеллекта. Значительное количество пакетот – 19,7% (205 000 пакетот) – рекомендованных в тестовых образцах, оказались фальшивками.

Модели с открытым исходным кодом, такие как DeepSeek и WizardCoder, галлюцинировали чаще – в среднем 21,7%, по сравнению с коммерческими моделями (5,2%), такими как GPT-4. CodeLlama оказался наиболее склонным к галлюцинациям (более трети результатов), в то время как GPT-4 Turbo показал наилучший результат (всего 3,59% галлюцинаций).

Особенно опасным является то, что эти галлюцинации пакетот оказались устойчивыми, повторяющимися и убедительными. При повторном запуске 500 запросов, которые ранее генерировали галлюцинированные пакеты, 43% галлюцинаций повторились каждый раз в 10 последовательных запусках, а 58% из них появились более чем в одном запуске. Исследование показало, что эта устойчивость указывает на то, что большинство галлюцинаций – это не просто случайный шум, а повторяющиеся артефакты того, как модели реагируют на определенные запросы. Это повышает их ценность для атакующих.

Кроме того, было обнаружено, что вымышленные имена пакетов "семантически убедительны". 38% из них имеют умереную степень сходства строк с реальными пакетами, что указывает на схожую структуру наименования. "Только 13% галлюцинаций были простыми опечатками", – добавляют исследователи. Результаты исследования опубликованы в статье на arXiv.org (PDF).