Искусственный интеллект создает серьезную угрозу безопасности из-за «галлюцинаций» пакетов.

Новое исследование [PDF] показывает, что сгенерированный искусственным интеллектом код часто ссылается на несуществующие сторонние библиотеки, создавая возможности для атак на цепочку поставок.

Исследователи проанализировали 576 000 образцов кода, полученных из 16 популярных больших языковых моделей, и обнаружили, что 19,7% зависимостей пакето́в – в общей сложности 440 445 – являются "галлюцинациями".

Эти несуществующие зависимости усугубляют атаки, основанные на путанице зависимостей, когда вредоносные пакеты с идентичными названиями легитимных могут проникнуть в программное обеспечение.

Модели с открытым исходным кодом "галлюцинировали" почти в 22% случаев, по сравнению с 5% для коммерческих моделей.

“Как только злоумышленник публикует пакет под галлюцинированным названием, содержащий некоторый вредоносный код, он рассчитывает на то, что модель предложит это название ничего не подозревающим пользователям”, – заявил ведущий исследователь Джозеф Спраклен (Joseph Spracklen).

Тревожно, что 43% галлюцинаций повторялись в нескольких запросах, что делает их предсказуемыми целями.