Как злоумышленники могут скомпрометировать помощников по кодированию с помощью файлов правил

Читатель Slashdot под ником spatwei поделился этим отчетом с сайта SC World о кибербезопасности:

Ассистенты по кодированию на основе ИИ, такие как GitHub Copilot и Cursor, могут быть скомпрометированы для генерации кода, содержащего бэкдоры, уязвимости и другие проблемы с безопасностью путем распространения вредоносных файлов конфигурации правил, сообщили в tirsday исследователи из Pillar Security. Файлы правил используются агентами кодирования на основе ИИ для управления их поведением при генерации или редактировании кода. Например, файл правил может включать инструкции для ассистента о соблюдении определенных лучших практик кодирования, использовании конкретного форматирования или выводе ответов на определенном языке.

Техника атаки, разработанная исследователями Pillar Security, которую они назвали "Бэкдор файла правил", использует файлы правил, вставляя в них инструкции, которые не видны пользователю-человеку, но читаются агентом ИИ.

Скрытые символы Unicode, такие как маркеры двунаправленного текста и соединители нулевой ширины, могут быть использованы для сокрытия вредоносных инструкций в пользовательском интерфейсе и в запросах на слияние в GitHub, отметили исследователи.

Конфигурации правил часто разделяются между сообществами разработчиков и распространяются через репозитории с открытым исходным кодом или включаются в шаблоны проектов; поэтому злоумышленник мог бы распространять вредоносный файл правил, поделившись им на форуме, опубликовав его на платформе с открытым исходным кодом, такой как GitHub, или внедрив его через запрос на слияние в популярный репозиторий. После того, как отравленный файл правил будет импортирован в GitHub Copilot или Cursor, агент ИИ прочтет и выполнит инструкции злоумышленника, помогая жертве в будущих проектах кодирования.