Даже сказки небезопасны: исследователи используют детские сказки для взлома чат-ботов ИИ и создания вредоносных программ

Исследователи безопасности разработали новую технику взлома чат-ботов на базе искусственного интеллекта (ИИ). Эта техника не требовала предварительных знаний в области кодирования вредоносных программ. Она заключалась в создании фиктивного сценария, чтобы убедить модель создать атаку.

Несмотря на отсутствие предыдущего опыта в кодировании вредоносных программ, исследователи из Cato CTRL по угрозам предупредили, что им удалось взломать несколько больших языковых моделей (LLM), включая ChatGPT-4o, DeepSeek-R1, DeepSeek-V3 и Microsoft Copilot, используя довольно фантастическую технику. Команда разработала «Погруженный мир», который использует «построение повествования для обхода средств безопасности LLM» путем создания «подробного вымышленного мира» для нормализации ограниченных операций и разработки «полностью эффективной» кражи информации Chrome. Chrome является самым популярным браузером в мире, с более чем 3 миллиардами пользователей, что подчеркивает масштаб риска этой атаки.

Кража информации растет, и стремительно становится одним из самых опасных инструментов в арсенале киберпреступников – и эта атака показывает, что барьеры для киберпреступников значительно снижены, им теперь не нужно иметь предварительный опыт создания вредоносного кода.

ИИ для злоумышленников LLM «коренным образом изменили ландшафт кибербезопасности», утверждается в отчете, и исследования показали, что киберугрозы с использованием ИИ становятся гораздо более серьезной проблемой для команд безопасности и предприятий, позволяя преступникам разрабатывать более сложные атаки с меньшим опытом и с большей частотой. Чат-боты имеют много ограничений и правил безопасности, но поскольку модели ИИ спроектированы для того, чтобы быть как можно более полезными и согласными с пользователем, исследователи смогли взломать модели, включая убеждение агентов ИИ писать и отправлять атаки по фишингу с относительной легкостью.

«Мы считаем, что появление злоумышленников без знаний представляет высокую угрозу для организаций, поскольку барьер для создания вредоносных программ теперь существенно снижен с помощью инструментов GenAI», – сказал Виталий Симонович (Vitaly Simonovich), исследователь по вопросам угроз в Cato Networks. «Кражи информации играют важную роль в краже учетных данных, позволяя злоумышленникам взламывать предприятия. Наша новая техника взлома LLM, которую мы обнаружили и назвали "Погруженный мир", демонстрирует опасный потенциал создания кражи информации с легкостью».