Искусственный интеллект может быть взломан для рассылки фишинговых атак

Специалисты по кибербезопасности утверждают, что злоумышленники теперь могут использовать ИИ-агентов для создания и рассылки фишинговых атак. Исследователи Symantec смогли заставить Operator (агент от OpenAI) отправить вредоносное письмо.

Эксперты считают, что появление таких агентов, как Operator, значительно упрощает жизнь преступникам. Раньше ИИ-инструменты помогали злоумышленникам отправлять более мощные угрозы с большей скоростью, что позволяло им проводить более сложные атаки чаще, чем можно было бы представить без этих инструментов. Это также снижало порог вхождения для преступников, делая возможными успешные атаки даже для менее опытных киберпреступников.

Теперь исследователи Symantec смогли использовать Operator для идентификации цели, поиска ее адреса электронной почты, создания скрипта PowerShell, предназначенного для сбора информации о системах, и отправки этого скрипта жертве с помощью «убедительной приманки».

В ходе демонстрации исследователи объяснили, что первые попытки провалились: Operator отказался продолжать, поскольку это включало в себя отправку несанкционированных электронных писем и потенциально конфиденциальной информации. Это могло нарушить политику конфиденциальности и безопасности.

Однако после нескольких изменений в запросе агент создал атаку, имитирующую сотрудника службы IT-поддержки, и отправил вредоносное письмо.

Это представляет серьезную угрозу для команд безопасности, поскольку исследования постоянно показывают, что человеческая ошибка является основной причиной более чем двух третей утечек данных.

В отчете предполагается, что «не так уж долго» агенты станут гораздо более мощными. «Несложно представить сценарий, в котором злоумышленник просто мог бы дать команду одному из агентов «взломать Acme Corp», и агент определил бы оптимальные шаги для выполнения этой задачи».

«Это могло бы включать написание и компиляцию исполняемых файлов, настройку инфраструктуры управления и контроля и поддержание активной многодневной устойчивости в целевой сети. Такая функциональность значительно снизила бы барьеры для злоумышленников».

ИИ-агенты разрабатываются как виртуальные ассистенты, помогающие пользователям бронировать встречи, планировать совещания и писать электронные письма.

Представитель OpenAI заявил TechRadar Pro: «Мы серьезно относимся к таким сообщениям. Наши политики использования запрещают использование продуктов или услуг OpenAI для облегчения или участия в незаконной деятельности, включая попытки мошенничества, обмана или преднамеренного введения в заблуждение других. Мы также внедрили проактивные меры безопасности и строгие ограничения скорости, чтобы смягчить негативное использование». Operator все еще находится на стадии предварительного просмотра для исследований, и мы постоянно совершенствуем и улучшаем его».