Новая уязвимость использует внедрение подсказок (prompts) для компрометации долговременной памяти модели Gemini.

В молодой области хакерства с искусственным интеллектом (ИИ), косвенное внедрение подсказок стало основным методом для заражения чат-ботов, чтобы те выливали конфиденциальные данные или выполняли другие вредоносные действия. Разработчики платформ, таких как Google's Gemini и OpenAI's ChatGPT, обычно хорошо справляются с устранением этих уязвимостей, но хакеры постоянно находят новые способы их обхода.

В понедельник исследователь Йоханн Рехбергер продемонстрировал новый способ обхода защитных механизмов от внедрения подсказок, встроенных разработчиками Google в Gemini — конкретно тех мер безопасности, которые ограничивают использование Google Workspace или других чувствительных инструментов при обработке ненадежных данных, таких как входящие электронные письма или совместно редактируемые документы.

Результатом атаки Рехбергера стало создание долгосрочных и постоянных «памятей», которые будут присутствовать во всех будущих сессиях, что откроет возможность для чат-бота действовать на основе ложной информации или инструкций на протяжении всего времени работы.

Большая доверчивость

Позже более подробно об атаке. А пока краткий обзор косвенного внедрения подсказок: Подсказки в контексте больших языковых моделей (LLM) — это инструкции, предоставляемые либо разработчиками чат-ботов, либо самим пользователем, чтобы выполнить определенные задачи, такие как сводка электронного письма или составление ответа. Но что если этот контент содержит вредоносную инструкцию? Оказывается, что чат-боты настолько стремятся выполнять инструкции, что часто следуют им даже тогда, когда они не были предназначены для этого.

Результатом атаки Рехбергера стало внедрение долгосрочных и постоянных «памятей» в чат-бота. Это означает, что чат-бот будет использовать ложную информацию или инструкции во всех последующих сессиях.