Исследователи взломали Google Gemini, чтобы получить контроль над умным домом.

Журнал Wired сообщил о новом исследовании в области кибербезопасности, продемонстрировавшем взлом искусственного интеллекта Google Gemini. Исследователям удалось управлять подключенными устройствами умного дома посредством косвенных инъекций запросов в приглашениях Google Calendar. Когда пользователь запрашивал сводку своего календаря и благодарил Gemini за результаты, вредоносный запрос отдавал указание агенту Google Home AI выполнять действия, такие как открытие окон или выключение света, как показано в видео.

Перед демонстрацией атак на конференции по кибербезопасности Black Hat, команда поделилась своими результатами непосредственно с Google в феврале. Энди Вэн (Andy Wen), старший директор по управлению продуктами безопасности Google Workspace, рассказал Wired о полученных результатах. "Мы полагаем, что эта проблема будет с нами некоторое время, но надеемся, что сможем достичь ситуации, когда обычный пользователь не будет слишком беспокоиться об этом", – сказал он об атаках с использованием инъекций запросов, добавив, что случаи таких взломов в реальном мире "крайне редки".

Однако растущая сложность больших языковых моделей означает, что злоумышленники могут искать новые способы их эксплуатации, что затрудняет защиту от таких атак. Энди Вэн заявил, что Google воспринял уязвимости, обнаруженные исследователями, "с огромной серьезностью" и использовал эти результаты для ускорения работы над созданием более совершенных инструментов для блокировки этого типа атак.