Президент предупреждает об "основополагающих" проблемах безопасности и конфиденциальности агенционных ИИ

Президент Signal Мередит Уиттакер (Meredith Whittaker) предупредила на конференции SXSW, что агентные ИИ-системы представляют значительные угрозы для приватности и безопасности. Эти системы требуют доступа к обширным массивам личных данных пользователей, которые, вероятно, обрабатываются без шифрования в облаке.

ТехCrunch сообщает: "Можно ли просто поместить наш мозг в банку, потому что машина делает это за нас и нам не нужно этим заниматься?" — задумалась Уиттакер. Затем она объяснила необходимый уровень доступа для ИИ-агентов: им потребуется доступ к вашему веб-браузеру, способность управлять браузером, а также доступ к информации о кредитных картах для оплаты билетов, календарю и мессенджерам для отправки сообщений друзьям. "ИИ-агент должен будет контролировать этот процесс на всем устройстве с привилегиями, похожими на права администратора, доступом ко всем базам данных — вероятно, без шифрования, поскольку нет модели, которая могла бы обрабатывать данные зашифрованно, предупредила Уиттакер.

Если речь идет о достаточно мощной... ИИ-модели, поддерживающей эти функции, это не происходит на устройстве, продолжала она. "Вероятнее всего, данные отправляются на сервер в облаке, где они обрабатываются и затем возвращаются обратно. Здесь возникает серьезная проблема безопасности и приватности, которая омрачает гиперболу вокруг ИИ-агентов и может разрушить границы между прикладным уровнем и уровнем операционной системы, объединяя все эти отдельные сервисы [и] смешивая их данные," заключила Уиттакер.

Если бы мессенджер Signal интегрировался с ИИ-агентами, это подорвало бы приватность сообщений, заявила она. Агенту потребовалось бы доступ к приложению для отправки сообщений друзьям и извлечения данных для их обобщения. Эти комментарии следовали за её более ранними замечаниями на панели о том, что индустрия ИИ была построена на модели массового сбора данных в интересах слежки. Она отметила, что парадигма "чем больше данных, тем лучше" может иметь последствия, которые она не считает положительными.

С агентным ИИ мы еще более подорвем приватность и безопасность ради "волшебного бота-джинна", который должен упростить повседневную жизнь, заключила Уиттакер. Полное выступление можно посмотреть на YouTube.