Президент Signal заявил о "серьезных" проблемах с безопасностью и конфиденциальностью агентированного ИИ

Президент популярного мессенджера Signal Мередит Уиттакер (Meredith Whittaker) предостерегает от рисков, связанных с использованием ИИ-агентов. По её словам, активное применение этих инструментов представляет серьезную угрозу для приватности и безопасности пользователей.

Уиттакер отметила на конференции SXSW, что ИИ-агенты часто рекламируются как "волшебные боты", которые могут предугадывать множество шагов вперед и выполнять задачи за пользователя. Это может создать иллюзию, что пользователь больше не должен заботиться о выполнении рутинных действий самостоятельно.

Однако, по мнению Уиттакер, это преимущество имеет свою цену. Хотя использование ИИ-агентов стало популярным, она подчеркнула, что с этими ботами связан реальный риск из-за необходимости предоставления им значительного доступа к пользовательским данным.

Например, если вы попросите ИИ-агента забронировать концерт для вас и ваших друзей — задача, которая в принципе должна быть простой, — это означает, что агенту потребуется доступ к вашему браузеру, информации о кредитной карте, календарю и даже сообщениям, чтобы оповестить друзей. Это значит, что с одной задачи агент получит доступ к финансовой информации, ежедневным планам и личным сообщениям пользователя.

Уиттакер пояснила: Это потребует возможности управлять всем этим в рамках всей системы, как будто это root-разрешение, с доступом ко всем базам данных, вероятно, без шифрования. Это может привести к серьезным проблемам безопасности и конфиденциальности, особенно если данные попадут в неправильные руки.

Мессенджеры с полным шифрованием (E2EE), такие как Signal, могут компрометировать приватность пользователей при интеграции с ИИ-агентами даже для таких простых задач, как отправка сообщений друзьям или подведения итогов входящих сообщений. Вероятно, все это будет обрабатываться на облачном сервере и затем возвращаться обратно, — добавила Уиттакер.

Таким образом, есть глубокая проблема безопасности и конфиденциальности, которая преследует гиперболическую оценку возможностей ИИ-агентов. Она угрожает нарушить границу между приложением и операционной системой, объединяя различные сервисы и смешивая их данные.

Всё это подчеркивает необходимость тщательного подхода к интеграции ИИ-технологий в повседневные задачи и обеспечения безопасности пользовательских данных.