Сначала посмотрим, затем разберемся: почему безопасность критически важна для успеха агентного ИИ

2025 год обещает стать годом агентного ИИ? Гипербола уже набирает обороты, так как эксперты прогнозируют, что новая волна технологий может обеспечить повышение продуктивности на два или три раза по сравнению с текущими крупными моделями языка (LLM). Правительства активно включаются: недавно новое правительство Labour Великобритании объявило о планах "ускорения" использования ИИ, интегрируя его во все большее число бизнес-процессов.

Однако вместе с обещаниями роста и эффективности агентный ИИ приносит с собой новые киберриски. Эти риски не ограничиваются потенциальными проблемами конфиденциальности и безопасности данных. Они также затрагивают возможность неконтролируемого поведения систем ИИ, что может привести к непредвиденным последствиям для бизнеса.

Так как организациям следует надеяться вернуться на оперативную позицию? Прежде всего, подходя к ИИ из перспективы безопасности "изначально встроенная". Это означает обеспечение того, чтобы руководители по безопасности имели место за столом обсуждений новых проектов. Также необходимо проводить DPIA до запуска любого нового инициативы.

Во-первых, следует применять подход "человек в цикле", чтобы гарантировать, что критические решения, принимаемые агентным ИИ, могут быть проверены и при необходимости отменены специалистами по IT. Временная мониторинг поведения и производительности ИИ будет флагировать моменты для рассмотрения членами команды IT. Регулярные аудиты ИИ-систем помогут убедиться, что они принимают правильные решения без смещений или рисков.

Также важно сосредоточиться на управлении, чтобы обеспечить этические руководства для разработки и использования ИИ, регулярно проверяя соблюдение таких правил. Сотрудники, работающие с ИИ, должны быть обучены повышению своей грамотности в технологиях, а также умению использовать их безопасно и этично.

Наконец, организации должны обратиться к лидерам по безопасности ИИ для помощи в снижении немедленных кибер-рисков. Подход на основе нулевого доверия поможет гарантировать, что только авторизованные пользователи могут получить доступ к системам ИИ и быстро обнаруживать злонамеренную активность, такую как внедрение подсказок и утечки или хищения данных.

С появлением волны агентного ИИ на глобальных организациях и его интеграции во все больше бизнес-процессов риск возникновения чего-то неправильного — намеренно или случайно — будет только расти. Давайте предотвратим этот риск сейчас, а не ждать, пока он усилится и потенциально сорвет важные проекты.