Почему у вас почти наверняка есть проблема с теневым ИИ

Даже соседская собака знает, что не стоит кликать на ссылки в незапрошенных электронных письмах, но сколько из нас действительно понимает, как безопасно использовать ИИ?

Короче говоря, теневой ИИ – это использование неутвержденного ИИ в организации, подобно теневому IT, который фокусируется на устройствах и услугах IT. Если сотрудники могут использовать личный адрес электронной почты или ноутбук, теневой ИИ относится к использованию технологий ИИ, которые не были утверждены для бизнес-случая, особенно когда это может представлять риск для бизнеса.

К этим рискам относятся утечки конфиденциальных или проприетарных данных, что является распространенной проблемой, когда сотрудники загружают документы в службу ИИ, такую как ChatGPT, и ее содержимое становится доступным для пользователей вне компании. Но это также может привести к серьезным проблемам с качеством данных, когда неверная информация извлекается из неутвержденного источника ИИ, что, в свою очередь, может привести к необоснованным бизнес-решениям.

Генеративный ИИ хорошо известен своим потенциалом к галлюцинациям, давая правдоподобные, но в конечном итоге неверные данные. Возьмем в качестве примера сводку результатов поиска от Google AI. Может быть очевидно для заинтересованной стороны с контекстной информацией, что сводка может быть неправильной, но для непосвященного это не так.

Аналитики говорят о том, как минимизировать эти риски. Они предлагают использовать измерения людей, процессов и технологий для решения проблемы теневого ИИ. Одним из подходов является внедрение RAG (Retrieval Augmented Generation) архитектуры, где языковая модель может быть дополнена собственными данными таким образом, чтобы собственные данные оставались в безопасности внутри организации.

Многие компании сейчас внедряют меры контроля и обнаружения, обычно существующие средства кибербезопасности, которые могут быть легко расширены. Например, контроль межсетевых экранов или прокси-серверов или единая система входа в сторонние службы ИИ.

Возможно, наиболее важно то, что нужна большая осведомленность о рисках ИИ. Таким же образом, как у нас есть обучение по кибербезопасности для всех сотрудников, мы должны стремиться к тому, чтобы даже соседская собака понимала, что ИИ широко распространен в различных программных продуктах и что это может представлять собой потенциальные риски.

Понимание рисков разглашения конфиденциальных данных службам ИИ и возможность галлюцинаций и цензуры в ответах ИИ, а также важность рассмотрения ответов ИИ как данных, которые информируют ответ, а не принимать ответ как безупречный. Осведомленность о качестве данных имеет решающее значение.

Информация, которая поступает в модель ИИ, и информация, которая из нее выходит, должна быть проверена, и это понимание мы должны усвоить скорее.