Коалиция открытого исходного кода анонсирует "подписание моделей" с помощью Sigstore для усиления цепочки поставок машинного обучения

Появление больших языковых моделей (LLM) и приложений на основе машинного обучения "открыло дверь для новой волны киберугроз", - утверждает блог Google по вопросам безопасности. К ним относятся отравление модели и данных, инъекция запросов, утечка запросов и уклонение от запросов.

В рамках некоммерческого Фонда открытого программного обеспечения Linux Foundation и в партнерстве с NVIDIA и HiddenLayer, команда открытой безопасности Google в пятницу объявила о выпуске первой стабильной библиотеки для подписания моделей (размещенной на PyPI.org). Цифровые подписи позволяют пользователям проверять, что модель, используемая их приложением, "является точно той же моделью, которая была создана разработчиками", - говорится в сообщении на блоге Google по вопросам безопасности.

Поскольку модели представляют собой неисследуемую коллекцию весов (иногда также с произвольным кодом), злоумышленник может вмешиваться в них и оказывать существенное влияние на тех, кто использует эти модели. Пользователи, разработчики и специалисты должны задать себе важный вопрос при оценке рисков: "Могу ли я доверять этой модели?"

С момента своего запуска фреймворк Secure AI Framework (SAIF) от Google создавал руководства и технические решения для создания приложений ИИ, которым пользователи могут доверять. Первым шагом к достижению доверия к модели является возможность для пользователей проверять ее целостность и происхождение, чтобы предотвратить вмешательство на всех этапах – от обучения до использования – с помощью криптографического подписания... Подпись должна быть проверена при загрузке модели в хаб моделей, при выборе модели для развертывания в приложении (встроенном или через удаленные API) и при использовании модели в качестве посредника во время другого цикла обучения. При условии, что инфраструктура обучения является надежной и не скомпрометирована, этот подход гарантирует, что каждый пользователь модели может доверять ей...

Однако среднему разработчику, вероятно, не захочется управлять ключами и обновлять их в случае нарушения. Эти проблемы решаются с помощью Sigstore - набора инструментов и сервисов, которые делают подписание кода безопасным и простым. Связывая токен OpenID Connect с рабочей нагрузкой или идентификатором разработчика, Sigstore устраняет необходимость в управлении ключами. Пакет также можно использовать как библиотеку, которую мы планируем интегрировать непосредственно в потоки загрузки хабов моделей, а также в фреймворки ML.

«Мы можем рассматривать подписание модели как установление основ доверия в экосистеме ML...» - заключает сообщение (добавляя: «Мы планируем расширить этот подход, чтобы включить в него также наборы данных и другие артефакты, связанные с ML»).

Затем мы планируем построить на основе подписей полностью защищенные от вмешательства записи метаданных, которые можно читать как людям, так и машинам. Это может автоматизировать значительную часть работы, необходимой для реагирования на инциденты в случае нарушения в мире ML...

Чтобы помочь создать будущее с защитой от вмешательств в ML, присоединяйтесь к Коалиции Secure AI, где мы планируем работать над созданием всей экосистемы доверия вместе с сообществом открытого исходного кода. В сотрудничестве с несколькими промышленными партнерами мы создаем специальную группу интересов в рамках CoSAI для определения будущего подписания ML и включения защищенных от вмешательства метаданных ML, таких как карточки моделей и результаты оценки.