与 Google Cloud 网络服务集成

Model Armor 与 Google Cloud 网络服务集成，可在网络层为 AI 应用提供内嵌安全性。借助此集成，Model Armor 可以检查和过滤提示和响应，而无需修改应用代码本身。

此集成的机制是通过 Service Extensions 实现的。 借助 Service Extensions，您可以将自定义逻辑（例如 Model Armor 的安全检查）插入各种 Google Cloud 网络服务的数据路径中。

准备工作

确保您已满足所有前提条件。

集成点

Model Armor 可与以下网络服务集成。

网络服务 说明 参考文档
Cloud Load Balancing 将 Model Armor 与 Service Extensions 搭配使用，以过滤通过第 7 层负载平衡器的流量。这有助于保护利用 LLM 的 Web 应用和 API。 配置流量扩展程序以调用 Model Armor 服务
GKE Inference Gateway 将 Model Armor 与与 GKE 推理网关关联的 Service Extensions 搭配使用，对于在 Google Kubernetes Engine 上运行的容器化 AI 应用或 LLM，检查进出 GKE 集群的流量并强制执行政策。 使用 GKE Inference Gateway 配置 AI 安全和安全检查
Secure Web Proxy 将 Model Armor 与 Secure Web Proxy 搭配使用，以检查和保护从 VPC 到 AI 应用、MCP 服务器或 LLM 的出站流量。 配置流量扩展程序

工作原理

Service Extensions 使 Google Cloud 网络产品 能够在数据传输期间调用 Model Armor。

  1. 当进出 AI 应用、MCP 服务器或模型的流量通过配置的网络服务（例如负载均衡器）时，Service Extensions 会将请求或响应内容转发给 Model Armor 以进行检查。
  2. Model Armor 会根据您预配置的模板设置应用一组过滤条件。这些过滤条件可以识别和阻止提示注入、越狱检测尝试、敏感数据泄露、恶意网址以及有害或不当内容，例如仇恨言论和骚扰。
  3. 根据扫描结果和您的政策，Model Armor 会指示网络服务允许、阻止或修改流量，确保只有安全且合规的互动才能到达或离开 AI 应用、MCP 服务器或模型。

后续步骤