与 Google Cloud 网络服务集成

Model Armor 可与 Google Cloud 网络服务集成,在网络级层为 AI 应用提供内联安全防护。借助此集成,Model Armor 可以检查和过滤提示和回答,而无需修改应用代码本身。

此集成的机制是通过 Service Extensions 实现的。借助 Service Extensions,您可以将自定义逻辑(例如 Model Armor 的安全检查)插入各种Google Cloud 网络服务的数据路径中。

准备工作

确保您已满足所有前提条件

集成点

Model Armor 可与以下网络服务集成。

网络服务 说明 参考文档
Cloud Load Balancing 将 Model Armor 与 Service Extensions 搭配使用,以过滤通过第 7 层负载平衡器的流量。这有助于保护利用 LLM 的 Web 应用和 API。 配置流量扩展程序以调用 Model Armor 服务
GKE 推理网关 将 Model Armor 与关联到 GKE 推理网关的 Service Extensions 搭配使用,以便对在 Google Kubernetes Engine 上运行的容器化 AI 应用或 LLM 的入站或出站流量进行检查并强制执行政策。 使用 GKE 推理网关配置 AI 安全性检查
安全 Web 代理 将 Model Armor 与 Secure Web Proxy 搭配使用,可检查并保护从 VPC 到 AI 应用、MCP 服务器或 LLM 的出站流量。 配置流量扩展程序

工作原理

Service Extensions 使 Google Cloud 网络产品 能够在数据传输期间调用 Model Armor。

  1. 当进出 AI 应用、MCP 服务器或模型的流量通过配置的网络服务(例如负载均衡器)时,Service Extensions 会将请求或响应内容转发给 Model Armor 进行检查。
  2. Model Armor 会根据您预配置的模板设置应用一组过滤条件。这些过滤器可以识别并屏蔽提示注入、越狱检测尝试、敏感数据泄露、恶意网址以及有害或不当内容(例如仇恨言论和骚扰)。
  3. Model Armor 会根据扫描结果和您的政策指示网络服务允许、阻止或修改流量,确保只有安全合规的交互才能到达或离开您的 AI 应用、MCP 服务器或模型。