与 Apigee 集成

您可以将 Model Armor 与 Apigee 集成,以增强 AI 应用的安全性。通过在 AI 应用前面使用 Apigee 作为 API 网关,您可以利用 Model Armor 的功能来过滤和清理发送到应用的输入内容以及收到的回答。

概览

您可以将 Model Armor 政策集成到 Apigee API 代理中,以便为 AI 应用提供增强的控制和保护。例如,您可以使用 Apigee 来强制执行令牌级配额,以限制用户或应用每天最多可使用的令牌数量。使用 LLMTokenQuotaPromptTokenLimit 精确控制令牌使用情况。这些政策有助于管理费用、遏制滥用行为,并防止出现消耗量突然激增的情况,从而稳定流量。

准备工作

工作原理

该集成使用两种主要的 Apigee 政策:

  • SanitizeUserPrompt:将此政策添加到 API 代理的请求流程中。它会拦截所有传入请求,并在这些请求到达 AI 应用之前将其发送给 Model Armor 进行检查。如需了解详情,请参阅 SanitizeUserPrompt 政策
  • SanitizeModelResponse:将此政策添加到响应流程。它会拦截来自 AI 应用的回答,并将其发送给 Model Armor 进行检查,然后再将回答发送给客户端。如需了解详情,请参阅 SanitizeModelResponse 政策

Model Armor 会根据有效 Model Armor 模板中定义的规则评估内容。根据调查结果和设置的强制执行类型,Apigee 会允许、阻止或编辑请求或响应。 如果请求或响应经过了编辑,请使用 flow 变量提取编辑后的数据,并将其传递给 LLM。

首先,请使用 Apigee 控制台中的内置含 Model Armor 的代理代理模板。此模板会自动添加可选的 SanitizeUserPromptSanitizeModelResponse 配置。

创建具有 Model Armor 政策的 Apigee API 代理

  1. 创建服务账号以部署 API 代理
  2. 创建 Apigee API 代理
  3. 修改 SanitizeUserPromptSanitizeModelResponse XML。 您必须修改这些政策的 XML,Model Armor 才能正常运行。
  4. 向 API 代理添加 Google 身份验证
  5. 部署 API 代理
  6. 测试 Model Armor 政策

注意事项

将 Model Armor 与 Apigee 集成时,请考虑以下事项:

  • 区域可用性:Model Armor 并非在所有地区都可用。确保 Apigee 和 Model Armor 在同一区域中配置。请参阅 Model Armor 的位置
  • Quota:高流量可能需要增加 Model Armor 的配额。如需申请调整,请参阅申请配额调整。如果您需要的配额超出默认配额,请与 Cloud Customer Care 联系。 如需了解与 Model Armor 与其他服务的集成相关的配额,请参阅管理配额
  • token 限制:Model Armor 在处理提示和回答时有 token 限制,具体取决于过滤条件。超出这些限制的内容可能无法得到全面扫描。

如需详细了解配置和使用情况,请参阅 Apigee Model Armor 政策使用入门