您可以将 Model Armor 与 Apigee 集成,以增强 AI 应用的安全性。通过在 AI 应用前面使用 Apigee 作为 API 网关,您可以利用 Model Armor 的功能来过滤和清理发送到应用的输入内容以及收到的回答。
概览
您可以将 Model Armor 政策集成到 Apigee API 代理中,以便为 AI 应用提供增强的控制和保护。例如,您可以使用 Apigee 来强制执行令牌级配额,以限制用户或应用每天最多可使用的令牌数量。使用 LLMTokenQuota 和 PromptTokenLimit 精确控制令牌使用情况。这些政策有助于管理费用、遏制滥用行为,并防止出现消耗量突然激增的情况,从而稳定流量。
准备工作
- 在项目中启用 Model Armor API。
- 验证您的 Google Cloud 项目是否已启用结算功能。
- 确认您的 Apigee 实例中有全面环境。您只能在全面环境中部署 Model Armor 政策。
- 确认您已预配有效的 Apigee 组织。
如需在 Apigee 中创建和使用 Model Armor 政策,您必须拥有特定角色。如需了解所需角色,请参阅 Apigee 角色。
工作原理
该集成使用两种主要的 Apigee 政策:
SanitizeUserPrompt:将此政策添加到 API 代理的请求流程中。它会拦截所有传入请求,并在这些请求到达 AI 应用之前将其发送给 Model Armor 进行检查。如需了解详情,请参阅SanitizeUserPrompt政策。SanitizeModelResponse:将此政策添加到响应流程。它会拦截来自 AI 应用的回答,并将其发送给 Model Armor 进行检查,然后再将回答发送给客户端。如需了解详情,请参阅SanitizeModelResponse政策。
Model Armor 会根据有效 Model Armor 模板中定义的规则评估内容。根据调查结果和设置的强制执行类型,Apigee 会允许、阻止或编辑请求或响应。 如果请求或响应经过了编辑,请使用 flow 变量提取编辑后的数据,并将其传递给 LLM。
首先,请使用 Apigee 控制台中的内置含 Model Armor 的代理代理模板。此模板会自动添加可选的 SanitizeUserPrompt 和 SanitizeModelResponse 配置。
创建具有 Model Armor 政策的 Apigee API 代理
- 创建服务账号以部署 API 代理。
- 创建 Apigee API 代理。
- 修改
SanitizeUserPrompt和SanitizeModelResponseXML。 您必须修改这些政策的 XML,Model Armor 才能正常运行。 - 向 API 代理添加 Google 身份验证。
- 部署 API 代理。
- 测试 Model Armor 政策。
注意事项
将 Model Armor 与 Apigee 集成时,请考虑以下事项:
- 区域可用性:Model Armor 并非在所有地区都可用。确保 Apigee 和 Model Armor 在同一区域中配置。请参阅 Model Armor 的位置。
- Quota:高流量可能需要增加 Model Armor 的配额。如需申请调整,请参阅申请配额调整。如果您需要的配额超出默认配额,请与 Cloud Customer Care 联系。 如需了解与 Model Armor 与其他服务的集成相关的配额,请参阅管理配额。
- token 限制:Model Armor 在处理提示和回答时有 token 限制,具体取决于过滤条件。超出这些限制的内容可能无法得到全面扫描。
如需详细了解配置和使用情况,请参阅 Apigee Model Armor 政策使用入门。