使用 Model Armor 保护 AI 应用

Model Armor 是一项 Google Cloud 服务，旨在增强 AI 应用（尤其是使用大语言模型 [LLM] 的应用）的安全性和保障性。它通过检查发送给模型的提示以及模型生成的回答来帮助您降低风险并强制执行 Responsible AI 实践。

配置模板

通过创建和使用 Model Armor 模板，定义 Model Armor 应如何过滤内容。模板是一种可重复使用的配置集，您可以在其中指定要启用的过滤条件、过滤条件的置信度以及每个过滤条件的强制执行类型。如需了解详情，请参阅创建和管理模板。

配置下限设置

为确保达到基本的保护级别，安全管理员可以在组织、文件夹或项目级配置下限设置。这些设置会强制规定最低过滤条件要求，在该范围内创建的所有 Model Armor 模板都必须遵守这些要求，从而有助于防止配置过于宽松。如需了解详情，请参阅配置下限设置。

对提示和响应进行清理

当用户向您的应用提交提示时，您的应用会先将此提示发送给 Model Armor。Model Armor 会通过模板中已启用的过滤条件处理提示，并返回一个响应，其中指明是否发现任何违规行为以及每个过滤条件的详细结果。然后，您的应用逻辑会决定接下来要执行的操作。

当 LLM 生成回答后，您的应用会在向用户显示此回答之前将其发送给 Model Armor。Model Armor 会使用模板中定义的过滤条件配置来筛查 LLM 输出，并返回分析结果。然后，您的应用会决定是否向用户显示响应，如果发现违规行为，可能会阻止显示。

如需了解详情，请参阅清理提示和回答。

后续步骤