Model Armor 会过滤 AI 应用的提示和回答。监控信息中心会提供由此过滤过程生成的数据、指标和可视化图表。您可以利用这些分析洞见了解 Model Armor 如何保护 AI 应用,以及如何识别提示注入尝试或其他恶意活动。
准备工作
所需角色
如需获得访问监控信息中心所需的权限,请让您的管理员为您授予项目的 Monitoring Viewer (roles/monitoring.viewer) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
此预定义角色可提供 访问监控信息中心所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需访问监控信息中心,您需要以下权限:
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
查看监控信息中心
在 Google Cloud 控制台中,前往 Model Armor 页面。
确认您正在查看的是已启用 Model Armor 的项目。
转到监控 标签页。
查看被标记或被阻止的互动次数
在监控信息中心,查看互动次数,包括被标记和被阻止的互动次数。监控信息中心会显示以下指标:
- 互动总数:Model Armor 分析的提示和回答总数 。
- 被标记的互动次数:违反 Model Armor 模板或下限设置中配置的政策的互动次数。
- 被阻止的互动次数:如果您在
INSPECT_AND_BLOCK模式下配置了 Model Armor,则被阻止的互动次数。这些被阻止的互动违反了下限设置或模板。
监控内容安全违规行为
在违规行为随时间变化 图表中,监控检测到的违规行为数量随时间变化的情况。
检测到的违规行为分为以下几类:
- 所有检测器:所有检测器检测到的违规行为总数,包括 提示注入和越狱、 恶意网址、 Responsible AI 和敏感数据。
- Responsible AI:安全过滤条件检测到的内容违规行为,例如骚扰和 仇恨言论。如需查看 Responsible AI 类别的完整列表, 请参阅 Responsible AI 安全 过滤条件。
- 敏感数据:涉及存在 敏感信息类型或 自定义信息 类型的内容违规行为。如需了解详情, 请参阅 Sensitive Data Protection。
如需详细了解这些检测器,请参阅 Model Armor 过滤条件。
将过滤条件应用于视图
当您在监控信息中心应用这些过滤条件时,监控信息中心上的所有视图都会根据您选择的条件进行过滤。
- 模板/下限设置:根据关联的模板或下限 设置过滤视图。
- 集成点:根据 Model Armor 集成过滤视图。
- 位置:根据互动处理位置过滤视图。
- 输入类型:根据评估的输入类型(提示或回答)过滤视图。
检查相关日志
如需探索与监控信息中心上的数据相关的日志条目,请在您的 模板和下限设置中启用日志记录。您必须 拥有查看 日志所需的 IAM 角色。
如需检查所选时间段的日志,请在监控信息中心点击 更多图表选项 > 检查相关日志。
将违规行为数据下载到 PNG 或 CSV 文件
如需将违规行为数据下载到 PNG 或 CSV 文件,请按以下步骤操作:
- 在监控信息中心的违规行为随时间变化 视图中,选择要下载数据的 时间段。
- 点击 更多图表选项 > 下载。
- 点击下载 PNG 或下载 CSV ,以您首选的格式下载数据。