评估和批准丰富化提案

本指南适用于数据监管员和目录管理员。其中介绍了如何评估和批准丰富运行生成的元数据提案。

每次执行丰富任务时，系统都会生成一个丰富运行。该运行会根据知识信号处理上下文集，生成评估指标，并提出新的元数据属性。

您可以查看历史运行的详细信息，评估其效果，并决定是批准还是拒绝建议的元数据更改。

准备工作

如需获得评估和批准丰富化运行所需的权限，请让您的管理员为您授予项目的以下 IAM 角色之一：

  • Dataplex Catalog Editor (roles/dataplex.catalogEditor)
  • Dataplex Catalog Admin (roles/dataplex.catalogAdmin)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您还必须在项目中执行有效的丰富任务。如需了解详情，请参阅创建丰富任务。

评估工作流

您可以分三个阶段查看富化运行：

  1. 评估整体可行性：在概览和评估标签页中查看汇总得分。这样，您在深入研究细节之前，就能知道运行结果是大致成功还是完全幻觉。

  2. 仔细检查个别提案：在概览标签页中过滤出置信度为 Low 的提案。如果提案的决策不明确，请使用工件标签页审核原始对话跟踪记录，以了解代理为何提出建议。

  3. 批准或拒绝运行：进行最终检查。如果大多数建议都合理且有充分依据，请批准运行，将元数据合并到目录中。如果存在严重缺陷，请拒绝运行，改进上下文集，然后重试。

打开丰富化运行作业

如需查看丰富化运行作业的详情，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 Knowledge Studio 页面。

    前往 Knowledge Studio

  2. 在左侧导航窗格中，选择丰富。

    丰富页面会打开，并显示活跃、失败和成功的任务列表。任务列表包括任务名称、状态、运行摘要、触发器以及上次修改日期。

  3. 在任务列表中，点击要调查的丰富任务的名称。

  4. 点击作业标签页。

  5. 在作业列表中，点击要查看的运行的名称（ID）链接。或者，您也可以点击运行旁边的 操作，然后选择查看结果。

系统会打开富化运行作业详情页面。

详情页面会将结果整理到以下标签页中：

Tab 使用此标签页可…
概览 评估整体健康状况和置信度，并审核和批准生成的元数据建议。回答以下问题：此运行是否基本良好？以及具体将发布到目录的内容是什么？
评估 检查定量评分和通过/失败指标。回答以下问题：丰富逻辑是否确实提高了数据的可用性？
工件 检查诊断、隐性学习和接地分数。回答以下问题：智能体为何做出此决策？其逻辑是否值得信赖？
日志 排查系统执行跟踪记录问题。回答以下问题：作业是否在技术上失败？

评估整体运行可行性

概览标签页是您的起点。访问此标签页可评估运行的整体成效、浏览概要指标，以及查看或批准 AI 建议的具体元数据更改。

如需查看运行摘要，请执行以下操作：

  1. 在丰富运行详情页面上，选择概览标签页。

  2. 查看富媒体搜索结果报告。此部分显示运行的整体健康状况，包括汇总得分、状态（例如“需要审核”）、时长、使用的总 token 数，以及描述提案整体置信度的摘要。

    要查看的内容：查看汇总得分和摘要，以便在深入研究各个提案之前，快速从宏观层面评估运行是否成功。例如，80% 或更高的分数通常表示运行结果具有较高的置信度，而较低的分数可能需要您更仔细地审核提案。

  3. 查看端到端评估部分。这会显示评估用例的基准通过率和预计通过率。可接受的运行通常会产生正增量（例如 +5%），这表明与基准相比，建议的元数据提高了整体数据可用性。

  4. 查看提案部分。此部分会显示建议更改的简要摘要（例如创建、更新或删除的总数），后跟按资源类型（例如知识库文档）分组的建议列表。您可以按置信度（High、Medium、Low、N/A）过滤建议，并展开资源类型以查看特定条目。

    注意事项：请特别注意 Low 置信度建议，因为这些建议通常表示缺少上下文或存在必须拒绝的幻觉。

仔细审查各个提案

除非您在任务中启用了自动发布，否则丰富运行不会自动修改元数据。运行会生成您必须批准的建议更改。

在审核建议时，我们建议您按置信度得分进行过滤，并首先审核 Low 置信度建议，因为这些建议需要最严格的审查，并且最有可能需要手动调整或拒绝。在预览模式下，验证生成的 Markdown、标记或说明是否准确反映了您的业务逻辑，并在更改视图中查找任何意外的属性替换。

如需查看运行生成的具体提案，请执行以下操作：

  1. 在丰富运行详情标签页的提案部分中，找到要查看的提案。

  2. 点击相应条目的查看提案。系统会打开建议的更改侧边栏。

  3. 在侧边栏中，查看 AI 生成的元数据，并根据需要进行修改。

    • 在要修改的特定资源（例如概览方面）下，使用视图切换开关在视图之间切换。

      通过更改视图，您可以检查推送到目录的确切差异。

      预览视图会显示生成的文档和表格的人性化格式。

    • 如需手动调整 AI 的建议，请点击资源名称旁边的 修改，在文本编辑器中进行更改，然后点击保存。

  4. 如果建议不准确，请点击侧边栏中的从请求中移除，然后点击移除进行确认。这会永久移除建议的更改，从而防止在您批准运行作业时将其添加到目录中。

  5. 审核完所有提案后，点击提案部分标题中的批准，将剩余提案合并到您的目录中。或者，如果整个跑步记录都不准确，您可以点击拒绝。

查看端到端评估指标

评估标签页用于衡量数据丰富运行的影响。它会比较您的数据在有建议元数据和没有建议元数据的情况下，回答测试问题的效果。这有助于您确定是批准运行还是调整上下文集。

评估结果时，请使用原因列了解推理过程。智能体提供了详细的推理，将其逻辑与参考逻辑进行了比较。您可以使用此反馈来了解代理失败的原因（例如，缺少关键表联接）。然后，您可以使用这些信息来改进源数据或阐明上下文集。

如需解读评估结果，请执行以下操作：

  1. 在丰富运行详情页面上，点击评估标签页。
  2. 查看标签页顶部的得分。重点关注增量，它显示了通过率的总体百分比变化，表明了丰富提案带来的高层级价值。
  3. 查看摘要指标，了解特定标准（例如数据结果准确性）的统计变化（例如平均值或最大值）。
  4. 使用每个用例的结果表格来调试特定的认知差距。此表列出了在运行期间评估的每个测试问题。
    • 过滤列表，在更改列中找到失败结果或 Still failing 条目。
    • 阅读原因列中的说明，了解 AI 失败的原因。

审核运行工件

工件标签页包含支持 AI 决策的详细诊断和证据。如果您需要了解提案置信度分数较低的原因，请访问此标签页。您还可以使用它来审核原始对话跟踪记录和智能体提取的学习规则。

查看经验总结标签页时，请检查已应用与需要注意的数量。已应用计数显示已成功添加到系统中的新事实数量，而需要注意则会标记出相互矛盾或不明确的发现结果，这些发现结果需要手动清理。计数为 0 表示本轮未提取到新知识，这是正常结果。如果内容被标记为不明确或冲突，则表示智能体在您的来源中发现了相互矛盾的信息，您需要在上下文集中解决这些问题。

查看置信度分数标签页时，请阅读摘要句（例如，大多数提案未通过的原因）。前往建议的更改部分，找出评分最低的更改。如果某项更改在此处列出，则可能未通过接地检查或缺乏足够的证据。您可以使用此列表来确定要优先拒绝哪些提案。

如需查看运行工件，请执行以下操作：

  1. 在富化运行详情页面上，点击制品标签页。

  2. 查看以下子标签页，检查诊断数据：

    • 学习：显示智能体是否成功挖掘了新的隐性知识（例如，从对话日志或聊天记录中）。您还可以查看促成特定建议的对话轨迹。

    • 置信度分数：从三个维度细分 AI 的置信度评分：接地、佐证和来源质量。如果您需要审核评估，也可以从此部分访问原始 dynamic_eval.json 数据集。

排查失败的运行

日志标签页包含详细的系统执行轨迹。访问此标签页可排查后端错误，或调查富化作业未能运行完成的原因。

如需排查失败的运行问题或检查执行详情，请执行以下操作：

  1. 在富化运行详情页面上，点击日志标签页。
  2. 使用严重级别下拉菜单或过滤条件栏缩小日志结果范围。
  3. 查看执行跟踪记录和系统日志记录。
    • 要查找的内容：查找表示后端故障（例如配额耗尽或 API 超时）的红色 ERROR 或 FATAL 严重级别条目。

或者，您也可以使用 Cloud Logging 直接查询诊断日志。来自丰富代理的详细执行日志会自动路由到 Cloud Logging。敏感系统指令和原始数据会被隐去。

在 Logs Explorer 中使用以下查询来过滤日志：

  • 查看富化任务的所有日志：

    resource.type="dataplex.googleapis.com/EnrichmentWorkflow"

  • 过滤特定任务的日志： text resource.labels.workflow_id="YOUR_TASK_NAME"

  • 过滤特定运行执行的日志： text labels.run_id="YOUR_RUN_ID"

  • 过滤警告和错误： text severity>=WARNING

您还可以使用这些查询，根据 Cloud Logging 指标配置 Cloud Monitoring 提醒政策。例如，每当富化运行失败 (severity>=ERROR) 时，您都可以主动将提醒路由到 Slack、PagerDuty 或电子邮件通讯组列表。

迭代数据丰富化任务

如果扩充运行生成了不准确的提案或未通过接地检查（报告 Low 置信度），请勿批准该运行。您必须改进提供给智能体的信息，然后再次运行任务。

  1. 在概览标签页的提案部分中，点击拒绝。

  2. 如果代理误解了您的数据架构，请前往 Knowledge Catalog 中的来源定义，并改进架构说明。

  3. 如果智能体缺乏足够的业务逻辑或使用了错误的表来回答问题，请前往任务附加的上下文集。

    • 添加资源：向上下文集添加缺失的内部文档、有效的查询示例或缺失的相关表，以便为智能体提供更多事实。
    • 移除资源：如果过时的文档或冲突的术语表术语让代理感到困惑，请将其移除。

  4. 前往丰富页面，然后选择您的任务。

  5. 点击修改，验证其指向更新后的上下文集，然后点击运行以生成一组新的提案。

后续步骤