快速入门：完成审核任务

每个处理器都会创建一个“HITL 任务”，该任务会分配给人工标签添加者池（称为“标签添加者池”），由他们审核处理器处理的文档。处理完毕后，这些文档会排入任务队列，等待分配的标签员池进行 HITL 审核。

准备工作

请先完成之前的快速入门：配置人工审核，然后再继续操作。

添加标签添加者

  1. 配置人工审核后，您应该会收到类似于以下内容的电子邮件：
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. 点击电子邮件中的链接（或将其剪切并粘贴到浏览器中），前往经理页面：

  2. 新创建的处理程序所创建的任务与该处理程序同名（例如“部门 A 的发票”），并列在“任务”标签页中。

  3. 点击“标记员”标签页

  4. 点击“添加标记人”，然后添加至少一个标记人（电子邮件地址）。经理可以是标记员，因此您可以添加自己。

  5. 对于新创建的标注员池，必须在“分配”标签页中将任务明确分配给各个标注员。也就是说，添加 Labeler Pool 不会自动将任务分配给这些新的标注员。如果标签添加者池已预配标签添加者，系统会自动将该池分配给相应任务。

发布初始文档以供审核

  1. 通过创建的处理器发送文档以进行提取。如有需要，请参阅方法指南。目前，在线（同步）和批量（异步）调用都支持将人工审核路由到受支持的处理器。

    出于测试目的，您可以采用已知提取效果不佳的图片，以便通过置信度低于阈值来触发人工审核，也可以将阈值设置为 100%。文档限制通常为 5 页，最大 20MB，但请查看具体的处理器限制。

    有一个 API 可用于跟踪路由到人工审核的每个文档。在处理器的响应中，有一个 humanReviewOperation 字符串，它是人工审核中相应文档的操作 ID（作业名称）。您可以查询此长时间运行的操作（也称为 LRO）的状态。

    您可以使用 projects.locations.operations.get 方法查询已转送至人工审核的文档的状态

  2. 您可以使用 reviewDocument 方法强制将文档送交人工审核（请注意，此方法特定于处理器）：

    使用 reviewDocument 方法需要选中已启用人工审核复选框。使用此 API 不会覆盖配置设置。

    您可以按照申请人工审核指南使用此方法。

查看文档

  1. 如果文档触发了人工审核流程，但池中没有标签员，经理会收到一封电子邮件。

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

这些链接供标签管理员分配标签任务。

  1. 如果标签员未加入标签组，而是新添加的，则标签管理员必须向添加的标签员发送包含说明的类似电子邮件。

标签添加者步骤

标签添加者程序

  1. 标签添加者的电子邮件地址

    如果标记员已在第 2e 步中加入某个标记组，系统将自动分配任务，并且标记员会收到如下电子邮件：

    图片

    此电子邮件中的链接是所选标签添加者对文档执行标签添加工作的机制。

  2. 添加标签操作：

    当标签添加者点击链接以添加标签时，他们会看到以下交互式 AI 人工审核界面。以黄色突出显示的行表示未通过验证的行（即低于配置的置信度阈值），需要进行审核。

    图片

  3. 检查 将光标悬停在识别的文本字段上时，系统会显示识别的文本和（下方以较小字体显示的）字段名称（架构）。相应行也会在左侧面板中突出显示。

    用户可以使用工具栏左上角的放大镜图标放大/缩小。

    图片

  4. 更改字段

    通过（左键）点击相应字段，您可以对其进行修改：

    您可以在左侧面板中更改值或标签。然后点击应用。

    或者，点击文档图片上的某个调整大小的边角图标，您可以调整文档文字周围的边界框大小：

    如图所示，如果选择其他文字，左侧面板中相应字段的“值”中的文字也会随之更改。然后，您可以根据需要进一步修改此文本。然后点击应用。

    请务必使用右上角的页面控件查看所有页面。

完成所有需要的标签更改后，点击提交（位于左下角）。结果 JSON 将保存到“结果位置”文件夹。

如果无法令人满意地标记证件，您可以点击左下角的拒绝，然后选择拒绝证件的原因： - 选择原因，然后点击拒绝证件。

标记人员还可以点击右上角的以下图标：

  • 分析 - 显示他们已审核的文档数量（解答）以及总时长。
  • 通知 - 显示用户收到的所有通知。
  • 更多（3 个点）- 用于跳过文档、查找答案或提供反馈（如果已启用）。
  • 切换标题栏（对角箭头）- 这将隐藏（或显示）DataCompute 标题栏，以腾出更多空间。

Labeling Manager

查看 Cloud Storage 中的文档

如果您想查看该文档，可以选择以下两种方法：

  • 选项 1：

    1. 从之前配置的位置找到 Cloud Storage
    2. 检索并下载文档

  • 选项 2：

    1. 记住用于从预测响应中检索文档的 URI
    2. 用于检索已审核文档的调用 URI

后续步骤