快速入門導覽課程：完成審查任務

每個處理器都會建立「HITL 工作」，並指派給一組標籤人員 (稱為「標籤人員集區」)，由他們審查處理器處理的文件。處理完畢後，這些文件會排入工作佇列，由指派的標籤加註者集區進行 HITL 審查。

事前準備

請先完成先前的「快速入門：設定人工審查作業」，再繼續操作。

新增標籤人員

  1. 完成設定人工審查後，您應該會收到類似以下的電子郵件：
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. 按一下電子郵件中的連結 (或剪下並貼到瀏覽器中)，前往「管理員」頁面：

  2. 新建立的處理器所建立的工作與處理器同名 (例如「部門 A 發票」)，並列在「工作」分頁中。

  3. 按一下「標記者」分頁標籤

  4. 按一下「新增標註者」，並新增至少一位標註者 (電子郵件地址)。管理員可以擔任標籤者，因此你可以新增自己。

  5. 如果是新建立的標註者集區，必須在「指派」分頁中，將工作明確指派給個別標註者。也就是說，加入標註者集區後，系統不會自動將工作指派給這些新標註者。如果標籤員集區已佈建標籤員，系統會自動將集區指派給工作。

發布初始文件以供審查

  1. 透過建立的處理器傳送要擷取的文件。視需要參閱使用指南。目前，線上 (同步) 和批次 (非同步) 呼叫都支援將支援的處理器導向人工審查。

    為進行測試，您可以採用已知的低品質擷取結果，讓信心指數低於門檻，進而觸發人工審查，也可以將門檻設為 100%。文件限制通常為最多 5 頁，大小上限為 20 MB，但請查看特定處理器的限制。

    您可以透過 API 追蹤送交人工審查的每份文件。在處理器回應中，有一個 humanReviewOperation 字串是人工審查中文件的作業 ID (工作名稱)。您可以查詢這項長時間執行的作業 (也稱為 LRO) 的狀態。

    如要查詢已送交人工審查的文件狀態，請使用 projects.locations.operations.get 方法。

  2. 您可以使用 reviewDocument 方法強制將文件送交人工審查 (請注意，這項方法適用於特定處理器)：

    使用 reviewDocument 方法時，必須勾選「啟用人工審查」核取方塊。使用這項 API 不會覆寫設定。

    如要使用這個方法，請參閱「要求人工審查」指南。

查看文件

  1. 如果文件觸發人工審查程序，但集區中沒有標註員，管理員就會收到電子郵件。

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

標籤管理員可透過這些連結指派標籤工作。

  1. 如果標註者未加入標註群組，且是新加入的成員，標註管理員必須傳送類似的電子郵件，向新加入的標註者提供操作說明。

標籤人員步驟

標籤人員程序

  1. 標籤人員電子郵件地址

    如果標記者已在步驟 2e 中加入標記群組，系統會自動分配工作，並向標記者傳送類似下方的電子郵件：

    圖片

    這封電子郵件中的連結，是所選標註者在文件上進行標註工作的機制。

  2. 標籤動作：

    標註者點選連結進行標註時，會看到下方的互動式 AI 人工審查使用者介面。以黃色醒目顯示的資料列表示驗證失敗的資料列 (即低於設定的信賴分數門檻)，需要審查。

    圖片

  3. 檢查：將游標懸停在系統辨識的文字欄位上，即可查看辨識的文字和欄位名稱 (結構定義)，欄位名稱會以較小的字型顯示在文字下方。左側面板也會醒目顯示該列。

    使用者可以透過工具列左上方的放大鏡圖示放大/縮小畫面。

    圖片

  4. 變更欄位

    按一下欄位 (左鍵) 即可編輯：

    您可以在左側面板中變更值或標籤。然後點選「套用」。

    或者，按一下文件圖片上的其中一個調整大小的角落圖示，即可調整文件文字周圍的方塊大小：

    如圖所示，如果選取不同文字，左側面板中欄位的「值」就會隨之變更。如有需要，可以進一步編輯這段文字。然後點選「套用」。

    請務必使用右上角的頁面控制項，查看所有頁面。

完成所有必要的標籤變更後，按一下左下方的「提交」。結果 JSON 會儲存至「結果位置」資料夾。

如果無法順利標記文件，可以按一下「拒絕」 (位於左下方)，然後選取拒絕文件的原因： - 選取原因，然後按一下「拒絕文件」。

標註者也可以點選右上角的下列圖示：

  • 數據分析 - 顯示審查的文件數量 (答案) 和總時間。
  • 通知：顯示他們收到的所有通知。
  • 更多 (3 個圓點)：略過文件、尋找答案或提供意見回饋 (如已啟用)。
  • 切換標題列 (對角箭頭) - 隱藏 (或顯示) DataCompute 標題列，爭取更多空間。

標籤管理工具

從 Cloud Storage 檢閱文件

如要查看文件，有以下兩種方法：

  • 選項 1：

    1. 從先前設定的位置找出 Cloud Storage
    2. 擷取並下載文件

  • 選項 2：

    1. 請記住 URI，以便從預測回應中擷取文件
    2. 呼叫 URI 來擷取審查過的文件

後續步驟