クイックスタート: 審査タスクを完了する

各プロセッサは、「HITL タスク」を作成し、プロセッサで処理されたドキュメントを確認する人間のラベラーのプール(「ラベラー プール」と呼ばれる)に割り当てます。処理されたドキュメントは、割り当てられたラベル付け担当者プールによる HITL 審査のタスクでキューに登録されます。

始める前に

続行する前に、前のクイックスタート: 人間による審査を構成するを完了してください。

ラベル付け担当者を追加する

  1. 人間によるレビューを構成すると、次のようなメールが届きます。
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team
  1. メール内のリンクをクリック(またはコピーしてブラウザに貼り付け)して、管理ページに移動します。

  2. 新しく作成されたプロセッサによって作成されたタスクの名前は、プロセッサと同じ名前(「Department A Invoices」など)になり、[タスク] タブに表示されます。

  3. [Labelers] タブをクリックします。

  4. [Add Labeler] をクリックし、少なくとも 1 つのラベル付け担当者(メール)を追加します。管理者はラベル付け担当者になることができるため、自分自身を追加できます。

  5. 新しく作成された Labeler Pool の場合、[Assignments] タブでタスクを個々のラベラーに明示的に割り当てる必要があります。つまり、Labeler Pool を追加しても、これらの新しいラベル付け担当者にタスクが自動的に割り当てられるわけではありません。ラベラー プールにすでにラベラーがプロビジョニングされている場合、プールはタスクに自動的に割り当てられます。

レビュー用の初期ドキュメントを投稿する

  1. 作成したプロセッサを使用して抽出するドキュメントを送信します。必要に応じて、入門ガイドを参照してください。現在、オンライン(同期)呼び出しとバッチ(非同期)呼び出しの両方で、サポートされているプロセッサの人間によるレビューのルーティングがサポートされています。

    テスト目的で、抽出の精度が低いことがわかっている画像を使用して、信頼スコアがしきい値を下回ることで人間による審査をトリガーするか、しきい値を 100% に設定できます。ドキュメントの制限は通常、最大 5 ページ、20 MB ですが、特定のプロセッサの制限を確認してください。

    人間によるレビューに転送された各ドキュメントを追跡する API があります。プロセッサからのレスポンスの一部として、Human Review 内のドキュメントのオペレーション ID(ジョブ名)である humanReviewOperation 文字列があります。この長時間実行オペレーション(LRO とも呼ばれます)のステータスをクエリできます。

    projects.locations.operations.get メソッドを使用すると、人間による確認に転送されたドキュメントのステータスをクエリできます。

  2. reviewDocument メソッドを使用すると、ドキュメントを強制的に人間によるレビューにすることができます(プロセッサ固有のメソッドであることに注意してください)。

    reviewDocument メソッドを使用するには、[人間による審査を有効にする] チェックボックスをオンにする必要があります。この API を使用しても、構成設定はオーバーライドされません。

    このメソッドを使用するには、人間による審査をリクエストするガイドをご覧ください。

ドキュメントを確認する

  1. ドキュメントが人間による審査プロセスをトリガーしたものの、プールにラベル付け担当者がいない場合、管理者にメールが届きます。

    > Hello AI Platform Customer,
    >
    > There is a running task for Project  with Job ID 404298342016955xxxx,\
    > Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
    > Display name \
    > datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
    > replication count 1\
    > Please see attachment for instruction.\
    > Please add labelers and have them finish the task at Labeler console \
    > [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
    > To view details, visit Manager console \
    > [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
    >
    > Sincerely,\
    The Google Cloud AI Team
    

これらのリンクは、ラベル付けマネージャーがラベル付け作業を割り当てるために使用します。

  1. ラベル付け担当者がラベル付けグループに登録されておらず、新たに追加された場合は、ラベル付けマネージャーは、追加されたラベル付け担当者に手順を記載した同様のメールを送信する必要があります。

ラベル付け担当者の手順

ラベル付け担当者の手順

  1. ラベル付け担当者のメールアドレス

    ラベル付け担当者がすでにステップ 2e のラベル付けグループに登録されている場合、システムは自動的に割り当てを行い、次のようなメールが送信されます。

    画像

    このメールのリンクは、選択したラベラーがドキュメントのラベル付け作業を行うためのメカニズムです。

  2. ラベル付けアクション:

    ラベル付け担当者がラベル付けを行うためのリンクをクリックすると、次のインタラクティブ AI 人間によるレビューのユーザー インターフェースが表示されます。ハイライト表示(黄色)されている行は、検証に失敗した行(構成された信頼スコアのしきい値を下回っている行)を示しており、確認が必要です。

    画像

  3. 確認 認識されたテキスト フィールドにカーソルを合わせると、認識されたテキストと(その下の小さいフォントで)フィールドの名前(スキーマ)が表示されます。左側のパネルでも行がハイライト表示されます。

    ツールバーの左上にある虫眼鏡アイコンを使用して、拡大/縮小できます。

    画像

  4. フィールドを変更する

    フィールドを(左クリックで)クリックすると、編集できます。

    左側のパネルで値またはラベルを変更できます。[適用] をクリックします。

    または、ドキュメント画像のサイズ変更コーナー アイコンのいずれかをクリックして、ドキュメント テキストの周囲の境界ボックスのサイズを変更することもできます。

    図のように、別のテキストを選択すると、左側のパネルのフィールドの [値] のテキストが変更されます。必要に応じて、このテキストをさらに編集できます。[適用] をクリックします。

    右上にあるページ コントロールを使用して、すべてのページを確認してください。

必要なラベルの変更がすべて完了したら、[送信](左下)をクリックします。結果の JSON は [結果の場所] フォルダに保存されます。

ドキュメントに適切なラベルを付けられない場合は、[REJECT](左下)をクリックし、ドキュメントを拒否する理由を選択します。 - 理由を選択し、[Reject document] をクリックします。

ラベラーは、右上の次のアイコンをクリックすることもできます。

  • アナリティクス - ユーザーが確認したドキュメントの数(回答)と合計時間を表示します。
  • 通知 - 受信した通知を表示します。
  • その他(3 つの点) - ドキュメントをスキップしたり、回答を見つけたりフィードバックを送信したりできます(有効になっている場合)。
  • タイトルバーの切り替え(斜め矢印) - DataCompute のタイトルバーを非表示(または表示)にして、スペースを広げます。

ラベル付けマネージャー

Cloud Storage のドキュメントを確認する

ドキュメントを確認するには、次の 2 つの方法があります。

  • オプション 1:

    1. 以前に構成したロケーションから Cloud Storage を見つける
    2. ドキュメントを取得してダウンロードする
  • オプション 2:

    1. 予測レスポンスからドキュメントを取得するための URI をメモする
    2. 審査済みのドキュメントを取得するための URI を呼び出す

次のステップ