Kurzanleitung: Überprüfung abschließen

Jeder Prozessor erstellt eine „HITL-Aufgabe“, die einem Pool von menschlichen Labelern (dem „Labeler-Pool“) zugewiesen wird. Diese überprüfen die vom Prozessor verarbeiteten Dokumente. Nach der Verarbeitung werden diese Dokumente in der Aufgabe für die HITL-Überprüfung durch den zugewiesenen Labeler-Pool in die Warteschlange gestellt.

Hinweise

Führen Sie die Schritte in der Kurzanleitung: Manuelle Überprüfung konfigurieren aus, bevor Sie fortfahren.

Labelersteller hinzufügen

  1. Nach der Konfiguration der manuellen Überprüfung sollten Sie eine E-Mail erhalten, die in etwa so aussieht:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Klicken Sie auf den Link in der E-Mail oder kopieren Sie ihn und fügen Sie ihn in Ihren Browser ein, um zur Verwaltungsseite zu gelangen:

  2. Die vom neu erstellten Prozessor erstellte Aufgabe hat denselben Namen wie der Prozessor (z. B. „Rechnungen der Abteilung A“) und wird auf dem Tab „Aufgaben“ aufgeführt.

  3. Klicken Sie auf den Tab „Labeler“.

  4. Klicken Sie auf „Labeler hinzufügen“ und fügen Sie mindestens einen Labeler (E-Mail-Adresse) hinzu. Ein Administrator kann ein Labeler sein. Sie können sich also selbst hinzufügen.

  5. Bei einem neu erstellten Labeler-Pool muss die Aufgabe dem einzelnen Labeler explizit auf dem Tab „Zuweisungen“ zugewiesen werden. Das Hinzufügen des Labeler-Pools weist die Aufgabe also nicht automatisch diesen neuen Labelern zu. Wenn im Labelerstellerpool bereits Labelersteller bereitgestellt wurden, wird der Pool automatisch der Aufgabe zugewiesen.

Erstes Dokument zur Überprüfung posten

  1. Senden Sie ein Dokument zur Extraktion über den erstellten Prozessor. Anleitungen Sowohl Online- (synchron) als auch Batch- (asynchron) Aufrufe unterstützen derzeit das Routing zur manuellen Überprüfung für unterstützte Prozessoren.

    Zu Testzwecken können Sie entweder eine bekanntermaßen schlechte Extraktion verwenden, um die manuelle Überprüfung auszulösen, weil der Konfidenzwert unter dem Schwellenwert liegt, oder den Schwellenwert auf 100 % festlegen. Dokumente dürfen in der Regel maximal 5 Seiten und 20 MB umfassen. Sehen Sie sich jedoch die spezifischen Prozessorlimits an.

    Es gibt eine API, mit der jedes Dokument verfolgt werden kann, das zur manuellen Überprüfung weitergeleitet wird. Als Teil der Antwort von Prozessoren gibt es einen humanReviewOperation-String, der die Vorgangs-ID (Jobname) des Dokuments in der manuellen Überprüfung ist. Dieser Vorgang mit langer Ausführungszeit (auch als LRO bezeichnet) kann nach dem Status abgefragt werden.

    Mit der Methode projects.locations.operations.get können Sie den Status eines Dokuments abfragen, das zur manuellen Überprüfung weitergeleitet wurde.

  2. Sie können erzwingen, dass ein Dokument manuell überprüft wird, indem Sie die Methode reviewDocument verwenden. Beachten Sie, dass diese Methode pro Prozessor unterschiedlich ist:

    Wenn Sie die reviewDocument-Methode verwenden, muss das Kästchen Manuelle Überprüfung AKTIVIERT angeklickt sein. Die Konfigurationseinstellungen werden durch die Verwendung dieser API nicht überschrieben.

    In diesem Leitfaden erfahren Sie, wie Sie diese Methode verwenden.

Dokument ansehen

  1. Wenn das Dokument den Prozess der manuellen Überprüfung auslöst, aber keine Labelersteller im Pool vorhanden sind, erhält der Manager eine E-Mail.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Über diese Links kann der Labeling Manager Labeling-Aufgaben zuweisen.

  1. Wenn die Labeler nicht in der Labeling Group registriert und neu hinzugefügt wurden, muss der Labeling Manager eine ähnliche E-Mail mit einer Anleitung an die hinzugefügten Labeler senden.

Schritte für Labelersteller

Verfahren für Labeler

  1. E‑Mail-Adresse des Labelerstellers

    Wenn ein Labeler in Schritt 2e bereits für eine Labeling-Gruppe registriert ist, wird er automatisch zugewiesen und erhält eine E-Mail wie diese:

    Image

    Über den Link in dieser E-Mail kann der ausgewählte Labeler Labeling-Aufgaben für das Dokument ausführen.

  2. Aktionen für Labels:

    Wenn ein Labeler auf den Link klickt, um die Labels zu erstellen, wird die unten gezeigte Benutzeroberfläche für die interaktive KI-Überprüfung durch Menschen angezeigt. Die gelb markierten Zeilen geben an, welche Zeilen die Validierung nicht bestehen (d. h. unter dem konfigurierten Konfidenzwert liegen) und überprüft werden müssen.

    Image

  3. Überprüfung: Wenn Sie den Mauszeiger auf ein erkanntes Textfeld bewegen, wird der erkannte Text und (in kleinerer Schrift darunter) der Name des Felds (Schema) angezeigt. Die Zeile wird auch im linken Bereich hervorgehoben.

    Der Nutzer kann mit den Lupensymbolen oben links in der Symbolleiste das Bild vergrößern oder verkleinern.

    Image

  4. Feld ändern

    Sie können das Feld bearbeiten, indem Sie mit der linken Maustaste darauf klicken:

    Sie können den Wert oder das Label im linken Bereich ändern. Klicken Sie dann auf Anwenden.

    ODER Sie klicken auf eines der Eckensymbole zum Anpassen der Größe auf dem Dokumentbild, um die Größe des Begrenzungsrahmens um den Dokumenttext zu ändern:

    Wenn Sie anderen Text auswählen, ändert sich der Text im Feld „Wert“ im linken Bereich. Sie können diesen Text dann bei Bedarf weiter bearbeiten. Klicken Sie dann auf Anwenden.

    Sehen Sie sich alle Seiten an. Verwenden Sie dazu die Seitensteuerung oben rechts.

Wenn Sie alle erforderlichen Labeländerungen vorgenommen haben, klicken Sie unten links auf SENDEN. Die JSON-Datei mit den Ergebnissen wird im Ordner „Speicherort für Ergebnisse“ gespeichert.

Wenn das Dokument nicht zufriedenstellend gekennzeichnet werden kann, klicken Sie unten links auf ABLEHNEN und wählen Sie einen Grund für die Ablehnung des Dokuments aus: – Wählen Sie einen Grund aus und klicken Sie dann auf Dokument ablehnen.

Labeler können auch oben rechts auf die folgenden Symbole klicken:

  • Analysen: Hier sehen Sie, wie viele Dokumente sie überprüft haben (Antworten) und wie viel Zeit sie insgesamt dafür benötigt haben.
  • Benachrichtigungen: Hier werden alle Benachrichtigungen angezeigt, die der Nutzer erhalten hat.
  • Dreipunkt-Menü: Hier können Sie das Dokument überspringen, Antworten suchen oder Feedback geben (falls aktiviert).
  • Titelleiste ein-/ausblenden (diagonale Pfeile): Hiermit wird die Titelleiste von DataCompute ausgeblendet (oder eingeblendet), um mehr Platz zu schaffen.

Labeling Manager

Dokument aus Cloud Storage überprüfen

Wenn Sie das Dokument prüfen möchten, haben Sie zwei Möglichkeiten:

  • Methode 1:

    1. Cloud Storage am zuvor konfigurierten Speicherort suchen
    2. Dokumente abrufen und herunterladen

  • Methode 2:

    1. URI zum Abrufen des Dokuments aus der Vorhersageantwort merken
    2. URI zum Abrufen des überprüften Dokuments aufrufen

Nächste Schritte