Guida rapida: completa un'attività di revisione

Ogni processore crea un'"attività HITL" che viene assegnata a un pool di etichettatori umani (chiamato "Pool di etichettatori") che esaminano i documenti elaborati dal processore. Una volta elaborati, questi documenti vengono messi in coda nell'attività per la revisione HITL da parte del pool di etichettatori assegnato.

Prima di iniziare

Prima di continuare, completa la guida rapida precedente: configura la revisione umana.

Aggiungere etichettatori

  1. Dopo aver configurato la revisione da parte di persone fisiche, dovresti ricevere un'email simile alla seguente:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Fai clic sul link nell'email (o taglialo e incollalo nel browser) per accedere alla pagina del gestore:

  2. L'attività creata dal processore appena creato ha lo stesso nome del processore (ad esempio "Fatture del reparto A") ed è elencata nella scheda Attività.

  3. Fai clic sulla scheda Etichettatori.

  4. Fai clic su Aggiungi etichettatore e aggiungi almeno un etichettatore (email). Un gestore può essere un etichettatore, quindi puoi aggiungerti.

  5. Per un pool di etichettatori appena creato, l'attività deve essere assegnata esplicitamente al singolo etichettatore nella scheda Compiti. ovvero l'aggiunta del pool di etichettatori non assegna automaticamente l'attività a questi nuovi etichettatori. Se il pool di etichettatori ha già eseguito il provisioning degli etichettatori, il pool viene assegnato automaticamente all'attività.

Pubblicare un documento iniziale da rivedere

  1. Invia un documento per l'estrazione tramite il processore creato. Consulta le guide illustrative in base alle tue necessità. Attualmente, sia le chiamate online (sincronizzazione) sia quelle batch (asincrone) supportano il routing della revisione da parte di persone fisiche per i processori supportati.

    A scopo di test, puoi utilizzare un'estrazione di scarsa qualità nota per attivare la revisione umana in base al punteggio di confidenza inferiore alla soglia oppure puoi impostare la soglia al 100%. I limiti dei documenti sono generalmente 5 pagine, 20 MB max, ma controlla i limiti specifici del processore.

    Esiste un'API per monitorare ogni documento indirizzato alla revisione da parte di persone fisiche. Nell'ambito della risposta dei processori, è presente una stringa humanReviewOperationche corrisponde all'ID operazione (nome del job) del documento all'interno della revisione umana. È possibile eseguire query sullo stato di questa operazione a lunga esecuzione (chiamata anche LRO).

    Puoi eseguire una query sullo stato di un documento inviato alla revisione da parte di persone fisiche con il metodo projects.locations.operations.get.

  2. Puoi forzare la revisione umana di un documento con il metodo reviewDocument (tieni presente che è specifico per il processore):

    L'utilizzo del metodo reviewDocument richiede la selezione della casella di controllo Revisione umana ATTIVATA. L'utilizzo di questa API non sovrascrive le impostazioni di configurazione.

    Per utilizzare questo metodo, puoi seguire la guida Richiedere una revisione da parte di persone fisiche.

Rivedi il documento

  1. Se il documento attiva la procedura di revisione da parte di persone fisiche, ma non ci sono etichettatori nel pool, il gestore riceverà un'email.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Questi link consentono al responsabile dell'etichettatura di assegnare il lavoro di etichettatura.

  1. Se i revisori non sono registrati nel gruppo di etichettatura e sono stati aggiunti di recente, il responsabile dell'etichettatura deve inviare un'email simile con le istruzioni ai revisori aggiunti.

Passaggi di Labeler

Procedura di etichettatura

  1. Email del labeler

    Se un etichettatore è già registrato in un gruppo di etichettatura nel passaggio 2e, il sistema lo assegnerà automaticamente e riceverà un'email come questa:

    immagine

    Il link in questa email è il meccanismo che consente all'etichettatore selezionato di eseguire il lavoro di etichettatura sul documento.

  2. Azioni di etichettatura:

    Quando un etichettatore fa clic sul link per eseguire l'etichettatura, visualizza l'interfaccia utente di revisione umana dell'AI interattiva mostrata di seguito. Le righe evidenziate (in giallo) indicano le righe che non superano la convalida (ovvero sono al di sotto della soglia del punteggio di confidenza configurato) e devono essere esaminate.

    immagine

  3. Revisione Se passi il cursore sopra un campo di testo riconosciuto, viene visualizzato il testo riconosciuto e (con caratteri più piccoli sotto) il nome del campo (schema). La riga è evidenziata anche nel riquadro di sinistra.

    L'utente può ingrandire/ridurre la visualizzazione con le icone della lente d'ingrandimento in alto a sinistra della barra degli strumenti.

    immagine

  4. Modifica campo

    Facendo clic (a sinistra) sul campo, puoi modificarlo:

    Puoi modificare il valore o l'etichetta nel riquadro a sinistra. Quindi, fai clic su Applica.

    IN ALTERNATIVA, facendo clic su una delle icone di ridimensionamento degli angoli dell'immagine del documento, puoi ridimensionare il riquadro di delimitazione intorno al testo del documento:

    Come mostrato, se viene selezionato un testo diverso, il testo nel campo Valore nel riquadro a sinistra cambierà. Se necessario, puoi modificare ulteriormente questo testo. Quindi, fai clic su Applica.

    Assicurati di esaminare tutte le pagine utilizzando il controllo della pagina nell'angolo in alto a destra.

Dopo aver apportato tutte le modifiche necessarie alle etichette, fai clic su INVIA (in basso a sinistra). Il file JSON dei risultati verrà salvato nella cartella "Posizione dei risultati".

Se il documento non può essere etichettato in modo soddisfacente, puoi fare clic su RIFIUTA (in basso a sinistra), quindi selezionare un motivo per il rifiuto del documento: - Seleziona un motivo, quindi fai clic su Rifiuta documento.

Gli etichettatori possono anche fare clic sulle seguenti icone nell'angolo in alto a destra:

  • Analytics: per mostrare quanti documenti ha esaminato (Risposte) e il tempo totale.
  • Notifiche: per mostrare le notifiche ricevute.
  • Altro (tre puntini): per saltare il documento, trovare risposte o fornire feedback (se abilitato).
  • Attiva/disattiva barra del titolo (frecce diagonali): nasconde (o mostra) la barra del titolo di DataCompute per avere più spazio.

Responsabile dell'etichettatura

Rivedi documento da Cloud Storage

Se vuoi controllare il documento, hai due opzioni:

  • Opzione 1:

    1. Individua Cloud Storage dalla posizione configurata in precedenza
    2. Recuperare e scaricare i documenti

  • Opzione 2:

    1. Ricorda l'URI per recuperare il documento dalla risposta della previsione
    2. URI di chiamata per recuperare il documento esaminato

Passaggi successivi