Guia de início rápido: concluir uma tarefa de revisão

Cada processador cria uma "tarefa HITL" atribuída a um pool de rotuladores humanos (chamado de "pool de rotuladores") que revisam os documentos processados pelo processador. Depois de processados, esses documentos são colocados em fila na tarefa para revisão de HITL pelo pool de rotuladores atribuído.

Antes de começar

Conclua o Guia de início rápido: configurar a revisão humana antes de continuar.

Adicionar rotuladores

  1. Depois de configurar a revisão humana, você vai receber um e-mail semelhante a este:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Clique no link no e-mail (ou copie e cole no navegador) para acessar a página do gerente:

  2. A tarefa criada pelo processador recém-criado tem o mesmo nome do processador (por exemplo, "Faturas do departamento A") e aparece na guia "Tarefas".

  3. Clique na guia "Rotuladores".

  4. Clique em "Adicionar rotulador" e adicione pelo menos um rotulador (e-mail). Um gerente pode ser um rotulador, então você pode se adicionar.

  5. Para um pool de rotuladores recém-criado, a tarefa precisa ser atribuída ao rotulador individual explicitamente na guia "Atividades". Ou seja, adicionar o pool de rotuladores não atribui automaticamente a tarefa a esses novos rotuladores. Se o pool de rotuladores já tiver rotuladores provisionados, ele será atribuído automaticamente à tarefa.

Postar um documento inicial para revisão

  1. Envie um documento para extração pelo processador criado. Consulte os Guias de instruções conforme necessário. As chamadas on-line (síncronas) e em lote (assíncronas) são compatíveis com o roteamento de revisão humana para processadores compatíveis.

    Para fins de teste, use uma extração ruim conhecida para acionar a revisão humana com uma pontuação de confiança abaixo do limite ou defina o limite como 100%. Os limites de documentos são geralmente de 5 páginas, 20 MB no máximo, mas confira os limites específicos do processador.

    Há uma API para rastrear cada documento encaminhado para revisão humana. Como parte da resposta dos processadores, há uma string humanReviewOperation que é o ID da operação (nome do job) do documento na revisão humana. Essa operação de longa duração (também chamada de LRO) pode ser consultada para verificar o status.

    É possível consultar o status de um documento encaminhado para revisão humana com o método projects.locations.operations.get.

  2. É possível forçar a revisão humana de um documento com o método reviewDocument. Ele é específico do processador.

    Para usar o método reviewDocument, é necessário marcar a caixa de seleção REVISÃO HUMANA ATIVADA. O uso dessa API não vai substituir as configurações.

    Siga o guia Solicitar revisão humana para usar esse método.

Revisar o documento

  1. Se o documento acionar o processo de revisão humana, mas não houver rotuladores no pool, o gerente vai receber um e-mail.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Esses links são para o Gerenciador de rotulagem alocar o trabalho de rotulagem.

  1. Se os rotuladores não estiverem inscritos no grupo de rotulagem e forem adicionados recentemente, o gerente de rotulagem precisará enviar um e-mail semelhante com instruções para os rotuladores adicionados.

Etapas do rotulador

Procedimento do rotulador

  1. E-mail do rotulador

    Se um rotulador já estiver inscrito em um grupo de rotulagem na etapa 2e, o sistema fará a alocação automática, e ele vai receber um e-mail como este:

    imagem

    O link nesse e-mail é o mecanismo para o rotulador selecionado fazer o trabalho de rotulagem no documento.

  2. Ações de rotulagem:

    Quando um rotulador clica no link para fazer a rotulagem, ele vê a interface do usuário de revisão humana da IA interativa mostrada abaixo. As linhas destacadas (em amarelo) indicam as que estão falhando na validação (ou seja, estão abaixo do limite de confiança configurado) e precisam ser revisadas.

    imagem

  3. Análise Ao passar o cursor sobre um campo de texto reconhecido, o texto reconhecido e (em uma fonte menor abaixo dele) o nome do campo (esquema) são mostrados. A linha também é destacada no painel esquerdo.

    O usuário pode aumentar/diminuir o zoom com os ícones de lupa na parte superior esquerda da barra de ferramentas.

    imagem

  4. Mudar campo

    Clique (à esquerda) no campo para editar:

    Você pode mudar o valor ou o rótulo no painel à esquerda. Em seguida, clique em Aplicar.

    OU, clicando em um dos ícones de redimensionamento de canto na imagem do documento, você pode redimensionar a caixa delimitadora ao redor do texto do documento:

    Como mostrado, se um texto diferente for selecionado, ele vai mudar o texto no valor do campo no painel à esquerda. Depois, você pode editar o texto, se necessário. Em seguida, clique em Aplicar.

    Revise todas as páginas usando o controle no canto superior direito.

Depois de fazer todas as mudanças necessárias, clique em ENVIAR (na parte de baixo à esquerda). O JSON de resultado será salvo na pasta "Local dos resultados".

Se o documento não puder ser rotulado de maneira satisfatória, clique em REJEITAR (na parte de baixo à esquerda) e selecione um motivo para a rejeição: - Selecione um motivo e clique em Rejeitar documento.

Os rotuladores também podem clicar nos seguintes ícones no canto superior direito:

  • Análises: para mostrar quantos documentos foram revisados (Respostas) e o tempo total.
  • Notificações: para mostrar as notificações recebidas.
  • Mais (3 pontos): para pular o documento, encontrar respostas ou enviar feedback (se ativado).
  • Alternar barra de título (setas diagonais): oculta ou mostra a barra de título do DataCompute para liberar mais espaço.

Gerente de rotulagem

Analisar documento do Cloud Storage

Se quiser verificar o documento, você tem duas opções:

  • Opção 1:

    1. Localize o Cloud Storage no local configurado anteriormente.
    2. Recuperar e baixar os documentos

  • Opção 2:

    1. Lembre-se do URI para recuperar o documento da resposta de Prediction.
    2. Chame o URI para recuperar o documento revisado

A seguir