Guía de inicio rápido: Completa una tarea de revisión

Cada procesador crea una "tarea de HITL" que se asigna a un grupo de etiquetadores humanos (llamado "grupo de etiquetadores") que revisan los documentos procesados por el procesador. Una vez procesados, estos documentos se ponen en cola en la tarea para que el grupo de etiquetadores asignado los revise con HITL.

Antes de comenzar

Antes de continuar, completa la Guía de inicio rápido anterior: Configura la revisión humana.

Cómo agregar etiquetadores

  1. Después de configurar la revisión manual, debería recibir un correo electrónico similar al siguiente:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Haz clic en el vínculo del correo electrónico (o cópialo y pégalo en tu navegador) para navegar a la página del administrador:

  2. La tarea creada por el procesador recién creado tiene el mismo nombre que el procesador (por ejemplo, "Facturas del departamento A") y aparece en la pestaña Tareas.

  3. Haz clic en la pestaña Labelers.

  4. Haz clic en Add Labeler y agrega al menos un etiquetador (correo electrónico). Un administrador puede ser etiquetador, por lo que puedes agregarte.

  5. En el caso de un grupo de etiquetadores recién creado, la tarea se debe asignar al etiquetador individual de forma explícita en la pestaña Assignments. Es decir, agregar el grupo de etiquetadores no asigna automáticamente la tarea a estos nuevos etiquetadores. Si el grupo de etiquetadores ya aprovisionó etiquetadores, el grupo se asigna automáticamente a la tarea.

Publica un documento inicial para su revisión

  1. Envía un documento para la extracción a través del procesador creado. Consulta las guías prácticas según sea necesario. Actualmente, las llamadas en línea (síncronas) y por lotes (asíncronas) admiten el enrutamiento de la revisión manual para los procesadores compatibles.

    Para fines de prueba, puedes usar una extracción deficiente conocida para activar la revisión humana, ya que la puntuación de confianza estará por debajo del umbral, o bien puedes establecer el umbral en el 100%. Por lo general, los límites de documentos son de 5 páginas y 20 MB como máximo, pero debes consultar los límites específicos del procesador.

    Hay una API para hacer un seguimiento de cada documento que se envía a revisión manual. Como parte de la respuesta de los procesadores, hay una cadena humanReviewOperation que es el ID de operación (nombre del trabajo) del documento dentro de la revisión humana. Se puede consultar el estado de esta operación de larga duración (también denominada LRO).

    Puedes consultar el estado de un documento que se envió a revisión humana con el método projects.locations.operations.get.

  2. Puedes forzar la revisión manual de un documento con el método reviewDocument (ten en cuenta que es específico del procesador):

    Para usar el método reviewDocument, se debe seleccionar la casilla de verificación Revisión humana HABILITADA. El uso de esta API no anulará la configuración.

    Puedes seguir la guía Solicita una revisión manual para usar este método.

Revisa el documento

  1. Si el documento activa el proceso de revisión manual, pero no hay etiquetadores en el grupo, el administrador recibirá un correo electrónico.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Estos vínculos son para que el administrador de etiquetado asigne el trabajo de etiquetado.

  1. Si los etiquetadores no están inscritos en el Grupo de etiquetado y se agregaron recientemente, el administrador de etiquetado debe enviar un correo electrónico similar con instrucciones a los etiquetadores agregados.

Pasos del etiquetador

Procedimiento del etiquetador

  1. Correo electrónico del etiquetador

    Si un etiquetador ya está inscrito en un grupo de etiquetado en el paso 2e, el sistema lo asignará automáticamente y recibirá un correo electrónico como este:

    imagen

    El vínculo que se incluye en este correo electrónico es el mecanismo para que el etiquetador seleccionado realice el trabajo de etiquetado en el documento.

  2. Acciones de etiquetado:

    Cuando un etiquetador haga clic en el vínculo para realizar el etiquetado, verá la interfaz de usuario interactiva de revisión humana con IA que se muestra a continuación. Las filas resaltadas (en amarillo) indican las filas que no pasan la validación (es decir, están por debajo del umbral de puntuación de confianza configurado) y deben revisarse.

    imagen

  3. Revisión: Si colocas el cursor sobre un campo de texto reconocido, se muestra el texto reconocido y (con una fuente más pequeña debajo) el nombre del campo (esquema). La fila también se destaca en el panel izquierdo.

    El usuario puede acercar o alejar la imagen con los íconos de lupa que se encuentran en la parte superior izquierda de la barra de herramientas.

    imagen

  4. Cambiar campo

    Si haces clic (a la izquierda) en el campo, puedes editarlo:

    Puedes cambiar el valor o la etiqueta en el panel izquierdo. Luego, haz clic en Aplicar.

    O BIEN, haz clic en uno de los íconos de esquina para cambiar el tamaño de la imagen del documento y, así, podrás cambiar el tamaño del cuadro delimitador alrededor del texto del documento:

    Como se muestra, si se selecciona un texto diferente, se cambiará el texto del valor del campo en el panel izquierdo. Luego, puedes editar aún más este texto si es necesario. Luego, haz clic en Aplicar.

    Asegúrate de revisar todas las páginas con el control de página que se encuentra en la esquina superior derecha.

Después de realizar todos los cambios necesarios en las etiquetas, haz clic en ENVIAR (en la parte inferior izquierda). El JSON de resultado se guardará en la carpeta "Ubicación de los resultados".

Si el documento no se puede etiquetar de forma satisfactoria, puedes hacer clic en RECHAZAR (en la parte inferior izquierda) y, luego, seleccionar un motivo para rechazarlo: - Selecciona un motivo y, luego, haz clic en Rechazar documento.

Los verificadores también pueden hacer clic en los siguientes íconos que se encuentran en la esquina superior derecha:

  • Analytics: Para mostrar cuántos documentos revisaron (respuestas) y el tiempo total que dedicaron a ello
  • Notificaciones: Para mostrar las notificaciones que recibió
  • Más (3 puntos): Para omitir el documento, encontrar respuestas o proporcionar comentarios (si está habilitado).
  • Toggle Title bar (Diagonal Arrows): Oculta (o muestra) la barra de título de DataCompute para tener más espacio.

Administrador de etiquetado

Revisa el documento de Cloud Storage

Si quieres revisar el documento, tienes dos opciones:

  • Opción 1:

    1. Ubica Cloud Storage en la ubicación configurada anteriormente.
    2. Recupera y descarga los documentos

  • Opción 2:

    1. Recuerda el URI para recuperar el documento de la respuesta de Prediction.
    2. URI de llamada para recuperar el documento revisado

¿Qué sigue?