IU do Gestor de etiquetagem e Labeler Workbench

Aviso: o Document AI Human-in-the-Loop foi descontinuado e vai deixar de estar disponível Google Cloud após 16 de janeiro de 2025. Os novos clientes não estão na lista de autorizações. Se quiser usar o HITL, mas não vir a opção disponível, contacte a equipa da Conta Google.

Para implementar uma solução de revisão e correção humana que cumpra os seus requisitos, recomendamos que trabalhe com um Google Cloud parceiro certificado, como a Devoteam, a Searce ou a Quantiphi. Consulte a secção Descontinuações para ver detalhes.

IU do gestor

A IU do gestor permite que os gestores¹ administrem o trabalho dos etiquetadores em tarefas². Os gestores podem usar esta IU para adicionar ou remover etiquetadores, atribuir ou anular a atribuição de tarefas e monitorizar o progresso das tarefas e as estatísticas sobre o desempenho de cada etiquetador.

À esquerda, encontra uma lista de todos os Google Cloud conjuntos de etiquetadores ativados para o projeto³ dos quais o utilizador é gestor. O número à direita do nome do conjunto de etiquetadores é o número de etiquetadores nesse conjunto. À direita, encontra o conteúdo principal da IU, que consiste em quatro separadores:

• Tarefas
• Etiquetadores
• Tarefas

Tasks

A tabela de tarefas é uma vista de todas as tarefas no Google Cloud projeto do conjunto de etiquetadores. Contém algumas estatísticas básicas sobre a tarefa, bem como a capacidade de pausar a tarefa e rotas rápidas para atribuir etiquetadores às tarefas.

Filtros

Acima da grelha de dados, encontra um conjunto de controlos de filtros para determinar que tarefas são apresentadas na grelha de dados.

• Pesquisar tarefas por nome: filtra os resultados para os que têm o nome introduzido. Inclui a funcionalidade de preenchimento automático.
• Em curso: se esta opção estiver selecionada, os resultados incluem todas as tarefas que não estão pausadas, concluídas ou não atribuídas. Esta opção está ativada por predefinição.
• Pausada: se esta opção estiver selecionada, os resultados incluem todas as tarefas pausadas.
• Concluído: se esta opção estiver selecionada, os resultados incluem todas as tarefas concluídas, ou seja, que não têm perguntas disponíveis (quer porque ainda não foram colocadas perguntas em fila, quer porque já foram respondidas todas as perguntas em fila).
• Não atribuído: se esta opção estiver selecionada, os resultados incluem todas as tarefas às quais não foram atribuídos etiquetadores.

Se não forem selecionados filtros, ocorre um erro e a página indica ao gestor que selecione alguns filtros. Se alguma das caixas de verificação estiver desmarcada, as tarefas que correspondam à condição dessa caixa de verificação são excluídas a menos que correspondam a uma das condições da caixa de verificação selecionada. Por exemplo, se uma tarefa estiver pausada e não atribuída, é apresentada se a caixa de verificação Pausado estiver selecionada ou se a caixa de verificação Não atribuído estiver selecionada (ou ambas). Este resultado não é apresentado se não estiver selecionada a caixa de verificação Pausado nem a caixa de verificação Não atribuído.

A grelha de dados

• A primeira coluna contém uma caixa de verificação para cada linha. Se o gestor selecionar uma ou mais destas caixas de verificação e, em seguida, clicar no botão Gerir atribuição acima da tabela, é direcionado para a página Atribuições, com as tarefas selecionadas já preenchidas no filtro Tarefas.
• A coluna Tarefa apresenta o nome da tarefa. Este valor é definido pela pessoa que cria a tarefa e é um nome legível por humanos (como "Classificação de currículos") em oposição a um identificador interno (como "cloud_data_67523fe89343").
• A coluna Objetivo contém o nome do objetivo, que descreve o tipo de tarefa (classificação de imagens, classificação de texto, etc.).
• A coluna "Última fila" contém a data em que a pergunta mais recente foi colocada em fila (vazia se ainda não tiverem sido colocadas perguntas em fila para a tarefa).
• A coluna Atribuído apresenta o número de etiquetadores atualmente atribuídos à tarefa. Também dá acesso a uma caixa de diálogo a partir da qual o gestor pode anular a atribuição de etiquetadores. O gestor não pode fazer atribuições a partir desta caixa de diálogo. Para o fazer, tem de usar a página de atribuição.
• A coluna Perguntas disponíveis/em fila apresenta a proporção entre o número de perguntas na tarefa que estão atualmente disponíveis para serem trabalhadas pelos etiquetadores e o número total de perguntas atualmente em fila na tarefa.
• A coluna Progresso mostra uma apresentação gráfica e baseada em percentagens da relação acima. Também mostra se a tarefa está em pausa (não apresenta perguntas), como se vê na linha inferior da tabela na captura de ecrã acima.
• A coluna Ações contém um menu com algumas ações adicionais a realizar na tarefa:
  • Pausar: só está disponível se a tarefa não estiver pausada. Esta opção pausa a tarefa.
  • Retomar: só está disponível se a tarefa estiver atualmente pausada. Esta opção retoma a tarefa.
  • Atribuição: isto fornece um atalho para a página Atribuição, com a tarefa inicialmente selecionada nos filtros.

Acima da tabela de dados, encontra um controlo de paginação com o qual o gestor pode decidir mostrar mais resultados por página e navegar entre as páginas de resultados.

Etiquetadores

A tabela de etiquetadores é uma vista de todos os etiquetadores no conjunto de etiquetadores. Contém algumas estatísticas básicas sobre o etiquetador, bem como uma forma de atribuir rapidamente o etiquetador a tarefas.

Filtros

Acima da grelha de dados, encontra-se uma caixa de filtro que filtra os resultados para aqueles com os emails introduzidos. Pode separar vários emails por vírgulas.

Adicione o etiquetador

O botão Adicionar abre uma caixa de diálogo a partir da qual o gestor pode adicionar um ou mais etiquetadores ao conjunto. Podem ser introduzidos vários endereços de email, separados por vírgulas. Também podem ser introduzidos códigos de idioma (por exemplo, "en", "de"), separados por vírgulas. A mesma pessoa (email) pode aparecer em vários conjuntos de etiquetadores e ter atribuições diferentes em cada conjunto.

A caixa de diálogo mostra um resumo dos etiquetadores que foram ou não adicionados. Uma marca de verificação significa que o etiquetador foi adicionado com êxito, enquanto o X vermelho significa que não foi possível adicionar o etiquetador (por exemplo, porque já existe no conjunto).

Grelha de dados

• A primeira coluna contém uma caixa de verificação para cada linha. Se o gestor selecionar uma ou mais destas caixas de verificação e, em seguida, clicar no botão Gerir atribuição acima da tabela, é direcionado para a página Atribuições, com os etiquetadores selecionados já preenchidos no filtro Etiquetadores.
• A coluna Email apresenta o endereço de email do etiquetador.
• A coluna Tarefas atribuídas apresenta o número de tarefas às quais o etiquetador está atribuído. Também dá acesso a uma caixa de diálogo a partir da qual o gestor pode anular a atribuição do etiquetador a uma ou mais tarefas. O gestor não pode fazer atribuições a partir desta caixa de diálogo. Para atribuir uma tarefa, o gestor tem de usar a página de atribuição.
• A coluna Idiomas apresenta os idiomas aos quais o etiquetador está associado. Estes valores podem afetar as Perguntas que um Etiquetador pode alugar, dependendo da configuração da Pergunta quando foi colocada na fila.
• A coluna Ações contém um menu com algumas ações adicionais a realizar na tarefa:
  • Atribuição: esta opção fornece um atalho para a página Atribuição, com o etiquetador inicialmente selecionado nos filtros.
  • Eliminar: remove o etiquetador do conjunto de etiquetadores atual.

Acima da tabela de dados, encontra um controlo de paginação com o qual o gestor pode decidir mostrar mais resultados por página e navegar entre as páginas de resultados.

Tarefas

A página de atribuições permite que os gestores geram atribuições de tarefas para os etiquetadores no conjunto de etiquetadores.

Filtros

O conteúdo da grelha de atribuições é determinado por dois conjuntos de critérios de filtro: os filtros do etiquetador, que determinam o que é apresentado no eixo Y, e os filtros de tarefas, que determinam o que é apresentado no eixo X.

Filtros do etiquetador

• Selecionador de tarefas: através deste campo, o gestor pode selecionar uma ou mais tarefas. O conjunto de etiquetadores apresentado na grelha inclui todos os etiquetadores atribuídos a qualquer uma dessas tarefas.
• Filtro de emails: através deste campo, o gestor pode especificar uma ou mais moradas de email, separadas por vírgulas. O conjunto de etiquetadores apresentado na grelha inclui todos os etiquetadores com qualquer um desses endereços de email.

Pode usar um ou ambos os filtros, mas tem de usar, pelo menos, um.

Filtros de tarefas

• Selecionador de tarefas: através deste campo, o gestor pode selecionar uma ou mais tarefas. O conjunto de tarefas apresentado na grelha inclui todas as tarefas selecionadas.
• Filtros adicionais:
  • Todas as tarefas pausadas: se esta opção estiver selecionada, as tarefas apresentadas também incluem as tarefas pausadas.
  • Todas as tarefas concluídas: se esta opção estiver selecionada, as tarefas apresentadas também incluem todas as tarefas concluídas (que não têm perguntas disponíveis para trabalhar).
  • Todas as tarefas não atribuídas: se esta opção estiver selecionada, as tarefas apresentadas também incluem qualquer tarefa que não esteja atribuída a nenhum etiquetador.
  • Todas as tarefas em curso: se esta opção estiver selecionada, as tarefas apresentadas também incluem todas as tarefas "em curso" (não pausadas, concluídas nem não atribuídas).

Pode usar qualquer combinação destes filtros, mas tem de usar, pelo menos, um. Estes filtros são independentes entre si. As opções escolhidas no filtro Etiquetadores não têm qualquer efeito nas opções escolhidas no filtro Tarefas e vice-versa.

Grelha de tarefas

A grelha mostra os resultados dos critérios de filtro selecionados. Os etiquetadores constituem o eixo Y e as tarefas constituem o eixo X. Para cada célula, o gestor pode selecionar a caixa de verificação para atribuir o etiquetador correspondente à tarefa correspondente ou desmarcar a caixa de verificação para desatribuir o etiquetador correspondente da tarefa correspondente.

Também existem alguns atalhos disponíveis nos menus em cada cabeçalho de linha e célula de cabeçalho de coluna (o menu é aberto clicando no botão com os três pontos verticais). Por exemplo, se o gestor abrir o menu numa célula do cabeçalho do etiquetador, pode atribuir ou anular a atribuição desse etiquetador a todas as tarefas de uma só vez. O gestor também pode ocultar a linha ou a coluna com a opção do menu Remover, ou ver as tarefas às quais um etiquetador está atualmente atribuído/os etiquetadores que estão atualmente atribuídos à tarefa. Ao preencher as linhas e as colunas, o gestor pode optar por remover um etiquetador ou uma tarefa específica da grelha de atribuição através do atalho disponível. Isto não afeta o estado de atribuição da tarefa nem dos etiquetadores removidos. As tarefas ou os etiquetadores removidos podem ser apresentados novamente na grelha através dos respetivos filtros na parte superior. Apenas as tarefas e os etiquetadores presentes na grelha de atribuição são usados para modificar a atribuição após a confirmação das alterações.

Depois de fazer alterações às atribuições, o botão Aplicar alterações na parte superior da página é ativado. O botão Rejeitar alterações também está disponível. Se clicar neste botão, repõe todas as alterações de atribuição não confirmadas.

Quando o botão Aplicar alterações é clicado, o gestor vê uma lista de todas as alterações que vão ser feitas às atribuições. Depois de o gestor rever as alterações, pode anulá-las ou confirmá-las. Se abortarem as alterações, regressam à página Atribuições para continuar a editar as atribuições. Se consolidar as alterações, os trabalhos são consolidados e o professor regressa à página Trabalhos.

Até o gestor clicar em Enviar na página da lista de alterações, as alterações feitas na grelha não são guardadas.

Bancada de trabalho do etiquetador

A bancada de trabalho do etiquetador é a interface que o etiquetador usa para etiquetar as perguntas. As perguntas que recebem dependem dos conjuntos de trabalhadores dos quais fazem parte, que são atribuídos pelos gestores.

Receber perguntas

Quando a bancada de trabalho é carregada, tenta automaticamente obter perguntas para o etiquetador etiquetar. Isto pode falhar por alguns motivos:

• O etiquetador não está atribuído a nenhuma tarefa no conjunto de etiquetadores atual (a bancada de trabalho usa um conjunto de etiquetadores de cada vez). Podem estar disponíveis perguntas para o etiquetador noutro conjunto de etiquetadores.
• O etiquetador está atribuído a uma ou mais tarefas, mas nenhuma das tarefas tem atualmente perguntas disponíveis para esse etiquetador específico. Isto pode dever-se a vários motivos:
  • Não existem perguntas na fila
  • Todas as perguntas cumpriram a replicação
  • Todas as perguntas com replicações restantes foram atribuídas a outros etiquetadores que estão a trabalhar nelas no momento
  • Todas as perguntas disponíveis têm idiomas associados que o etiquetador não tem.
  • O etiquetador já respondeu a todas as perguntas disponíveis. Estas perguntas podem continuar disponíveis para outros etiquetadores até que a replicação seja concluída.
  • O etiquetador está impedido de responder a perguntas disponíveis porque enviou respostas a instâncias anteriores destas perguntas. Estas perguntas podem continuar disponíveis para outros etiquetadores.

Depois de carregar a bancada de trabalho, o etiquetador pode ficar sem perguntas. Quando isto acontece, é apresentado um botão que permite ao etiquetador tentar obter novamente as perguntas (sujeito às mesmas potenciais falhas acima).

Trabalhar em perguntas

Quando o etiquetador tem uma pergunta alugada, esta aparece na bancada de trabalho. O aspeto específico depende da pergunta colocada na fila e da IU que a tarefa está configurada para usar.

A bancada de trabalho inicia um temporizador até a atribuição de perguntas expirar. Quando o temporizador terminar, a pergunta expira e é removida da bancada de trabalho para ser atribuída a outros avaliadores e manter a fila em funcionamento.

Quando o etiquetador envia a resposta à pergunta, a bancada de trabalho carrega automaticamente a próxima pergunta disponível. Caso contrário, o etiquetador tem de pedir mais perguntas com o botão Obter mais perguntas, apresentado acima.

Estado do envio

Existem alguns locais na bancada de trabalho onde um etiquetador pode ver o estado dos seus envios de respostas: se o envio foi bem-sucedido, falhou ou ainda está em curso.

Caixa de diálogo Notificações

Esta caixa de diálogo mostra o estado das respostas que o etiquetador enviou:

• O ícone e o número à esquerda (o relógio laranja) representam as respostas que ainda estão em processo de envio.
• O ícone do meio (o triângulo vermelho) representa as respostas que não foram enviadas. A falha no envio pode dever-se a um erro do servidor de algum tipo ou a um problema com a ligação à Internet do cliente.
• O ícone à direita representa as respostas que foram enviadas com êxito.

Tenha em atenção que a contagem não persiste no navegador. Se fechar a bancada de trabalho e a abrir novamente(ou atualizar a página), os contadores são repostos para 0.

Mais ferramentas

Existem algumas ferramentas adicionais disponíveis num menu aberto a partir do botão no final da barra de ferramentas principal.

As opções são as seguintes:

• Ignorar: ignora a pergunta atual, se a tarefa tiver a opção de ignorar ativada. Isto é geralmente usado se a pergunta apresentada na IU estiver danificada, mas os gestores individuais podem dar instruções ao etiquetador sobre quando ignorar uma pergunta. Tenha em atenção que uma omissão é contabilizada como uma resposta, guardada com metadados adicionais que indicam que foi omitida e porquê.
• Encontrar respostas: acede à página Respostas, que permite ao etiquetador ver as suas respostas a qualquer pergunta pesquisando o ID da pergunta. O etiquetador só pode ver as suas próprias respostas, enquanto um gestor no conjunto de etiquetadores pode ver todas as respostas.

Fila de perguntas

Também existe uma fila de perguntas para as quais o etiquetador enviou respostas:

Neste caso, a primeira resposta foi enviada com êxito, mas o envio da resposta seguinte falhou. A resposta seguinte foi enviada com êxito e o quarto balão representa a pergunta carregada atualmente e o tempo restante. A bolha final indica quantas perguntas podem ser alugadas ao etiquetador. Isto ajuda o etiquetador a saber quando está quase a ficar sem perguntas para etiquetar e a informar o respetivo gestor.

Um etiquetador pode voltar a uma pergunta anterior clicando na respetiva bolha. Se a pergunta não tiver expirado, o etiquetador pode alterar a resposta e enviá-la novamente. Apenas a resposta mais recente é armazenada e substitui qualquer resposta anterior. Tenha em atenção que algumas tarefas podem ter instruções para não usar esta funcionalidade se o envio da resposta for final.

Barra de ferramentas de ferramentas adicionais

Está disponível uma barra de ferramentas que contém ferramentas adicionais para a bancada de trabalho. Está oculto por predefinição, mas pode ser expandido, se necessário.

Estão disponíveis três botões:

• Ecrã inteiro: faz com que o plug-in seja aberto no modo de ecrã inteiro. Esta ação mostra apenas a bancada de trabalho e oculta a IU do navegador, bem como as barras de ferramentas do sistema operativo. O etiquetador pode sair deste modo premindo Esc ou clicando novamente no mesmo botão.
• Atualizar: atualiza o plugin atualmente visível. Na maioria dos casos, isto é melhor do que atualizar a página a partir do navegador, uma vez que a atualização da página pode limpar alguns estados, como o tempo gasto e as respostas enviadas, e não é garantido que o etiquetador receba novamente a mesma pergunta se atualizar a página.
• Informações da pergunta: apresenta algumas informações sobre a pergunta atualmente visível, como os IDs das perguntas e o nome do plug-in. Tenha em atenção que estas informações podem ser úteis quando denunciar problemas com uma pergunta específica, consoante as instruções do gestor de tarefas.

Página do Analytics

A página do Analytics dá ao etiquetador uma vista das suas contribuições recentes.

Na parte superior, encontra um gráfico das taxas de contribuição. Abaixo, encontram-se as mesmas informações apresentadas em formato de tabela. O etiquetador pode selecionar entre alguns intervalos de tempo predefinidos para ver os dados. Pode aceder à página Analytics clicando no botão Analytics na barra de ferramentas.

Criar espaço para o plug-in

Estão disponíveis alguns controlos para ajustar o espaço disponível para o plug-in.

O botão superior (as setas diagonais) ativa/desativa a visibilidade da barra Google One, a barra imediatamente acima que contém o comutador de contas Google. O botão inferior (a seta para baixo) ativa/desativa a visibilidade da barra de ferramentas adicionais. Quando combinado com o modo de ecrã inteiro, a ativação/desativação da ocultação de ambas as barras de ferramentas dá ao plug-in quase todo o ecrã.

---

1. Um gestor de um conjunto de etiquetadores é um utilizador com autorização para adicionar ou remover etiquetadores e alterar as tarefas às quais os etiquetadores estão atribuídos. ↩

2. Uma tarefa é um conjunto de perguntas que podem ser atribuídas a um ou mais etiquetadores de um conjunto de etiquetadores. ↩

3. Um conjunto de etiquetadores é uma coleção de etiquetadores geridos por um ou mais gestores. Os etiquetadores de um conjunto podem ser atribuídos para trabalhar em tarefas ativadas para esse conjunto. ↩