Detalhes da execução

Esta página descreve como usar o separador Detalhes de execução na interface de monitorização do Dataflow.

Vista geral

Quando o Dataflow executa uma tarefa, converte os passos do pipeline em fases. Enquanto cada passo representa uma transformação individual, uma fase representa uma única unidade de trabalho realizada pelo Dataflow. Para otimizar o pipeline, o Dataflow pode fundir vários passos numa única fase.

O separador Detalhes da execução na interface de monitorização do fluxo de dados apresenta informações sobre as fases de uma tarefa. Pode usar o separador Detalhes da execução para resolver problemas de desempenho, como:

  • Fases lentas que causam restrições de desempenho
  • Fases bloqueadas que não estão a avançar
  • VMs trabalhadoras que estão atrasadas em relação a outras trabalhadoras

Veja os detalhes da execução

Para ver os detalhes de execução de uma tarefa, efetue os seguintes passos:

  1. Na Google Cloud consola, aceda à página Dataflow > Tarefas.

    Aceda a Empregos

  2. Selecione uma tarefa.

  3. Clique no separador Detalhes da execução.

  4. Selecione uma das seguintes vistas:

    • Progresso da fase
    • Fluxo de trabalho de preparação
    • Progresso do trabalhador (apenas tarefas de lote)

As secções seguintes descrevem cada uma destas vistas.

Vista de progresso da fase

A vista Progresso da fase permite-lhe observar o progresso geral da tarefa e comparar o progresso relativo entre as fases. O esquema da vista Progresso da fase difere entre tarefas em lote e tarefas de streaming.

Progresso da fase para tarefas em lote

Para tarefas em lote, a vista Progresso do estágio mostra os estágios da tarefa por ordem das respetivas horas de início. Para cada fase, apresenta os seguintes elementos:

  • Uma barra que mostra as horas de paragem e de fim.
  • Um gráfico de linhas que mostra o progresso da fase ao longo do tempo como uma percentagem do trabalho total da fase.
  • O tempo total passado no estágio.

Um exemplo da vista de progresso da fase para uma tarefa em lote.

Para filtrar as fases apresentadas, clique em Filtrar fases. Para ver o caminho crítico, ative/desative a opção Caminho crítico. O caminho crítico é a sequência de etapas que contribuem para o tempo de execução geral do trabalho. Por exemplo, exclui ramificações que terminaram antes da tarefa geral e entradas que não atrasaram o processamento a jusante.

O painel Informações da fase mostra informações mais detalhadas sobre uma fase. Para ver os detalhes de uma fase, clique na barra de progresso dessa fase. O painel Informações da etapa mostra as seguintes informações sobre uma etapa:

  • Estado
  • Progresso como percentagem
  • Horas de início e de fim
  • Os passos do pipeline que esta fase abrange
  • Os passos mais lentos por tempo de processamento
  • Detalhes sobre quaisquer participantes atrasados

Se o painel não estiver visível, clique em Ativar/desativar painel "Informações do palco".

Progresso das fases para trabalhos de streaming

Para tarefas de streaming, a vista Progresso da fase tem duas visualizações da atualidade dos dados. A atualidade dos dados é a diferença entre a data/hora de um elemento de dados e a hora em que o elemento é processado. Valores mais elevados significam que o pipeline está a demorar mais tempo a processar os dados de entrada.

A primeira visualização mostra a atualidade dos dados por fase como um gráfico de linhas. Para ver a atualização dos dados num instante específico, mantenha o ponteiro sobre o gráfico. Para selecionar o intervalo de tempo, use o selecionador de hora ou clique no gráfico e arraste para selecionar o intervalo. Para filtrar as fases apresentadas, clique em Filtrar fases.

O gráfico também realça anomalias nos dados:

  • Potencial lentidão: a atualidade dos dados excede o percentil 95 para o intervalo de tempo selecionado.
  • Potencial bloqueio: a atualidade dos dados excede o percentil 99 para o período selecionado.

A segunda visualização mostra as fases como uma série de barras. As fases estão organizadas por ordem topológica. As fases sem descendentes são apresentadas primeiro, seguidas pelos respetivos descendentes. O comprimento das barras representa a atualidade dos dados. Para ver os valores de atualização dos dados num ponto específico, clique no gráfico. As barras são atualizadas para mostrar a atualidade dos dados na hora selecionada.

A imagem seguinte mostra um trabalho com quatro fases. Na data/hora selecionada, a atualidade dos dados varia entre 9 e 13 segundos.

A vista de progresso da fase de uma tarefa de streaming, que mostra a atualidade dos dados entre 8 e 13 segundos.

A imagem seguinte mostra a mesma tarefa com uma data/hora diferente selecionada. Neste ponto, a atualidade dos dados para todas as fases excede os 4 minutos, o que indica que o pipeline pode estar bloqueado.

A vista de progresso da fase de uma tarefa de streaming, que mostra uma atualidade dos dados superior a 4 minutos.

O painel Informações da fase mostra informações mais detalhadas sobre uma fase. Para ver os detalhes de uma fase, clique na barra de progresso dessa fase. O painel Informações da etapa mostra as seguintes informações sobre uma etapa:

Se o painel não estiver visível, clique em Ativar/desativar painel "Informações do palco".

Fluxo de trabalho de preparação

A vista Fluxo de trabalho de fases mostra as fases do trabalho como um gráfico de fluxo de trabalho. Para ver os detalhes de uma fase, clique na caixa dessa fase.

Vista do fluxo de trabalho de fases, que mostra a hierarquia das fases de execução de uma tarefa.

Para tarefas em lote, clique em Caminho crítico para ver apenas as fases que contribuem diretamente para o tempo de execução geral da tarefa.

Progresso dos trabalhadores

Para tarefas em lote, a vista Progresso do trabalhador mostra os trabalhadores de uma determinada fase. Esta vista não está disponível para trabalhos de streaming. Para aceder a esta vista, selecione Progresso do trabalhador e selecione a fase em Filtrar trabalhadores por fase. Em alternativa, pode ativar esta vista a partir da vista Progresso da fase da seguinte forma:

  1. Na vista Progresso da fase, identifique a fase que quer ver.
  2. Mantenha o ponteiro sobre a barra dessa fase.
  3. No cartão Fase, clique em Ver trabalhadores. A vista Progresso do trabalhador é apresentada com a fase pré-selecionada.

Cada barra é mapeada para um item de trabalho agendado para um trabalhador. Um gráfico de linhas que acompanha a utilização da CPU num trabalhador está localizado junto a cada trabalhador, o que facilita a deteção de problemas de subutilização.

A vista de progresso do trabalhador. Os trabalhadores têm barras e minigráficos que correspondem ao agendamento de itens de trabalho e à utilização da CPU.

O que se segue?