Detalhes da execução

Esta página descreve como usar a guia Detalhes da execução na interface de monitoramento do Dataflow.

Visão geral

Quando o Dataflow executa um job, ele converte as etapas do pipeline em estágios. Enquanto cada etapa representa uma transformação individual, um estágio representa uma única unidade de trabalho realizada pelo Dataflow. Para otimizar o pipeline, o Dataflow pode mesclar várias etapas em um estágio.

A guia Detalhes da execução na interface de monitoramento do Dataflow mostra informações sobre os estágios de um job. É possível usar a guia Detalhes da execução para resolver problemas de desempenho, como:

  • Estágios lentos que causam gargalos de desempenho
  • Estágios travados que não avançam
  • VMs de worker que estão atrasadas em relação a outros workers

Ver detalhes da execução

Para ver os detalhes da execução de um job, siga estas etapas:

  1. No Google Cloud console, acesse a página Dataflow > Jobs.

    Acessar "Jobs"

  2. Selecione um job.

  3. Clique na guia Detalhes da execução.

  4. Selecione uma das seguintes visualizações:

    • Progresso do estágio
    • Fluxo de trabalho do estágio
    • Progresso do worker (somente jobs em lote)

As seções a seguir descrevem cada uma dessas visualizações.

Visualização de progresso do estágio

A visualização Progresso do estágio permite observar o progresso geral do job e comparar o progresso relativo entre os estágios. O layout da visualização Progresso do estágio difere entre jobs em lote e de streaming.

Progresso do estágio para jobs em lote

Para jobs em lote, a visualização Progresso do estágio mostra os estágios do job em ordem de horário de início. Para cada estágio, ela mostra os seguintes elementos:

  • Uma barra que mostra os horários de início e término.
  • Um gráfico de linhas que mostra o progresso do estágio ao longo do tempo como uma porcentagem do trabalho total do estágio.
  • O tempo total gasto no estágio.

Exemplo da visualização de progresso do estágio para um job em lote.

Para filtrar os estágios mostrados, clique em Filtrar estágios. Para ver o caminho crítico, ative Caminho crítico. O caminho crítico é a sequência de estágios que contribuem para o ambiente de execução geral do job. Por exemplo, ele exclui ramificações que terminaram antes do job geral e entradas que não atrasaram o processamento downstream.

O painel Informações do estágio mostra informações mais detalhadas sobre um estágio. Para ver os detalhes de um estágio, clique na barra de progresso desse estágio. O painel Informações do estágio mostra as seguintes informações sobre um estágio:

  • Status
  • Progresso como porcentagem
  • Horários de início e término
  • As etapas do pipeline que esse estágio abrange
  • As etapas mais lentas por tempo decorrido
  • Detalhes sobre quaisquer retardatários

Se o painel não estiver visível, clique em Alternar painel "Informações do estágio".

Progresso do estágio para jobs de streaming

Para jobs de streaming, a visualização Progresso do estágio tem duas visualizações de atualização de dados. A atualização de dados é a diferença entre o carimbo de data/hora de um elemento de dados e o horário em que o elemento é processado. Valores maiores significam que o pipeline está demorando mais para processar os dados de entrada.

A primeira visualização mostra a atualização de dados por estágio como um gráfico de linhas. Para ver a atualização de dados em um instante específico, mantenha o ponteiro sobre o gráfico. Para selecionar o período, use o seletor de tempo ou clique no gráfico e arraste para selecionar o intervalo. Para filtrar os estágios mostrados, clique em Filtrar estágios.

O gráfico também destaca anomalias nos dados:

  • Possível lentidão: a atualização de dados excede o 95º percentil da janela de tempo selecionada.
  • Possível travamento: a atualização de dados excede o 99º percentil da janela de tempo selecionada.

A segunda visualização mostra os estágios como uma série de barras. Os estágios são organizados em ordem topológica. Os estágios sem descendentes são mostrados primeiro, seguidos pelos descendentes. Os comprimentos das barras representam a atualização de dados. Para ver os valores de atualização de dados em um ponto específico, clique no gráfico. As barras são atualizadas para mostrar a atualização de dados no horário selecionado.

A imagem a seguir mostra um job com quatro estágios. No carimbo de data/hora selecionado, a atualização de dados varia de 9 a 13 segundos.

A visualização de progresso do estágio para um job de streaming, mostrando a atualização de dados entre 8 e 13 segundos.

A próxima imagem mostra o mesmo job com um carimbo de data/hora diferente selecionado. Nesse ponto, a atualização de dados para todos os estágios excede 4 minutos, indicando que o pipeline pode estar travado.

A visualização de progresso do estágio para um job de streaming, mostrando a atualização de dados excedendo 4 minutos.

O painel Informações do estágio mostra informações mais detalhadas sobre um estágio. Para ver os detalhes de um estágio, clique na barra de progresso desse estágio. O painel Informações do estágio mostra as seguintes informações sobre um estágio:

  • Status
  • Intervalo no sistema: o tempo máximo que um item de dados ficou aguardando o processamento
  • Marca-d'água de dados: o tempo estimado de conclusão da entrada de dados para esse estágio
  • Detalhes sobre quaisquer retardatários
  • As etapas do pipeline que esse estágio abrange

Se o painel não estiver visível, clique em Alternar painel "Informações do estágio".

Fluxo de trabalho do estágio

A visualização Fluxo de trabalho do estágio mostra os estágios do job como um gráfico de fluxo de trabalho. Para ver os detalhes de um estágio, clique na caixa desse estágio.

Visualização do fluxo de trabalho do estágio, mostrando a hierarquia dos estágios de execução de um job.

Para jobs em lote, clique em Caminho crítico para ter acesso de visualização apenas dos estágios que contribuem diretamente para o tempo de execução geral do job.

Progresso do worker

Para jobs em lote, a visualização Progresso do worker mostra os workers de um estágio específico. Esta visualização não está disponível para jobs de streaming. Para acessar essa visualização, selecione Progresso do worker e o estágio em Filtrar workers por estágio. Como alternativa, é possível ativar essa visualização na visualização Progresso do estágio da seguinte maneira:

  1. Na visualização Progresso do estágio, identifique o estágio que você quer ver.
  2. Mantenha o ponteiro do mouse sobre a barra desse estágio.
  3. No card Estágio, clique em Ver workers. A visualização Progresso do worker é mostrada com o estágio pré-selecionado.

Cada barra é mapeada para um item de trabalho programado para um worker. Um gráfico sparkline que rastreia a utilização da CPU em um worker está localizado com cada worker, facilitando a detecção de problemas de subutilização.

A visualização de progresso do worker. Os workers têm barras e minigráficos que correspondem à programação do item de trabalho e à utilização da CPU.

A seguir

Exceto em caso de indicação contrária, o conteúdo desta página é licenciado de acordo com a Licença de atribuição 4.0 do Creative Commons, e as amostras de código são licenciadas de acordo com a Licença Apache 2.0. Para mais detalhes, consulte as políticas do site do Google Developers. Java é uma marca registrada da Oracle e/ou afiliadas.

Última atualização 2026-09-09 UTC.