Painel de monitoramento de projetos do Dataflow

A interface de monitoramento do Dataflow baseada na Web inclui um painel que monitora os jobs do Dataflow no nível do projeto. Os gráficos mostram dados de todos os jobs em um projeto.

Acessar o painel

O painel pode ajudar você com as seguintes tarefas:

  • Detectar e identificar a origem dos erros de cota.
  • Detectar escalonamento automático horizontal anômalo em um job.
  • Identifique jobs de streaming lentos ou travados.

O painel usa o Cloud Monitoring para acessar as métricas de jobs do Dataflow. Para personalizar as informações exibidas nos gráficos, use o Metrics Explorer.

Recursos

O painel inclui os seguintes recursos:

  • Escolha quais jobs aparecem no painel usando expressões regulares.
  • Acesse a página de detalhes do job em gráficos individuais.
  • Personalizar os widgets e os gráficos do painel.

Funções exigidas

Para receber a permissão necessária para ver os dados do gráfico, peça ao administrador para conceder a você o papel Leitor do Monitoring (roles/monitoring.viewer) do IAM. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém a permissão monitoring.timeSeries.list, que é necessária para ver os dados do gráfico.

Também é possível receber essa permissão com papéis personalizados ou outros papéis predefinidos.

Acessar o painel

Para acessar o painel, siga estas etapas:

  1. Faça login no console Google Cloud .
  2. Selecione seu projeto do Google Cloud Platform.
  3. Abra o Menu de navegação.
  4. No Google Analytics, clique em Dataflow.

  5. No menu de navegação do Dataflow, clique em Monitoring.

    Acessar o painel

Métricas do painel

Por padrão, os seguintes gráficos de série temporal aparecem no painel. Para mais informações sobre as métricas exibidas, consulte Métricas do job.

Os gráficos a seguir se aplicam a jobs em lote e de streaming:

  • Execução de jobs. Mostra o número de jobs ativos em execução no projeto. Esse gráfico indica a atividade geral do Dataflow no projeto ao longo do tempo.
  • Workers por job (25 principais). Mostra as contagens atuais de workers para os 25 jobs mais paralelizados. Esse gráfico é útil para entender a alocação de recursos e identificar jobs de alta carga de trabalho. Você também pode ver se os jobs têm um comportamento de escalonamento inesperado.
  • Contagem total de vCPUs. Mostra o número total de CPUs virtuais (vCPUs) em uso em todos os jobs do projeto. O número total de vCPUs afeta as cotas do Compute Engine.
  • vCPUs por job (25 principais). Mostre os 25 jobs que consomem mais recursos de vCPU. Esse gráfico destaca jobs potencialmente caros.
  • Contagem total de vCPUs. Mostra um agregado de vCPUs em uso em todo o projeto. Este gráfico oferece uma visão geral dos recursos do Compute Engine que seus jobs consomem.
  • Erros de cota excedida. Informa todas as instâncias em que as cotas do Dataflow ou do Compute Engine foram atingidas. Esse gráfico pode ajudar você a encontrar possíveis falhas de job ou lentidão no escalonamento.

Os gráficos a seguir se aplicam a jobs de streaming:

  • Latência média do sistema. Mostra a latência média do sistema, que reflete o atraso típico dos dados ao passarem pelas etapas de origem. Esse gráfico pode indicar possíveis gargalos de entrada. Use este gráfico para identificar jobs de streaming que têm um atraso incomum entre o momento em que os dados aparecem em uma origem e são gravados em todos os coletores.
  • Atraso do sistema (25 principais). Mostra os 25 pipelines de streaming com o maior atraso do sistema, que é o maior período de tempo que os dados passam sendo processados ou aguardando processamento. Esse gráfico pode indicar possíveis gargalos de processamento em tempo real.
  • Atraso na marca-d'água dos dados por estágio (25 principais). Mostra os 25 jobs de streaming com o maior atraso de marca d'água. O atraso da marca-d'água de uma etapa é a diferença entre o horário do evento mais recente recebido pela etapa e a marca-d'água. Esse gráfico pode indicar possíveis gargalos em uma granularidade por estágio. Use este gráfico para encontrar jobs de streaming que podem estar lentos ou travados. Para mais informações, consulte Resolver problemas de jobs de streaming lentos ou travados.
  • Uso de SECU (25 principais). Mostra os 25 jobs de streaming que consomem mais unidades de computação do Streaming Engine. Use este gráfico para medir o custo e a intensidade dos seus jobs de streaming que usam o faturamento baseado em recursos.
  • Latências de processamento do usuário (25 principais). Mostra os 25 jobs de streaming em que o código definido pelo usuário nas etapas de processamento leva mais tempo. Use esse gráfico para encontrar possíveis gargalos de desempenho na lógica do aplicativo.
  • Máximo de bytes de backlog (25 principais). Mostra os 25 jobs de streaming com o maior volume de dados não processados aguardando em qualquer estágio. Esse gráfico pode indicar uma possível sobrecarga de entrada ou processamento lento.
  • Chaves em backlog (25 principais). Mostra os jobs de streaming em backlog pelo maior número de chaves em backlog em um estágio de gargalo. Para mais informações, consulte Resolver problemas de gargalos.
  • Causas prováveis do gargalo (10 principais). Mostra as 10 principais causas prováveis de estágios de gargalo em jobs com backlog. Para mais informações, consulte Resolver problemas de gargalos.

Para mais informações sobre como trabalhar com gráficos, consulte Como explorar dados em gráficos.

Personalizar o painel

É possível personalizar o conteúdo do painel e as informações exibidas nos gráficos. Quando você edita o painel, um novo painel personalizado é criado.

O painel usa o Cloud Monitoring para acessar as métricas de jobs do Dataflow. Use as ferramentas do Cloud Monitoring para personalizar os gráficos.

  1. Abra o painel e clique em Personalizar painel.
  2. Modifique seu painel.
  3. Clique em Salvar e em Ver painel personalizado.

Depois de criar um painel personalizado, para retornar ao painel padrão, no menu Painel, selecione Predefinido.

Para um exemplo de como adicionar um gráfico de métricas personalizadas ao painel, consulte Personalizar o painel de monitoramento do Dataflow.

Solução de problemas

Esta seção fornece instruções para solucionar problemas comuns

Não há dados disponíveis

Quando você abre o painel, um ou mais gráficos mostram a seguinte mensagem:

No data is available for the selected time frame.

Essa mensagem aparece quando o período coberto nos gráficos não tem dados. Para resolver esse problema, altere ou amplie o período.

Para mudar o período mostrado, no gráfico, clique em Explorar dados e use o seletor de período.

Não foi possível restaurar os widgets excluídos

Ao remover um widget do painel, você cria um painel personalizado. Depois de criar um painel personalizado, para retornar ao painel padrão, no menu Painel, selecione Predefinido.

Não é possível ver os gráficos

Para ver os dados do gráfico, você precisa da permissão monitoring.timeSeries.list. Para mais informações, consulte Papéis necessários.

A seguir