Ao executar o pipeline usando o Dataflow, é possível visualizar esse job e qualquer outro usando a interface de monitoramento do Dataflow. A interface de monitoramento permite visualizar e interagir com suas tarefas do Dataflow.
É possível acessar a interface de monitoramento do Dataflow no Google Cloud console.
As tarefas que podem ser realizadas usando a interface de monitoramento incluem o seguinte:
- Ver uma lista de jobs em execução, concluídos e com falha.
- Ver uma representação gráfica dos estágios de um job e o progresso de cada estágio.
- Ver gráficos de métricas de jobs, como atualização de dados, utilização de recursos e solicitações de E/S.
- Monitorar o custo estimado de um job.
- Ver registros de pipeline.
- Identificar quais etapas podem causar atraso no pipeline.
- Identificar causas de latência nas origens e coletores.
- Entender erros de pipeline.
Componentes da interface de monitoramento
A interface de monitoramento contém os seguintes visualizadores e gráficos:
- Painel de monitoramento do projeto
- Um painel que monitora os jobs do Dataflow no nível do projeto.
- Lista de jobs
- Uma lista de todos os jobs do Dataflow em execução e todos os jobs executados nos últimos 30 dias, com status, região, tempo decorrido e outras informações.
- Gráfico do job
- Uma representação gráfica de um pipeline. O gráfico do job também fornece um resumo e um registro do job, além de informações sobre cada etapa do pipeline.
- Detalhes da execução
- Mostra os estágios de execução de um job, a atualização de dados para jobs de streaming e o progresso do worker para jobs em lote.
- Métricas do job
- Gráficos que mostram métricas ao longo da duração de um job.
- Custo estimado
- O custo estimado do job do Dataflow, com base nas métricas de uso de recursos.
- Recomendações
- Recomendações para melhorar o desempenho do job, reduzir custos e solucionar erros.
- Escalonamento automático
- Um conjunto de gráficos que ajudam a entender o comportamento de escalonamento automático de jobs de streaming.
- Alertas prontos para uso
- Políticas de alertas pré-configuradas para jobs de streaming que monitoram o tempo de processamento de backlog e a utilização de recursos.
- Registros de pipeline
- Registros emitidos pelo pipeline e pelo serviço do Dataflow.
- Amostragem de dados
- Uma ferramenta que permite observar dados de amostra em cada etapa de um pipeline.
A seguir
- Ativar alertas prontos para uso para monitoramento automatizado de jobs de streaming do Dataflow
- Usar o Cloud Monitoring para criar alertas personalizados e visualizar métricas do Dataflow
- Saiba mais sobre como criar pipelines de dados prontos para produção
- Aprenda a resolver problemas com o pipeline