Este guia explica como monitorar instâncias e pipelines do Cloud Data Fusion. É possível conferir as principais métricas no painel de monitoramento do Cloud Data Fusion. Para mais agregação ou filtragem, consulte as métricas no Cloud Monitoring.
Antes de começar
Antes de começar a monitorar instâncias e pipelines do Cloud Data Fusion, revise os preços e conceda os papéis necessários.
Preços
O uso do Cloud Monitoring gera cobranças. Para mais informações, consulte Preços do Google Cloud Observability.
Funções exigidas
Para receber as permissões necessárias para visualizar métricas, peça ao administrador para conceder a você o papel Leitor do Monitoring (roles/monitoring.viewer) do IAM no seu projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.
Monitorar no Cloud Data Fusion
Visualize e filtre métricas para suas instâncias e pipelines diretamente no Cloud Data Fusion usando o painel de monitoramento:
No Google Cloud console do, acesse a página do Cloud Data Fusion.
Clique em Instâncias e no nome da instância para acessar a página Detalhes da instância.
Clique na guia Monitoramento. Isso mostra um painel com gráficos da sua instância e dos pipelines dela.
O painel mostra as seguintes visualizações:
- Visão geral:monitora as métricas do sistema do Cloud Data Fusion.
- Instância:monitora todas as instâncias do Cloud Data Fusion no projeto.
- Pipeline:fornece informações sobre execuções e desempenho de pipelines.
Para informações detalhadas sobre as métricas em qualquer visualização, passe o cursor sobre o widget e clique em Mais > Visualizar no Metrics Explorer.
Widgets no painel de monitoramento
As seções a seguir descrevem os widgets disponíveis nas visualizações Visão geral, Instância e Pipeline.
Widgets da visualização "Visão geral"
Esta tabela descreve os widgets na visualização Visão geral:
| Widget | Descrição |
|---|---|
| Integridade do serviço AppFabric | Disponibilidade do serviço para o AppFabric |
| Integridade dos serviços de métricas | Disponibilidade do serviço para métricas |
| Integridade do serviço Wrangler | Disponibilidade do serviço para o Wrangler |
| Integridade do executor de conjuntos de dados | Disponibilidade do serviço para o conjunto de dados |
| Integridade do Pipeline Studio | Disponibilidade do serviço para o Pipeline Studio |
| Integridade do serviço do ambiente de execução | Disponibilidade do serviço para o ambiente de execução |
| Integridade do serviço Log Saver | Disponibilidade do serviço para o Log Saver |
| Integridade do serviço de metadados | Disponibilidade do serviço para metadados |
Widgets da visualização "Pipeline"
Esta tabela descreve os widgets na visualização Pipeline:
| Widget | Descrição |
|---|---|
| Execuções de pipeline concluídas | Contagem cumulativa de execuções de pipeline bem-sucedidas. |
| Execuções de pipeline com falha | Contagem cumulativa de execuções de pipeline com falha. |
| Execuções de pipeline interrompidas | Contagem cumulativa de execuções de pipeline interrompidas. |
| Execuções de pipeline rejeitadas | Contagem cumulativa de execuções de pipeline rejeitadas. |
| Ambiente de execução do pipeline | Tempo necessário para concluir execuções de pipeline bem-sucedidas. |
| Latência de início do pipeline | Tempo necessário para que uma execução de pipeline atinja o estado "Em execução". |
| Latência de provisionamento do Serviço Gerenciado para Apache Spark | Tempo necessário para provisionar o cluster do Serviço Gerenciado para Apache Spark. |
| Contagem de solicitações de API do Serviço Gerenciado para Apache Spark | Contagem cumulativa de solicitações de API feitas para o Serviço Gerenciado para Apache Spark. |
| Ambiente de execução da visualização com êxito | Tempo necessário para concluir execuções de visualização bem-sucedidas. |
| Visualizar execuções | Número de execuções de visualização. |
| Bytes de pipeline lidos | Contagem cumulativa de bytes lidos por um pipeline. |
| Bytes de pipeline gravados | Contagem cumulativa de bytes gravados por um pipeline. |
| Bytes de pipeline embaralhados | Contagem cumulativa de bytes embaralhados em um pipeline. |
| Registros de plug-in processados em | Contagem cumulativa de registros que entram em um plug-in. |
| Registros de plug-in processados | Contagem cumulativa de registros que saem de um plug-in. |
Widgets da visualização "Instância"
Esta tabela descreve os widgets na visualização Instância:
| Widget | Descrição |
|---|---|
| Execução simultânea de pipelines | Número de pipelines em execução simultânea. |
| Pipeline simultâneo iniciado | Número de pipelines em estado de provisionamento ou inicialização. |
| Solicitações de API recebidas | Contagem cumulativa de solicitações de API recebidas. |
| Contagem de respostas da API | Contagem cumulativa de respostas de API enviadas. |
| Contagem de verificação de autorização | Contagem cumulativa de verificações de autorização. |
| Tempo de verificação de autorização | Latência das verificações de autorização. |
| Número de pipelines implantados | Número de pipelines implantados. |
| Contagem de pipelines de rascunho | Número de pipelines de rascunho. |
| Contagem de namespaces | Número de namespaces. |
Visualizar métricas para análise avançada no Cloud Monitoring
Para mais opções de filtragem e agregação, consulte suas métricas no Cloud Monitoring:
No Google Cloud console do, acesse a página Metrics explorer do Cloud Monitoring.
Selecione o recurso monitorado do Cloud Data Fusion.
Escolha uma métrica.
Selecione filtros e agregação.
A seguir
- Para saber mais sobre filtros e métricas, consulte a visão geral das métricas do Cloud Data Fusion.