Aspectos gerais das métricas

Nesta página, descrevemos as métricas que ajudam a monitorar a integridade e o desempenho das instâncias e dos pipelines do Cloud Data Fusion. Use o Cloud Monitoring para monitorar essas métricas. As métricas fornecem insights sobre execuções de pipeline, detalhes da instância, solicitações de API e verificações de autorização.

As métricas são categorizadas como métricas de pipeline ou métricas de instância:

  • As métricas de pipeline fornecem dados sobre execuções individuais, como status, duração, latência e capacidade de processamento de dados.
  • As métricas de instância fornecem informações agregadas sobre os pipelines em uma instância, incluindo disponibilidade de serviço, número de pipelines implantados e contagens de solicitações de API.

Filtre e agregue métricas de pipeline e instância do Cloud Data Fusion no Monitoring usando rótulos metric e monitored-resource. Ao personalizar as visualizações de métricas, você pode usar um ou os dois tipos de rótulo.

Rótulos de recursos monitorados do pipeline do Cloud Data Fusion

Filtre e agregue as métricas com os seguintes rótulos de recurso monitorado do pipeline do Cloud Data Fusion:

Nome do rótulo Descrição
resource_container O ID do projeto do cliente.
org_id O ID da organização a que o projeto do cliente pertence.
location A zona ou região em que a instância está hospedada.
edition A edição da instância do Cloud Data Fusion.
is_private_ip_enabled Se a instância usa um endereço IP interno.
version A versão do plano de dados do Cloud Data Fusion da instância.
instance_id O ID da instância do Cloud Data Fusion.
namespace O namespace do pipeline.
pipeline_id O ID do pipeline.
run_id O ID da execução do pipeline.

Rótulos de métricas de pipeline

Filtre e agregue as métricas com os seguintes identificadores de métricas do Cloud Data Fusion no Monitoring:

Nome Métrica Descrição Rótulos de métrica
Status de execução do pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count A contagem cumulativa de pipelines que concluíram uma execução.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Tempo de execução do pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Tempo gasto para concluir a execução do pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latência de início do pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency O tempo necessário para que o pipeline atinja o estado Em execução.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latência de provisionamento datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency A latência de provisionamento do cluster do Managed Service for Apache Spark.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Solicitações da API Dataproc datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count A contagem cumulativa de solicitações da API Dataproc.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Tempo de execução da visualização do pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Tempo gasto para concluir a prévia.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Bytes de pipeline gravados datafusion.googleapis.com/pipeline/v2/write_bytes_count A contagem cumulativa de bytes gravados por um pipeline.
  • enable_rbac
  • private_service_connect_enabled
Bytes de pipeline lidos datafusion.googleapis.com/pipeline/v2/read_bytes_count A contagem cumulativa de bytes lidos por um pipeline.
  • enable_rbac
  • private_service_connect_enabled
Bytes de pipeline embaralhados datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count A contagem cumulativa de bytes embaralhados em um pipeline.
  • enable_rbac
  • private_service_connect_enabled
Registros de plug-in processados em datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Contagem cumulativa de registros que entram em um plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Registros de plug-in processados datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count A contagem cumulativa de registros que saem de um plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Rótulos de recursos monitorados da instância do Cloud Data Fusion

A partir da versão 6.11.1.1 do Cloud Data Fusion, o recurso monitorado InstanceV3 (datafusion.googleapis.com/InstanceV3) é o tipo de recurso padrão para métricas no nível da instância. Todas as novas instâncias e instâncias atualizadas para a versão 6.11.1.1 ou mais recente emitem métricas e registros usando InstanceV3. A estrutura de recursos InstanceV3 difere da versão anterior porque remove os rótulos org_id e namespace.

Por padrão, a emissão de métricas InstanceV2 é desativada no Cloud Data Fusion versão 6.11.1.1 e mais recente. No entanto, é possível reativar a emissão de InstanceV2 junto com InstanceV3 usando a API REST do Cloud Data Fusion se você precisar de compatibilidade com versões anteriores para painéis ou consultas atuais.

É possível filtrar e agregar as métricas com os seguintes rótulos de recurso monitorado da instância do Cloud Data Fusion.

Rótulos de recursos monitorados InstanceV3

Nome do rótulo Descrição
resource_container O ID do projeto do cliente.
location A zona ou região em que a instância está hospedada.
edition A edição da instância.
is_private_ip_enabled Se a instância usa um endereço IP interno.
version A versão do plano de dados do Cloud Data Fusion da instância.
instance_id O ID da instância do Cloud Data Fusion.

Rótulos de recursos monitorados InstanceV2

Nome do rótulo Descrição
resource_container O ID do projeto do cliente.
org_id O ID da organização a que o projeto do cliente pertence.
location A zona ou região em que a instância está hospedada.
edition A edição da instância.
is_private_ip_enabled Se a instância usa um endereço IP interno.
version A versão do plano de dados do Cloud Data Fusion da instância.
instance_id O ID da instância do Cloud Data Fusion.
namespace O nome do namespace.

Rótulos de métricas da instância

Filtre e agregue as métricas com os seguintes identificadores de métricas do Cloud Data Fusion no Monitoring.

Rótulos de métrica InstanceV3

Nome Métrica Descrição Rótulos de métrica
Status do serviço datafusion.googleapis.com/instance/v3/service_available A disponibilidade dos serviços do Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Número de pipelines implantados datafusion.googleapis.com/instance/v3/pipelines O número de pipelines implantados.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Número de pipelines simultâneos em execução datafusion.googleapis.com/instance/v3/concurrent_pipelines_running O número de pipelines em execução simultânea.
  • enable_rbac
  • private_service_connect_enabled
Contagem de inicializações de pipeline simultâneas datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched O número de pipelines no estado Provisionamento ou Iniciando.
  • enable_rbac
  • private_service_connect_enabled
Solicitações da API REST do CDAP recebidas datafusion.googleapis.com/instance/v3/api_request_count A contagem cumulativa de solicitações de API REST recebidas por um serviço no back-end.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respostas da API REST do CDAP enviadas datafusion.googleapis.com/instance/v3/api_response_count A contagem cumulativa de respostas da API REST enviadas por um serviço no back-end.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Contagem de verificação de autorização datafusion.googleapis.com/instance/v3/authorization_check_count A contagem cumulativa de verificações de autorização feitas pelo fiscalizador de acesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Tempo de verificação de autorização datafusion.googleapis.com/instance/v3/authorization_check_time A latência das verificações de autorização feitas pelo fiscal de acesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Contagem de pipelines de rascunho datafusion.googleapis.com/instance/v3/draft_pipelines O número de pipelines em rascunho.
  • enable_rbac
  • private_service_connect_enabled
Contagem de namespaces datafusion.googleapis.com/instance/v3/namespaces O número de namespaces.
  • enable_rbac
  • private_service_connect_enabled

Rótulos de métricas InstanceV2

Nome Métrica Descrição Rótulos de métrica
Status do serviço datafusion.googleapis.com/instance/v2/service_available A disponibilidade dos serviços do Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Número de pipelines implantados datafusion.googleapis.com/instance/v2/pipelines O número de pipelines implantados.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Número de pipelines simultâneos em execução datafusion.googleapis.com/instance/v2/concurrent_pipelines_running O número de pipelines em execução simultânea.
  • enable_rbac
  • private_service_connect_enabled
Contagem de inicializações de pipeline simultâneas datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched O número de pipelines no estado Provisionamento ou Iniciando.
  • enable_rbac
  • private_service_connect_enabled
Solicitações da API REST do CDAP recebidas datafusion.googleapis.com/instance/v2/api_request_count A contagem cumulativa de solicitações de API REST recebidas por um serviço no back-end.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respostas da API REST do CDAP enviadas datafusion.googleapis.com/instance/v2/api_response_count A contagem cumulativa de respostas da API REST enviadas por um serviço no back-end.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Contagem de verificação de autorização datafusion.googleapis.com/instance/v2/authorization_check_count A contagem cumulativa de verificações de autorização feitas pelo fiscalizador de acesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Tempo de verificação de autorização datafusion.googleapis.com/instance/v2/authorization_check_time A latência das verificações de autorização feitas pelo fiscal de acesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Contagem de pipelines de rascunho datafusion.googleapis.com/instance/v2/draft_pipelines O número de pipelines em rascunho.
  • enable_rbac
  • private_service_connect_enabled
Contagem de namespaces datafusion.googleapis.com/instance/v2/namespaces O número de namespaces.
  • enable_rbac
  • private_service_connect_enabled

Gerenciar a emissão de métricas InstanceV2

Para instâncias do Cloud Data Fusion que executam a versão 6.11.1.1 ou mais recente, a emissão de métricas InstanceV2 está desativada por padrão. Se você precisar manter a compatibilidade com versões anteriores de painéis ou alertas usando o formato antigo, reative as métricas InstanceV2 usando a API REST do Cloud Data Fusion.

Ativar métricas do InstanceV2

Para ativar a emissão de métricas InstanceV2, use o método instances.patch com enable_instance_v2_metrics definido como true:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

Substitua:

  • PROJECT_ID: o ID do projeto Google Cloud
  • LOCATION: o local da instância
  • INSTANCE_ID: o ID da sua instância do Cloud Data Fusion

Desativar métricas do InstanceV2

Para desativar as métricas InstanceV2 e reverter ao comportamento padrão (emitindo apenas métricas InstanceV3), use o método instances.patch com enable_instance_v2_metrics definido como false:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

Substitua:

  • PROJECT_ID: o ID do projeto Google Cloud
  • LOCATION: o local da instância
  • INSTANCE_ID: o ID da sua instância do Cloud Data Fusion

Migrar consultas do Cloud Monitoring da InstanceV2 para a InstanceV3

A partir da versão 6.11.1.1 do Cloud Data Fusion, o recurso monitorado InstanceV3 (datafusion.googleapis.com/InstanceV3) é o tipo de recurso padrão para métricas no nível da instância. Se você tiver painéis, gráficos ou políticas de alertas do Monitoring que segmentam InstanceV2, atualize-os para usar o tipo de recurso InstanceV3 e os caminhos de métricas.

Para migrar suas consultas, siga estas etapas:

  1. Mude o tipo de recurso: atualize resource.type de datafusion.googleapis.com/InstanceV2 para datafusion.googleapis.com/InstanceV3.

  2. Atualize os nomes das métricas: mude os caminhos de métrica de .../instance/v2/... para .../instance/v3/....

  3. Remover rótulos: remova todos os filtros ou agregações com base em resource.labels.org_id ou resource.labels.namespace, já que esses rótulos não estão presentes em InstanceV3.

Por exemplo, se esta for sua consulta InstanceV2 atual:

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Atualize da seguinte forma:

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

A seguir