Panoramica delle metriche

Questa pagina descrive le metriche che ti aiutano a monitorare l'integrità e le prestazioni delle tue istanze e pipeline Cloud Data Fusion. Utilizza Cloud Monitoring per monitorare queste metriche. Le metriche forniscono informazioni dettagliate sulle esecuzioni delle pipeline, sui dettagli delle istanze, sulle richieste API e sui controlli di autorizzazione.

Le metriche sono classificate come metriche della pipeline o metriche dell'istanza:

  • Le metriche della pipeline forniscono dati sulle singole esecuzioni della pipeline, ad esempio lo stato di esecuzione, la durata, la latenza e il throughput dei dati.
  • Le metriche dell'istanza forniscono informazioni aggregate sulle pipeline all'interno di un'istanza, tra cui la disponibilità del servizio, il numero di pipeline di cui è stato eseguito il deployment e i conteggi delle richieste API.

Filtra e aggrega le metriche della pipeline e dell'istanza di Cloud Data Fusion in Monitoring utilizzando le etichette metrica e risorsa monitorata. Quando personalizzi le visualizzazioni delle metriche, puoi utilizzare uno o entrambi questi tipi di etichetta.

Etichette delle risorse monitorate della pipeline Cloud Data Fusion

Filtra e aggrega le metriche con le seguenti etichette delle risorse monitorate della pipeline Cloud Data Fusion:

Nome dell'etichetta Descrizione
resource_container L'ID del progetto cliente.
org_id L'ID dell'organizzazione a cui appartiene il progetto cliente.
location La zona o la regione in cui è ospitata l'istanza.
edition La versione dell'istanza Cloud Data Fusion.
is_private_ip_enabled Indica se l'istanza utilizza un indirizzo IP interno.
version La versione del data plane Cloud Data Fusion dell'istanza.
instance_id L'ID istanza Cloud Data Fusion.
namespace Lo spazio dei nomi della pipeline.
pipeline_id L'ID pipeline.
run_id L'ID esecuzione della pipeline.

Etichette delle metriche pipeline

Filtra e aggrega le metriche con le seguenti etichette delle metriche di Cloud Data Fusion in Monitoring:

Nome Metrica Descrizione Etichette metriche
Stato esecuzione pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count Il conteggio cumulativo delle pipeline che hanno completato un'esecuzione.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Durata di esecuzione della pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Tempo impiegato per completare l'esecuzione della pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latenza di avvio della pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Il tempo necessario alla pipeline per raggiungere lo stato In esecuzione.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latenza di provisioning datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Latenza di provisioning del cluster Managed Service per Apache Spark.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Richieste API Dataproc datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Il conteggio cumulativo delle richieste API Dataproc.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Tempo di esecuzione dell'anteprima della pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Tempo impiegato per completare l'anteprima.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Byte di pipeline scritti datafusion.googleapis.com/pipeline/v2/write_bytes_count Il conteggio cumulativo dei byte scritti da una pipeline.
  • enable_rbac
  • private_service_connect_enabled
Byte di pipeline letti datafusion.googleapis.com/pipeline/v2/read_bytes_count Il conteggio cumulativo dei byte letti da una pipeline.
  • enable_rbac
  • private_service_connect_enabled
Byte di pipeline con shuffling datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Il conteggio cumulativo dei byte rimescolati in una pipeline.
  • enable_rbac
  • private_service_connect_enabled
Record di plug-in elaborati in entrata datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Conteggio cumulativo dei record che entrano in un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Record di plug-in elaborati in uscita datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Il conteggio cumulativo dei record che escono da un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Etichette delle risorse monitorate dell'istanza Cloud Data Fusion

A partire dalla versione 6.11.1.1 di Cloud Data Fusion, la risorsa monitorata InstanceV3 (datafusion.googleapis.com/InstanceV3) è il tipo di risorsa predefinito per le metriche a livello di istanza. Tutte le nuove istanze e quelle aggiornate alla versione 6.11.1.1 o successive emettono automaticamente metriche e log utilizzando InstanceV3. La struttura della risorsa InstanceV3 differisce dalla versione precedente per la rimozione delle etichette org_id e namespace.

Per impostazione predefinita, l'emissione delle metriche InstanceV2 è disabilitata in Cloud Data Fusion versione 6.11.1.1 e successive. Tuttavia, puoi riattivare l'emissione di InstanceV2 insieme a InstanceV3 utilizzando l'API REST di Cloud Data Fusion se hai bisogno della compatibilità con le versioni precedenti per query o dashboard esistenti.

Puoi filtrare e aggregare le metriche con le seguenti etichette di risorse monitorate Istanza Cloud Data Fusion.

Etichette delle risorse monitorate InstanceV3

Nome dell'etichetta Descrizione
resource_container L'ID del progetto cliente.
location La zona o la regione in cui è ospitata l'istanza.
edition L'edizione dell'istanza.
is_private_ip_enabled Indica se l'istanza utilizza un indirizzo IP interno.
version La versione del data plane Cloud Data Fusion dell'istanza.
instance_id L'ID istanza Cloud Data Fusion.

Etichette della risorsa monitorata InstanceV2

Nome dell'etichetta Descrizione
resource_container L'ID del progetto cliente.
org_id L'ID dell'organizzazione a cui appartiene il progetto cliente.
location La zona o la regione in cui è ospitata l'istanza.
edition L'edizione dell'istanza.
is_private_ip_enabled Indica se l'istanza utilizza un indirizzo IP interno.
version La versione del data plane Cloud Data Fusion dell'istanza.
instance_id L'ID istanza Cloud Data Fusion.
namespace Il nome dello spazio dei nomi.

Etichette delle metriche dell'istanza

Filtra e aggrega le metriche con le seguenti etichette delle metriche Cloud Data Fusion in Monitoring.

Etichette metriche InstanceV3

Nome Metrica Descrizione Etichette metriche
Stato del servizio datafusion.googleapis.com/instance/v3/service_available La disponibilità dei servizi Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Numero di pipeline implementate datafusion.googleapis.com/instance/v3/pipelines Il numero di pipeline di cui è stato eseguito il deployment.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Conteggio delle pipeline simultanee in esecuzione datafusion.googleapis.com/instance/v3/concurrent_pipelines_running Il numero di pipeline in esecuzione contemporaneamente.
  • enable_rbac
  • private_service_connect_enabled
Conteggio degli avvii di pipeline simultanei datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched Il numero di pipeline in stato Provisioning o Avvio.
  • enable_rbac
  • private_service_connect_enabled
Richieste API REST CDAP ricevute datafusion.googleapis.com/instance/v3/api_request_count Il conteggio cumulativo delle richieste API REST ricevute da un servizio nel backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Risposte API REST CDAP inviate datafusion.googleapis.com/instance/v3/api_response_count Il conteggio cumulativo delle risposte dell'API REST inviate da un servizio nel backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Numero di controlli di autorizzazione datafusion.googleapis.com/instance/v3/authorization_check_count Il conteggio cumulativo dei controlli di autorizzazione eseguiti dall'enforcer dell'accesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Ora del controllo di autorizzazione datafusion.googleapis.com/instance/v3/authorization_check_time La latenza dei controlli di autorizzazione eseguiti dall'enforcer dell'accesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Numero di bozze di pipeline datafusion.googleapis.com/instance/v3/draft_pipelines Il numero di pipeline bozza.
  • enable_rbac
  • private_service_connect_enabled
Numero di spazi dei nomi datafusion.googleapis.com/instance/v3/namespaces Il numero di spazi dei nomi.
  • enable_rbac
  • private_service_connect_enabled

Etichette metriche InstanceV2

Nome Metrica Descrizione Etichette metriche
Stato del servizio datafusion.googleapis.com/instance/v2/service_available La disponibilità dei servizi Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Numero di pipeline implementate datafusion.googleapis.com/instance/v2/pipelines Il numero di pipeline di cui è stato eseguito il deployment.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Conteggio delle pipeline simultanee in esecuzione datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Il numero di pipeline in esecuzione contemporaneamente.
  • enable_rbac
  • private_service_connect_enabled
Conteggio degli avvii di pipeline simultanei datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Il numero di pipeline in stato Provisioning o Avvio.
  • enable_rbac
  • private_service_connect_enabled
Richieste API REST CDAP ricevute datafusion.googleapis.com/instance/v2/api_request_count Il conteggio cumulativo delle richieste API REST ricevute da un servizio nel backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Risposte API REST CDAP inviate datafusion.googleapis.com/instance/v2/api_response_count Il conteggio cumulativo delle risposte dell'API REST inviate da un servizio nel backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Numero di controlli di autorizzazione datafusion.googleapis.com/instance/v2/authorization_check_count Il conteggio cumulativo dei controlli di autorizzazione eseguiti dall'enforcer dell'accesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Ora del controllo di autorizzazione datafusion.googleapis.com/instance/v2/authorization_check_time La latenza dei controlli di autorizzazione eseguiti dall'enforcer dell'accesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Numero di bozze di pipeline datafusion.googleapis.com/instance/v2/draft_pipelines Il numero di pipeline bozza.
  • enable_rbac
  • private_service_connect_enabled
Numero di spazi dei nomi datafusion.googleapis.com/instance/v2/namespaces Il numero di spazi dei nomi.
  • enable_rbac
  • private_service_connect_enabled

Gestisci l'emissione di metriche InstanceV2

Per le istanze Cloud Data Fusion che eseguono la versione 6.11.1.1 o successive, l'emissione della metrica InstanceV2 è disattivata per impostazione predefinita. Se devi mantenere la compatibilità con le versioni precedenti con dashboard o avvisi che utilizzano il vecchio formato, puoi riattivare le metriche InstanceV2 utilizzando l'API REST di Cloud Data Fusion.

Abilita le metriche InstanceV2

Per attivare l'emissione delle metriche InstanceV2, utilizza il metodo instances.patch con enable_instance_v2_metrics impostato su true:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

Sostituisci quanto segue:

  • PROJECT_ID: l' Google Cloud ID progetto
  • LOCATION: la posizione dell'istanza
  • INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion

Disabilita le metriche InstanceV2

Per disattivare le metriche InstanceV2 e ripristinare il comportamento predefinito (emissione solo delle metriche InstanceV3), utilizza il metodo instances.patch con enable_instance_v2_metrics impostato su false:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

Sostituisci quanto segue:

  • PROJECT_ID: l' Google Cloud ID progetto
  • LOCATION: la posizione dell'istanza
  • INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion

Esegui la migrazione delle query Cloud Monitoring da InstanceV2 a InstanceV3

A partire dalla versione 6.11.1.1 di Cloud Data Fusion, la risorsa monitorata InstanceV3 (datafusion.googleapis.com/InstanceV3) è il tipo di risorsa predefinito per le metriche a livello di istanza. Se hai dashboard, grafici o criteri di avviso di Monitoring esistenti che hanno come target InstanceV2, puoi aggiornarli in modo che utilizzino il tipo di risorsa e i percorsi delle metriche InstanceV3.

Per eseguire la migrazione delle query, segui questi passaggi:

  1. Modifica del tipo di risorsa: aggiorna resource.type da datafusion.googleapis.com/InstanceV2 a datafusion.googleapis.com/InstanceV3.

  2. Aggiorna i nomi delle metriche: modifica i percorsi delle metriche da .../instance/v2/... a .../instance/v3/....

  3. Rimuovi etichette: rimuovi eventuali filtri o aggregazioni basati su resource.labels.org_id o resource.labels.namespace, poiché queste etichette non sono presenti in InstanceV3.

Ad esempio, se la tua query InstanceV2 esistente è la seguente:

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Aggiornalo come segue:

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Passaggi successivi