Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Visualizza i log di Cloud Data Fusion

I log della pipeline e i log del servizio di Cloud Data Fusion ti consentono di monitorare l'integrità dell'esecuzione e di risolvere i problemi relativi alle esecuzioni della pipeline non riuscite o ai problemi del servizio. A partire dalla versione 6.11 di Cloud Data Fusion, questi log sono disponibili in Cloud Logging.

Informazioni sui tipi di log

Cloud Data Fusion genera diversi tipi di log per aiutarti a monitorare e risolvere i problemi dei processi di integrazione dei dati:

Log della pipeline

Questi log forniscono informazioni dettagliate sulle singole esecuzioni della pipeline, incluse le esecuzioni di anteprima. Coprono tutte le fasi di un'esecuzione della pipeline, come la configurazione pre-esecuzione, l'esecuzione del job e le attività post-esecuzione.

Log del servizio

Questi log forniscono informazioni dettagliate sui servizi di sistema di Cloud Data Fusion, come AppFabric e il processore AppFabric.

Audit log

Cloud Data Fusion genera audit log, ad esempio gli audit log delle attività di amministrazione. Per saperne di più, consulta Audit log di Cloud Data Fusion.

Log della pipeline avanzati

Questi log forniscono informazioni dettagliate sulle singole esecuzioni della pipeline. Questi log sono particolarmente utili per la risoluzione dei problemi relativi agli errori della pipeline, in quanto acquisiscono informazioni anche prima che il cluster Managed Service for Apache Spark completi il provisioning, il che può aiutare a identificare problemi o ritardi del cluster. Per saperne di più, consulta Visualizza i log avanzati della pipeline in Cloud Logging.

Prezzi

L'utilizzo di Cloud Logging e Cloud Monitoring comporta addebiti. Per saperne di più, consulta Prezzi di Google Cloud Observability.

(Facoltativo) Importa la dashboard di logging di Cloud Data Fusion

Per visualizzare i log della pipeline e i log del servizio utilizzando la dashboard di logging di Cloud Data Fusion, importa la dashboard:

Nella console Google Cloud , vai alla pagina Dashboard di Cloud Monitoring.

Accedi a Dashboard
Fai clic su Visualizza modelli di dashboard.
Cerca Cloud Data Fusion Logging e seleziona la dashboard.
Fai clic su Aggiungi la dashboard di logging di Cloud Data Fusion al tuo elenco.

Visualizza i log della pipeline

Puoi visualizzare i log della pipeline utilizzando la dashboard di logging di Cloud Data Fusion o direttamente in Esplora log.

Visualizza i log della pipeline utilizzando la dashboard

Se non l'hai ancora fatto, importa la dashboard Cloud Data Fusion Logging.
Nella sezione Le mie dashboard, fai clic su Cloud Data Fusion Logging.
Nella sezione Log della pipeline, visualizza l'elenco dei log della pipeline. Puoi filtrare i log in base alla gravità, ai nomi dei campi e ai valori.

Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.

Visualizza i log della pipeline in Esplora log

Nella console Google Cloud , vai alla pagina Esplora log.

Vai a Esplora log
Inserisci la seguente query:
```
resource.type="datafusion.googleapis.com/PipelineV2"
```
Viene visualizzato l'elenco dei log della pipeline. Puoi utilizzare i filtri per perfezionare i risultati.

Filtra i log della pipeline

Puoi filtrare i log della pipeline in base a ID esecuzione, ID istanza, ID pipeline, località, namespace o etichette personalizzate.

A ogni esecuzione della pipeline di Cloud Data Fusion viene assegnato un RunID univoco. Dopo aver eseguito il deployment e la pipeline, puoi trovare il RunID della pipeline e visualizzare i log corrispondenti.

Per filtrare i log della pipeline in base a RunID, segui questi passaggi:

Recupera il RunID della pipeline.
Nella console Google Cloud , vai alla pagina Esplora log.

Inserisci la seguente query:

resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

Visualizza i log del servizio

Puoi visualizzare i log del servizio utilizzando la dashboard di logging di Cloud Data Fusion o in Esplora log.

Visualizza i log del servizio utilizzando la dashboard

Se non l'hai ancora fatto, importa la dashboard Cloud Data Fusion Logging.
Nella sezione Le mie dashboard, fai clic su Cloud Data Fusion Logging.
Nella sezione Log del servizio, visualizza l'elenco dei log del servizio. Puoi filtrare i log in base alla gravità, ai nomi dei campi e ai valori.

Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.

Visualizza i log del servizio in Esplora log

A partire dalla versione 6.11.1.1 di Cloud Data Fusion, i log del servizio di sistema utilizzano la risorsa monitorata InstanceV3 (datafusion.googleapis.com/InstanceV3) per impostazione predefinita. Questi log utilizzano il suffisso del nome del log services-v3 e non includono le etichette org_id o namespace presenti nella versione precedente. Sebbene l'emissione dei log InstanceV2 sia disabilitata per impostazione predefinita per le istanze nuove e di cui è stato eseguito l'upgrade, puoi riattivare il logging InstanceV2 utilizzando l'API REST di Cloud Data Fusion se le tue operazioni si basano sulle etichette legacy.

Per visualizzare i log dei servizi in Esplora log, segui questi passaggi:

Nella console Google Cloud , vai alla pagina Esplora log.

Vai a Esplora log

Trova i log del servizio inserendo la query specifica per quel servizio.

Nome servizio	Query sul log per InstanceV2	Query sul log per InstanceV3
Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
Processore AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
Esecutore del set di dati	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
Risparmio log	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
Servizio di metadati	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
Metriche	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
Runtime	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
Servizio Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Attiva i log InstanceV2

Per impostazione predefinita, le istanze di Cloud Data Fusion che eseguono la versione 6.11.1.1 o successive disattivano il logging di InstanceV2. Se le tue operazioni richiedono il formato di logging precedente (ad esempio, se utilizzi le etichette org_id o namespace), puoi riattivare i log InstanceV2 utilizzando l'API REST di Cloud Data Fusion.

Per attivare i log InstanceV2, utilizza il metodo instances.patch con enable_instance_v2_logs impostato su true. Questa impostazione genera sia i log InstanceV2 sia i log InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Sostituisci quanto segue:

PROJECT_ID: l'ID progetto Google Cloud
LOCATION: la posizione dell'istanza
INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion

Logging configurabile in Cloud Data Fusion

Cloud Data Fusion 6.11.0 offre il logging configurabile, con Cloud Logging abilitato per impostazione predefinita. Sebbene sia possibile disattivare Cloud Logging, ti consigliamo vivamente di mantenerlo attivo per assicurarti di avere accesso ai log critici della pipeline e dell'istanza.

Per disattivare Cloud Logging, esegui questo comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"