Visualizzare i log di Cloud Data Fusion

Questo documento descrive come accedere e visualizzare i log delle pipeline e i log di servizio per Cloud Data Fusion.

A partire dalla versione 6.11 di Cloud Data Fusion, i log delle pipeline e i log di servizio sono disponibili in Cloud Logging.

Informazioni sui tipi di log

Cloud Data Fusion genera diversi tipi di log per monitorare e risolvere i problemi relativi ai processi di integrazione dei dati:

Log della pipeline
Questi log forniscono informazioni dettagliate sulle singole esecuzioni della pipeline, incluse le esecuzioni di anteprima. Coprono tutte le fasi di esecuzione di una pipeline, ad esempio la configurazione pre-esecuzione, l'esecuzione del job e le attività post-esecuzione.

Log di servizio
Questi log forniscono informazioni dettagliate sui servizi di sistema di Cloud Data Fusion, come AppFabric e il processore AppFabric.

Audit log
Cloud Data Fusion genera audit log, ad esempio audit log delle attività amministrative. Per ulteriori informazioni, consulta Audit logging di Cloud Data Fusion.

Log avanzati della pipeline
Questi log forniscono informazioni dettagliate sulle singole esecuzioni della pipeline. Questi log sono particolarmente utili per la risoluzione dei problemi relativi agli errori della pipeline, in quanto acquisiscono informazioni anche prima che il provisioning del cluster Dataproc venga completato, il che può aiutare a identificare problemi o ritardi del cluster. Per maggiori informazioni, consulta Visualizzare i log avanzati della pipeline in Cloud Logging.

Prezzi

L'utilizzo di Cloud Logging e Cloud Monitoring comporta addebiti. Per ulteriori informazioni, consulta la pagina Prezzi di Google Cloud Observability.

(Facoltativo) Importa la dashboard di Cloud Data Fusion Logging

Per visualizzare i log della pipeline e i log del servizio utilizzando la dashboard Cloud Data Fusion Logging, importa la dashboard:

  1. Nella console Google Cloud , vai alla pagina Dashboard di Cloud Monitoring.

    Accedi a Dashboard

  2. Fai clic su Visualizza modelli di dashboard.

  3. Cerca Cloud Data Fusion Logging e seleziona il dashboard.

  4. Fai clic su Aggiungi la dashboard di logging di Cloud Data Fusion all'elenco.

Visualizza i log della pipeline

Puoi visualizzare i log della pipeline utilizzando la dashboard Cloud Data Fusion Logging o direttamente in Esplora log.

Visualizzare i log della pipeline utilizzando la dashboard

  1. Se non l'hai ancora fatto, importa il dashboard Cloud Data Fusion Logging.

  2. Nella sezione Le mie dashboard, fai clic su Logging di Cloud Data Fusion.

  3. Nella sezione Log della pipeline, visualizza l'elenco dei log della pipeline. Puoi filtrare i log in base a gravità, nomi dei campi e valori.

    Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.

Visualizza i log della pipeline in Esplora log

  1. Nella console Google Cloud , vai alla pagina Esplora log.

    Vai a Esplora log

  2. Inserisci la seguente query:

    resource.type="datafusion.googleapis.com/PipelineV2"

    Viene visualizzato l'elenco dei log della pipeline. Puoi utilizzare i filtri per perfezionare i risultati.

Filtra i log della pipeline

Puoi filtrare i log della pipeline in base a ID esecuzione, ID istanza, ID pipeline, località, spazio dei nomi o etichette personalizzate.

A ogni esecuzione della pipeline Cloud Data Fusion viene assegnato un RunID univoco. Dopo aver eseguito il deployment e l'esecuzione della pipeline, puoi trovare l'RunID della pipeline e visualizzare i log corrispondenti.

Per filtrare i log della pipeline in base a RunID, segui questi passaggi:

  1. Recupera RunID della pipeline.

  2. Nella console Google Cloud , vai alla pagina Esplora log.

  3. Inserisci la seguente query:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

Visualizza i log di servizio

Puoi visualizzare i log del servizio utilizzando la dashboard Cloud Data Fusion Logging o in Esplora log.

Visualizzare i log del servizio utilizzando la dashboard

  1. Se non l'hai ancora fatto, importa il dashboard Cloud Data Fusion Logging.

  2. Nella sezione Le mie dashboard, fai clic su Logging di Cloud Data Fusion.

  3. Nella sezione Log di servizio, visualizza l'elenco dei log di servizio. Puoi filtrare i log in base a gravità, nomi dei campi e valori.

    Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.

Visualizza i log del servizio in Esplora log

  1. Nella console Google Cloud , vai alla pagina Esplora log.

    Vai a Esplora log

  2. Trova i log del servizio inserendo la query specifica per quel servizio.

    Nome servizio Query sul log
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"
    Processore AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"
    Esecutore del set di dati 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"
    Risparmio log 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"
    Servizio di metadati 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"
    Metriche 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"
    Runtime 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"
    Servizio Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

Logging configurabile in Cloud Data Fusion

Cloud Data Fusion 6.11.0 offre la registrazione configurabile, con Cloud Logging abilitato per impostazione predefinita. Sebbene sia possibile disattivare Cloud Logging, è vivamente consigliato di mantenerlo attivo per assicurarti di avere accesso ai log critici della pipeline e dell'istanza.

Per disattivare Cloud Logging, esegui questo comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Sostituisci quanto segue:

  • PROJECT_ID: l' Google Cloud ID progetto
  • LOCATION: la posizione dell'istanza
  • INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion

Passaggi successivi