Visualizzare i log avanzati della pipeline in Cloud Logging

Questa pagina descrive come attivare Cloud Logging per i cluster Cloud Data Fusion Managed Service for Apache Spark e accedere ai log avanzati delle pipeline.

Abilita Cloud Logging per Managed Service for Apache Spark

Per visualizzare i problemi relativi a pipeline e cluster in Cloud Logging, attiva i log avanzati nelle istanze Cloud Data Fusion nuove o esistenti. Per attivare i log avanzati in un'istanza esistente:

  1. Nella console Google Cloud , vai alla pagina Istanze di Cloud Data Fusion.

    Vai a Istanze

  2. Fai clic sul nome dell'istanza.

  3. Nella sezione Monitoraggio e logging avanzati, per Logging cloud di Dataproc, fai clic su Modifica.

  4. Nella finestra Cloud Logging, seleziona la casella di controllo Abilita Cloud Logging.

  5. Fai clic su Salva.

Visualizza i log

A ogni esecuzione della pipeline Cloud Data Fusion viene assegnato un RunID univoco. Dopo aver eseguito il deployment della pipeline ed eseguirla, trova il relativo RunID. Poi, in Logging, utilizza RunID per visualizzare i log della pipeline.

Recupera RunID della pipeline

  1. Vai all'istanza:

    1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Elenco.
  3. Fai clic sulla pipeline per cui vuoi ottenere l'ID esecuzione.
  4. Fai clic su Riepilogo.
  5. Nella sezione Cronologia esecuzioni, fai clic su Tabella.
  6. Per copiare l'ID esecuzione, fai clic con il tasto destro del mouse su RunID e poi su Copia.

Visualizzare i log in Esplora log

  1. Nella console Google Cloud , vai alla pagina Cloud Logging > Esplora log:

    Vai a Esplora log

  2. Nel menu a discesa Tutte le risorse, seleziona Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

(Facoltativo) Filtrare i log

Utilizza i menu dei filtri per filtrare i log. Puoi filtrare in base a vari livelli di gravità del log o in base a componenti come datafusion-pipeline-logs.

(Facoltativo) Scaricare i log

Fai clic su Scarica log.

Per saperne di più, consulta la sezione relativa al download delle voci di log.

Passaggi successivi