Creare avvisi sulla pipeline

Gli avvisi della pipeline in Cloud Data Fusion ti consentono di monitorare lo stato di esecuzione e l'integrità del flusso di lavoro. Queste notifiche ti aiutano a rilevare immediatamente gli errori della pipeline.

Puoi configurare gli avvisi utilizzando due servizi diversi a seconda della fase di deployment. Gli avvisi di Cloud Data Fusion vengono configurati durante la progettazione della pipeline batch e non possono essere aggiunti o modificati dopo il deployment. Al contrario, puoi creare avvisi basati su log tramite Cloud Monitoring nella console Google Cloud in qualsiasi momento, prima o dopo il deployment della pipeline.

Prima di iniziare

Devi avere un'istanza Cloud Data Fusion. Per saperne di più, consulta Crea un'istanza pubblica.

Aggiungi un avviso in Cloud Data Fusion

  1. Apri l'istanza.

    1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Vai alla pagina Studio in cui stai progettando la pipeline.

  3. Fai clic su Configura > Avvisi pipeline > Aggiungi.

  4. Seleziona e configura l'avviso. Per saperne di più sulla configurazione degli avvisi, consulta Avvisi della pipeline batch.

  5. Dopo aver configurato l'avviso, fai clic su Convalida per verificare la presenza di errori, quindi fai clic su Conferma.

Crea un avviso in Monitoring

  1. Abilita Cloud Logging nella tua istanza di Cloud Data Fusion.

  2. Crea un avviso basato su log.

    1. Nella console Google Cloud , vai alla pagina Esplora log.

      Vai a Esplora log

      Questa pagina ti consente di archiviare, eseguire query, aggiornare ed eliminare i dati.

    2. Inserisci la seguente query:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Sostituisci PROJECT_ID con l'ID del progetto.

    3. Fai clic su Crea avviso e configura l'avviso.

Un avviso viene generato solo quando la pipeline viene eseguita su un cluster Managed Service for Apache Spark e non va a buon fine. Per gli errori di creazione del cluster Managed Service for Apache Spark, l'avviso non viene generato.

Passaggi successivi