Creare avvisi sulla pipeline

In questa pagina viene descritto come configurare gli avvisi per le pipeline di dati in Cloud Data Fusion.

Puoi creare avvisi tramite i seguenti servizi:

• Avvisi tramite Cloud Data Fusion: configuri questi avvisi quando progetti una pipeline batch in Cloud Data Fusion. Dopo aver eseguito il deployment della pipeline, non puoi aggiungere o modificare un avviso.

• Avvisi basati su log tramite Cloud Monitoring: configuri questi avvisi nella console Google Cloud prima e dopo aver eseguito il deployment della pipeline.

Prima di iniziare

Devi avere un'istanza Cloud Data Fusion. Per saperne di più, consulta Creare un'istanza Cloud Data Fusion.

Aggiungere un avviso in Cloud Data Fusion

Nota: non puoi aggiungere o modificare gli avvisi nelle pipeline di cui è stato eseguito il deployment in Cloud Data Fusion.

1. Apri l'istanza.

   1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

   2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

2. Vai alla pagina Studio in cui stai progettando la pipeline.

3. Fai clic su Configura > Avvisi pipeline > Aggiungi.

4. Seleziona e configura l'avviso. Per saperne di più sulla configurazione degli avvisi, consulta Avvisi pipeline batch.

   Nota: per gli avvisi via email, se la pipeline non ha un cluster Managed Service for Apache Spark a lunga esecuzione con un server Simple Mail Transfer Protocol (SMTP), inserisci le informazioni del server o del servizio di posta, ad esempio i requisiti di host e porta requirements.

5. Dopo aver configurato l'avviso, fai clic su Convalida per verificare la presenza di errori, quindi fai clic su Conferma.

Creare un avviso in Monitoring

1. Abilita Cloud Logging nell'istanza Cloud Data Fusion.

2. Crea un avviso basato su log.

   1. Nella Google Cloud console, vai alla pagina Esplora log.

      Vai a Esplora log

      Questa pagina ti consente di archiviare, eseguire query, aggiornare ed eliminare i dati.

   2. Inserisci la seguente query:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Sostituisci PROJECT_ID con l'ID del tuo progetto.

   3. Fai clic su Crea avviso e configura l'avviso.

Un avviso viene generato solo quando la pipeline viene eseguita su un cluster Managed Service for Apache Spark e non riesce. Per gli errori di creazione del cluster Managed Service for Apache Spark, l'avviso non viene generato.

Passaggi successivi

• Consulta le pagine di riferimento degli avvisi pipeline batch del sistema operativo CDAP .