Pipelinebenachrichtigungen erstellen

Mit Pipeline-Benachrichtigungen in Cloud Data Fusion können Sie den Ausführungsstatus verfolgen und den Zustand des Workflows überwachen. Mit diesen Benachrichtigungen können Sie Pipelinefehler sofort erkennen.

Je nach Bereitstellungsphase können Sie Benachrichtigungen mit zwei verschiedenen Diensten konfigurieren. Cloud Data Fusion-Benachrichtigungen werden während des Entwurfs der Batchpipeline eingerichtet und können nach der Bereitstellung nicht mehr hinzugefügt oder bearbeitet werden. Im Gegensatz dazu können Sie logbasierte Benachrichtigungen über Cloud Monitoring in der Google Cloud Console jederzeit erstellen, entweder vor oder nach der Bereitstellung der Pipeline.

Hinweis

Sie benötigen eine Cloud Data Fusion-Instanz. Weitere Informationen finden Sie unter Öffentliche Instanz erstellen.

Benachrichtigung in Cloud Data Fusion hinzufügen

  1. Öffnen Sie Ihre Instanz.

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Rufen Sie die Seite Studio auf, auf der Sie Ihre Pipeline entwerfen.

  3. Klicken Sie auf Konfigurieren > Pipeline-Benachrichtigungen > Hinzufügen.

  4. Wählen Sie die Benachrichtigung aus und konfigurieren Sie sie. Weitere Informationen zum Konfigurieren von Benachrichtigungen finden Sie unter Batch-Pipeline-Benachrichtigungen.

  5. Nachdem Sie die Benachrichtigung konfiguriert haben, klicken Sie auf Validieren, um nach Fehlern zu suchen, und dann auf Bestätigen.

Benachrichtigung in Monitoring erstellen

  1. Aktivieren Sie Cloud Logging in Ihrer Cloud Data Fusion-Instanz.

  2. Logbasierte Benachrichtigung erstellen

    1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

      Zu „Log-Explorer“

      Auf dieser Seite können Sie Daten speichern, abfragen, aktualisieren und löschen.

    2. Geben Sie die folgende Abfrage ein:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts.

    3. Klicken Sie auf Benachrichtigung erstellen und konfigurieren Sie die Benachrichtigung.

Eine Benachrichtigung wird nur generiert, wenn die Pipeline in einem Managed Service for Apache Spark-Cluster ausgeführt wird und fehlschlägt. Bei Fehlern beim Erstellen von Managed Service for Apache Spark-Clustern wird die Benachrichtigung nicht generiert.

Nächste Schritte