Pipelinebenachrichtigungen erstellen

Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für Datenpipelines in Cloud Data Fusion einrichten.

Sie können Benachrichtigungen über die folgenden Dienste erstellen:

• Benachrichtigungen über Cloud Data Fusion: Diese Benachrichtigungen richten Sie ein, wenn Sie eine Batchpipeline in Cloud Data Fusion entwerfen. Nachdem Sie die Pipeline bereitgestellt haben, können Sie keine Benachrichtigungen mehr hinzufügen oder bearbeiten.

• Logbasierte Benachrichtigungen über Cloud Monitoring: Sie richten diese Benachrichtigungen in der Google Cloud Console vor und nach der Bereitstellung der Pipeline ein.

Hinweis

Sie benötigen eine Cloud Data Fusion-Instanz. Weitere Informationen finden Sie unter Cloud Data Fusion-Instanz erstellen.

Benachrichtigung in Cloud Data Fusion hinzufügen

Hinweis :Sie können keine Benachrichtigungen für bereitgestellte Pipelines in Cloud Data Fusion hinzufügen oder bearbeiten.

1. Öffnen Sie die Instanz.

   1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

   2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

2. Rufen Sie die Seite Studio auf, auf der Sie Ihre Pipeline entwerfen.

3. Klicken Sie auf Konfigurieren > Pipeline-Benachrichtigungen > Hinzufügen.

4. Wählen Sie die Benachrichtigung aus und konfigurieren Sie sie. Weitere Informationen zum Konfigurieren von Benachrichtigungen finden Sie unter Batch-Pipeline-Benachrichtigungen.

   Hinweis :Wenn Ihre Pipeline keinen lang andauernden Managed Service for Apache Spark-Cluster mit SMTP-Server (Simple Mail Transfer Protocol) hat, geben Sie für E-Mail-Benachrichtigungen die Informationen des Mailservers oder -dienstes ein, z. B. die Host- und Portanforderungen.

5. Klicken Sie nach der Konfiguration der Benachrichtigung auf Validieren, um nach Fehlern zu suchen, und dann auf Bestätigen.

Benachrichtigung in Monitoring erstellen

1. Aktivieren Sie Cloud Logging in Ihrer Cloud Data Fusion-Instanz.

2. Logbasierte Benachrichtigung erstellen

   1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

      Zu „Log-Explorer“

      Auf dieser Seite können Sie Daten speichern, abfragen, aktualisieren und löschen.

   2. Geben Sie die folgende Abfrage ein:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts.

   3. Klicken Sie auf Benachrichtigung erstellen und konfigurieren Sie die Benachrichtigung.

Eine Benachrichtigung wird nur generiert, wenn die Pipeline in einem Managed Service for Apache Spark-Cluster ausgeführt wird und fehlschlägt. Bei Fehlern beim Erstellen von Managed Service for Apache Spark-Clustern wird die Benachrichtigung nicht generiert.

Nächste Schritte

• Weitere Informationen finden Sie auf den Referenzseiten zu Batch Pipeline Alerts (Batch-Pipeline-Benachrichtigungen) im CDAP OS.