Ausführungen überwachen

Dieses Dokument enthält Anleitungen für folgende Aufgaben:

Hinweis

So überwachen Sie Ausführungsprotokolle:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie ein Repository aus oder erstellen Sie eines.

  3. Wählen Sie einen Entwicklungsarbeitsbereich aus oder erstellen Sie einen.

  4. Lösen Sie eine Ausführung aus mindestens einmal.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Ausführungsprotokollen benötigen:

  • Dataform-Bearbeiter (roles/dataform.editor) für das Dataform-Repository, in dem Workflowausführungen verfolgt werden
  • Einrichtung einer Ausführung prüfen: Dienstkontonutzer (roles/iam.serviceAccountUser) für das benutzerdefinierte Dienstkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Die IAM-Rolle „Log-Betrachter (roles/logging.viewer)“ bietet Ihnen Lesezugriff auf alle Funktionen von Cloud Logging. Weitere Informationen zu den Berechtigungen und Rollen von Identity and Access Management , die für Logging-Daten gelten, finden Sie unter Zugriffssteuerung mit IAM.

Zum Erstellen und Verwalten von logbasierten Benachrichtigungen muss Ihre IAM-Rolle die Berechtigungen enthalten, die unter Erforderliche Rollen zum Erstellen und Verwenden von logbasierten Benachrichtigungsrichtlinienbeschrieben sind.

Ausführungsprotokolle überwachen

In diesem Abschnitt wird beschrieben, wie Sie Ausführungsprotokolle in Dataform ansehen.

Sie können die Logs aller Ausführungen ansehen, die in einem Repository ausgelöst wurden, sowie die Logs von Ausführungen, die in den letzten 24 Stunden in einem Arbeitsbereich ausgelöst wurden.

Ausführungsprotokolle für Repositorys prüfen

So rufen Sie die Logs aller Ausführungen auf, die in einem Repository ausgelöst wurden:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Rufen Sie das Repository auf.

  3. Klicken Sie auf Workflow-Ausführungslogs.

  4. Klicken Sie auf die Ausführung, um die Details anzusehen.

  5. Klicken Sie auf Details ansehen, um die Details einer Aktion innerhalb der Ausführung anzusehen.

Ausführungsprotokolle für Arbeitsbereiche prüfen

So rufen Sie die Logs der 1.000 letzten Ausführungen auf, die in den letzten 24 Stunden in einem Arbeitsbereich ausgelöst wurden:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Rufen Sie das Repository auf und wählen Sie den Arbeitsbereich aus.

  3. Klicken Sie in Ihrem Arbeitsbereich auf Ausführungen.

  4. Klicken Sie auf die Ausführung, um die Details anzusehen.

  5. Klicken Sie auf Details ansehen, um die Details einer Aktion innerhalb der Ausführung anzusehen.

Logging-Logs für Dataform ansehen

In diesem Abschnitt wird beschrieben, wie Sie Cloud Logging-Logs für Dataform-Workflowaufrufe ansehen.

Jeder Dataform-Workflowaufruf wird mit Logging protokolliert. Logging wird automatisch für Dataform-Workflowaufrufe aktiviert. Dies kann zu Abrechnungskosten für Logging führen. Weitere Informationen finden Sie unter Dataform – Preise.

Logs ansehen

Informationen zum Filtern von Logging-Logs in Log-Explorer finden Sie unter Logs mit dem Log-Explorer ansehen.

Dataform-Logs werden nach Dataform-Repository indexiert.

Log format

Dataform sendet Logmeldungen für Workflowaufrufe im folgenden Format:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Was wird protokolliert?

Dataform-Logeinträge enthalten Informationen, die für das Monitoring und die Fehlerbehebung bei Workflowaufrufen nützlich sind.

Folgende Informationen sind in Ihnen enthalten:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: kann INFO, WARNING oder ERROR sein
  • terminalState: kann SUCCEEDED, CANCELED oder FAILED sein
  • timestamp
  • @type

Messwerte und Benachrichtigungen mit Cloud Monitoring konfigurieren

Mit Monitoring können Sie Trends in Ihren Logs beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Damit Monitoring Daten aus Ihren Logs erhält, bietet Logging Folgendes:

  • Logbasierte Messwerte, die für folgende Zwecke verwendet werden können:
    • Zum Erstellen von Benachrichtigungsrichtlinien, die Sie über Änderungen im Laufe der Zeit benachrichtigen.
    • Zum Erstellen von Diagrammen, die Änderungen im Zeitverlauf darstellen.
  • Logbasierte Benachrichtigungen, die Sie informieren, sobald ein bestimmtes Ereignis in einem Log auftaucht.

Weitere Informationen zu logbasierten Messwerten und logbasierten Benachrichtigungen finden Sie unter Logs überwachen.

Informationen zum Konfigurieren von logbasierten Benachrichtigungen für Dataform-Workflow aufrufe finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren

In diesem Abschnitt wird beschrieben, wie Sie mit dem Log-Explorer logbasierte Benachrichtigungen für fehlgeschlagene Dataform-Workflowaufrufe konfigurieren.

Mit Monitoring können Sie Trends in Logging-Logs für Dataform-Workflowaufrufe beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Jeder Dataform-Workflowaufruf wird mit Logging protokolliert. Logging wird automatisch für Dataform-Workflowaufrufe aktiviert. Dies kann zu Abrechnungskosten für Logging führen. Weitere Informationen finden Sie unter Dataform – Preise.

Wenn Sie Benachrichtigungen erhalten möchten, wenn ein Dataform-Workflowaufruf fehlschlägt, können Sie logbasierte Benachrichtigungen erstellen.

Sie können logbasierte Benachrichtigungen auf der Log-Explorer Seite in der Google Cloud Console oder mithilfe der Monitoring API erstellen. In diesem Abschnitt wird beschrieben, wie Sie mit dem Log-Explorer logbasierte Benachrichtigungen für fehlgeschlagene Dataform-Workflowaufrufe erstellen.

So konfigurieren Sie logbasierte Benachrichtigungen für fehlgeschlagene Dataform-Workflowaufrufe:

  1. Wählen Sie in der Google Cloud Console Logging und anschließend Log-Explorer aus.

    Zum Log-Explorer

  2. Wählen Sie im Bereich Abfrage die Option Abfrage anzeigen aus und geben Sie die folgende Abfrage ein:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Mit dieser Abfrage werden Sie über alle fehlgeschlagenen Dataform-Workflowaufrufe benachrichtigt.

    1. Optional: Wenn Sie fehlgeschlagene Workflowaufrufe nach einer Releasekonfiguration filtern möchten, fügen Sie der Abfrage Folgendes hinzu:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Ersetzen Sie RELEASE_CONFIGURATION_ID durch die ID der Releasekonfiguration.

    2. Optional: Wenn Sie fehlgeschlagene Workflowaufrufe nach einer Workflowkonfiguration filtern möchten, fügen Sie der Abfrage Folgendes hinzu:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Ersetzen Sie WORKFLOW_CONFIGURATION_ID durch die ID der Workflowkonfiguration.

    Die folgende Abfrage benachrichtigt Sie, wenn ein Dataform-Workflowaufruf fehlschlägt, der sowohl mit der Releasekonfiguration daily als auch mit der Workflowkonfiguration production verknüpft ist:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. Optional: Verwenden Sie Abfrage ausführen im Bereich Abfrageergebnisse, um die Abfrage zu validieren.

  4. Klicken Sie in der Kopfzeile des Bereichs Abfrageergebnisse auf Benachrichtigung erstellen. Wenn Ihr Fenster schmal ist, wird die Option Benachrichtigung erstellen möglicherweise stattdessen im Menü Aktionen angezeigt.

  5. Geben Sie im Bereich Benachrichtigungsdetails einen Namen und eine Beschreibung für die Benachrichtigung ein:

    1. Geben Sie im Feld Benachrichtigungsname einen Namen für die Benachrichtigung ein. Beispiel: Dataform: workflow failure.

    2. Geben Sie eine Beschreibung dieser Benachrichtigung ein. Sie können auch Informationen angeben, die dem Empfänger einer Benachrichtigung helfen können, das Problem zu diagnostizieren. Die folgende String fasst den Grund für die Benachrichtigung zusammen:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Informationen zum Formatieren und Anpassen des Inhalts dieses Felds finden Sie unter Benachrichtigungen mit benutzerdefinierter Dokumentation versehen.

  6. Um mit dem nächsten Schritt fortzufahren, klicken Sie auf Weiter.

  7. Prüfen Sie im Bereich Logs auswählen, die in die Benachrichtigung aufgenommen werden sollen die Abfrage und die Ergebnisse. Klicken Sie dazu auf Logvorschau ansehen.

    Wir empfehlen, die Abfrage im Bereich Abfrage des Log-Explorers zu erstellen. Die Abfrage, die Sie im Bereich Abfrage erstellt haben, wird auch in diesem Bereich angezeigt.

    Bei Bedarf können Sie die Abfrage in diesem Bereich bearbeiten. Wenn Sie die Abfrage bearbeiten, prüfen Sie die Ergebnisse. Klicken Sie dazu auf Logvorschau ansehen.

  8. Klicken Sie auf Weiter.

  9. Wählen Sie die Mindestdauer zwischen Benachrichtigungen aus. Mit diesem Wert können Sie die Anzahl der Benachrichtigungen steuern, die Sie von dieser Benachrichtigung erhalten, wenn sie mehrmals ausgelöst wird. Wählen Sie für dieses Beispiel 5 Min. aus den Optionen aus.

  10. Optional: Wählen Sie die Dauer bis zur automatischen Schließung von Vorfällen aus. Standardmäßig ist die Dauer bis zur automatischen Schließung von Vorfällen auf 7 Tage festgelegt.

  11. Klicken Sie auf Weiter.

  12. Wählen Sie einen oder mehrere Benachrichtigungskanäle für Ihre Benachrichtigung aus. Wählen Sie für dieses Beispiel einen E-Mail-Benachrichtigungskanal aus.

    Wenn Sie bereits einen E-Mail-Benachrichtigungskanal konfiguriert haben, können Sie ihn aus der Liste auswählen. Wenn nicht, klicken Sie auf Benachrichtigungskanäle verwalten und fügen Sie einen E-Mail-Kanal hinzu. Informationen zum Erstellen von Benachrichtigungskanälen finden Sie unter Benachrichtigungskanäle erstellen und verwalten.

  13. Klicken Sie auf Speichern.

Ihre logbasierte Benachrichtigung kann jetzt getestet werden. Eine Anleitung zum Testen der Benachrichtigung finden Sie unter siehe Logbasierte Benachrichtigungsrichtlinie testen.

Nächste Schritte