Pipelines verwalten

Mit BigQuery-Pipelines können Sie den Ausführungsverlauf prüfen, Fehlerbenachrichtigungen konfigurieren und Code-Assets steuern, die auf Dataform basieren. Sie können Workflow-Metadaten auch in Knowledge Catalog anreichern, um die Datenqualität zu verfolgen und veraltete Workflows zu löschen, damit Ihr Projekt organisiert bleibt. Je nachdem, wo Ihr Team Code speichert, können Sie auf Pipelines in Dateien und Ordner zugreifen, einschließlich Nutzer- und Teamordnern, oder in BigQuery Studio-Git-Repositories (Git-Ordner) (Vorabversion).

Hinweis

  1. BigQuery-Pipeline erstellen
  2. Wenn Sie Pipeline-Metadaten in Knowledge Catalog verwalten möchten, muss die Dataplex API in Ihrem Projekt in Google Cloud aktiviert sein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Pipelines benötigen:

  • So rufen Sie Pipelines auf und führen sie aus:
  • Zum Ausführen von Pipelines mit Nutzeranmeldedaten für ein Google-Konto: BigQuery-Dateneditor (roles/bigquery.dataEditor) für das Projekt oder bestimmte BigQuery-Datasets
  • So löschen Sie Pipelines: Dataform Admin (roles/dataform.Admin) für die Pipeline
  • So verwalten Sie Pipelines in Nutzerordnern:
  • So verwalten Sie Pipelines in Teamordnern:
  • Zum Verwalten von Pipelines in Git-Repositories: Developer Connect OAuth User (roles/developerconnect.oauthUser) für das Projekt
  • Zum Ansehen und Verwalten von Metadaten in Knowledge Catalog: Dataplex Catalog Editor (roles/dataplex.catalogEditor) für das Projekt oder die Eintragsgruppe @bigquery

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu Dataform IAM finden Sie unter Zugriff mit IAM steuern. Weitere Informationen zu Rollen für Ordner finden Sie unter Ordner erstellen und verwalten. Weitere Informationen zu Rollen für Git-Repositories finden Sie unter Code mit BigQuery Studio-Git-Repositories verwalten.

Wenn Sie ein benutzerdefiniertes Dienstkonto zum Ausführen von Pipelines verwenden, müssen Sie diesem Dienstkonto die folgenden Rollen zuweisen:

Pipelines ansehen

Im Bereich Dateien können Sie Pipelines aufrufen und prüfen, die in Ordnern oder Git-Ordnern gespeichert sind. Im Bereich Explorer können Sie eigenständige Pipelines und Pipelines, die in Ordnern gespeichert sind, ansehen. In Git-Ordnern gespeicherte Pipelines werden im Bereich Explorer nicht angezeigt.

Pipelines im Bereich „Dateien“ ansehen

Pipelines, die in Ordnern oder Git-Ordnern gespeichert sind, werden direkt im Bereich Dateien angezeigt.

So rufen Sie eine Pipeline auf, die in einem Ordner oder Git-Ordner gespeichert ist:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Dateien, um den Dateibrowser zu öffnen.

    Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.

  3. Erweitern Sie den Ordner User, einen Teamordner oder einen verbundenen Git-Repository-Ordner.

    Pipelines werden mit einem Pipeline-Symbol anstelle eines Standardordnersymbols angezeigt.

  4. Klicken Sie auf einen Pipeline-Ordner, um den Pipeline-Viewer zu öffnen.

    Im Pipeline-Viewer werden der kompilierte gerichtete azyklische Graph (Directed Acyclic Graph, DAG) Ihrer Pipelineaufgaben, der Ausführungsstatus und die Konfigurationstabs angezeigt.

  5. Maximieren Sie das Pipelineverzeichnis im Dateibrowser, um verschachtelte Verzeichnisse (z. B. definitions/) und einzelne Aufgabendateien zu durchsuchen.

Pipelines im Explorer-Bereich ansehen

So rufen Sie eine Liste der eigenständigen Pipelines und der in Ordnern gespeicherten Pipelines auf:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Explorer:

    Hervorgehobener Button für den Explorer-Bereich.

    Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.

  3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Pipelines.

  4. Wählen Sie eine Pipeline aus, um sie im Pipeline-Viewer zu öffnen.

Bisherige manuelle Ausführungen ansehen

So rufen Sie die letzten manuellen Ausführungen einer ausgewählten Pipeline auf:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Explorer:

    Hervorgehobener Button für den Explorer-Bereich.

  3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

  4. Klicken Sie auf Ausführungen.

  5. Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.

Benachrichtigungen für fehlgeschlagene Pipelineausführungen konfigurieren

Jede Pipeline hat eine entsprechende Dataform-Repository-ID. Jede Ausführung einer BigQuery-Pipeline wird in Cloud Logging mit der entsprechenden Dataform-Repository-ID protokolliert. Mit Cloud Monitoring können Sie Trends in Cloud Logging-Logs für BigQuery-Pipelineausführungen beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Wenn Sie Benachrichtigungen erhalten möchten, wenn eine BigQuery-Pipeline fehlschlägt, können Sie eine logbasierte Benachrichtigungsrichtlinie für die entsprechende Dataform-Repository-ID erstellen. Eine Anleitung finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

So finden Sie die Dataform-Repository-ID Ihrer Pipeline:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Explorer:

    Hervorgehobener Button für den Explorer-Bereich.

  3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.

  4. Klicken Sie auf Einstellungen.

    Die Dataform-Repository-ID Ihrer Pipeline wird unten auf dem Tab Einstellungen angezeigt.

Pipeline löschen

So löschen Sie eine Pipeline endgültig:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf. BigQuery aufrufen

  • So löschen Sie eine Pipeline, die in einem Ordner oder Git-Ordner gespeichert ist:

    1. Klicken Sie im linken Bereich auf Dateien.

    2. Suchen Sie in der Dateistruktur den Pipeline-Ordner, den Sie löschen möchten.

    3. Klicken Sie neben dem Pipeline-Ordner auf Aktionen ansehen und dann auf Löschen.

    4. Klicken Sie im Bestätigungsdialogfeld auf Löschen.

      Der Pipeline-Ordner und alle darin enthaltenen Aufgaben und Dateien werden aus Ihrem Arbeitsbereich gelöscht.

  • So löschen Sie eine Pipeline, die im Bereich Explorer aufgeführt ist:

    1. Klicken Sie im linken Bereich auf Explorer:

      Hervorgehobener Button für den Explorer-Bereich.

    2. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Pipelines.

    3. Suchen Sie die Pipeline, die Sie löschen möchten.

    4. Klicken Sie neben der Pipeline auf Aktionen ansehen und dann auf Löschen.

    5. Klicken Sie auf Löschen.

Metadaten in Knowledge Catalog verwalten

Mit Knowledge Catalog können Sie Metadaten für Pipelines speichern und verwalten. Pipelines sind in Knowledge Catalog standardmäßig ohne zusätzliche Konfiguration verfügbar.

Sie können Knowledge Catalog verwenden, um Pipelines an allen Pipeline-Standorten zu verwalten. Für die Verwaltung von Pipelines in Knowledge Catalog gelten die Knowledge Catalog-Kontingente und -Limits sowie die Knowledge Catalog-Preise.

Knowledge Catalog ruft automatisch die folgenden Metadaten aus Pipelines ab:

  • Name des Daten-Assets
  • Übergeordnetes Daten-Asset
  • Speicherort des Daten-Assets
  • Daten-Asset-Typ
  • Entsprechendes Google Cloud -Projekt

Knowledge Catalog protokolliert Pipelines als Einträge mit den folgenden Eintragswerten:

Systemeintragsgruppe
Die Systemeintragsgruppe für Pipelines ist @dataform. Wenn Sie Details zu Pipeline-Einträgen im Knowledge Catalog aufrufen möchten, müssen Sie die Systemeintragsgruppe dataform aufrufen. Eine Anleitung zum Aufrufen einer Liste aller Einträge in einer Eintragsgruppe finden Sie in der Knowledge Catalog-Dokumentation unter Details einer Eintragsgruppe ansehen.
Systemeintragstyp
Der Systemeintragstyp für Pipelines ist dataform-code-asset. Wenn Sie Details zu Pipelines aufrufen möchten, müssen Sie den Systemeintragstyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feld type im Aspekt dataform-code-asset auf WORKFLOW setzen. Wählen Sie dann einen Eintrag der ausgewählten Pipeline aus. Eine Anleitung zum Aufrufen der Details eines ausgewählten Eintragstyps finden Sie in der Knowledge Catalog-Dokumentation unter Details eines Eintragstyps aufrufen. Eine Anleitung zum Aufrufen der Details eines ausgewählten Eintrags finden Sie in der Knowledge Catalog-Dokumentation unter Details eines Eintrags aufrufen.
Systemaspekttyp
Der Systemaspekttyp für Pipelines ist dataform-code-asset. Wenn Sie Pipelines in Knowledge Catalog zusätzlichen Kontext bereitstellen möchten, indem Sie Datenpipeline-Einträge mit Aspekten annotieren, rufen Sie den Aspekttyp dataform-code-asset auf, filtern Sie die Ergebnisse mit einem aspektbasierten Filter und setzen Sie das Feld type im Aspekt dataform-code-asset auf WORKFLOW. Eine Anleitung zum Annotieren von Einträgen mit Aspekten finden Sie in der Knowledge Catalog-Dokumentation unter Aspekte verwalten und Metadaten anreichern.
Typ
Der Typ für Daten-Canvases ist WORKFLOW. Mit diesem Typ können Sie Pipelines im Systemeintragstyp dataform-code-asset und im Aspekttyp dataform-code-asset filtern, indem Sie die Abfrage aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW in einem aspektbasierten Filter verwenden.

Eine Anleitung zum Suchen nach Assets in Knowledge Catalog finden Sie in der Knowledge Catalog-Dokumentation unter Nach Daten-Assets in Knowledge Catalog suchen.

Metadatenanreicherung und Integration der Scorecard zur Datenqualität

Dataform kann die folgenden Metadaten in Knowledge Catalog veröffentlichen:

  • Aspekttyp „Übersicht“
  • Allgemeiner Aspekttyp
  • Aspekttyp „Scorecard zur Datenqualität“

Dataform-Assertions werden automatisch in die Knowledge Catalog-Datenqualitäts-Scorecard eingebunden. Während der Pipelineausführung werden die Ergebnisse aller Dataform-Assertions automatisch in Knowledge Catalog veröffentlicht. Diese Ergebnisse werden in der Knowledge Catalog-Scorecard für die Datenqualität mit dem Status „Bestanden“ oder „Nicht bestanden“ angezeigt.

Wenn Sie den Status einer Metadatenaktualisierung prüfen möchten, folgen Sie der Anleitung unter Letzte manuelle Ausführungen aufrufen.

Nachdem die Metadaten synchronisiert wurden, können Sie den Eintrag in Knowledge Catalog suchen und ansehen. Weitere Informationen finden Sie unter Nach Ressourcen suchen.

Nächste Schritte