Pipelines verwalten

In diesem Dokument wird beschrieben, wie Sie BigQuery-Pipelines verwalten, einschließlich des Aufrufs, der Planung, der Bereitstellung und des Löschens von Pipelines.

Außerdem wird beschrieben, wie Sie Metadaten von Pipelines in Knowledge Catalog aufrufen und verwalten.

Pipelines basieren auf Dataform. Sie können Pipelines, die in Dateien und Ordnern (Nutzerordner und Teamordner) oder in BigQuery Studio-Git-Repositories (Git-Ordnern) (Vorabversion) gespeichert sind, organisieren und verwalten.

Hinweis

  1. Erstellen Sie eine BigQuery-Pipeline.
  2. Wenn Sie Metadaten von Pipelines in Knowledge Catalog verwalten möchten, muss die Dataplex API in Ihrem Google Cloud Projekt aktiviert sein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Pipelines benötigen:

  • So rufen Sie Pipelines auf und führen sie aus:
  • So führen Sie Pipelines mit Nutzeranmeldedaten für ein Google-Konto aus: BigQuery Data Editor (roles/bigquery.dataEditor) für das Projekt oder bestimmte BigQuery-Datasets
  • So löschen Sie Pipelines: Dataform Admin (roles/dataform.Admin) für die Pipeline
  • So verwalten Sie Pipelines in Nutzerordnern:
  • So verwalten Sie Pipelines in Teamordnern:
  • So verwalten Sie Pipelines in Git-Repositories: Developer Connect OAuth User (roles/developerconnect.oauthUser) für das Projekt
  • So rufen Sie Metadaten in Knowledge Catalog auf und verwalten sie: Dataplex Catalog Editor (roles/dataplex.catalogEditor) für das Projekt oder die Eintragsgruppe @bigquery

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu Dataform IAM finden Sie unter Zugriff mit IAM steuern. Weitere Informationen zu Rollen für Ordner finden Sie unter Ordner erstellen und verwalten. Weitere Informationen zu Rollen für Git-Repositories finden Sie unter Code mit BigQuery Studio-Git-Repositories verwalten.

Wenn Sie ein benutzerdefiniertes Dienstkonto zum Ausführen von Pipelines verwenden, müssen Sie diesem Dienstkonto die folgenden Rollen zuweisen:

Pipelines ansehen

Sie können Pipelines, die in Ordnern oder Git-Ordnern gespeichert sind, im Bereich Dateien ansehen und prüfen. Im Bereich Explorer können Sie eigenständige Pipelines und Pipelines ansehen, die in Ordnern gespeichert sind. Pipelines, die in Git-Ordnern gespeichert sind, werden im Bereich Explorer nicht angezeigt.

Pipelines im Bereich „Dateien“ ansehen

Pipelines, die in Ordnern oder Git-Ordnern gespeichert sind, werden direkt im Bereich Dateien angezeigt.

So rufen Sie eine Pipeline auf, die in einem Ordner oder Git-Ordner gespeichert ist:

  1. Rufen Sie in der Google Cloud Console die BigQuery Seite auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Dateien, um den Dateibrowser zu öffnen.

    Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren , um ihn zu öffnen.

  3. Maximieren Sie den Ordner Nutzer , einen Teamordner oder einen verbundenen Git-Repository-Ordner.

    Pipelines werden mit dem Symbol Pipeline anstelle eines Standardsymbols für Ordner angezeigt.

  4. Klicken Sie auf einen Pipelineordner, um den Pipeline Viewer zu öffnen.

    Im Pipeline Viewer werden der kompilierte gerichtete azyklische Graph (DAG) Ihrer Pipelineaufgaben, der Ausführungsstatus und die Konfigurationstabs angezeigt.

  5. Maximieren Sie das Pipelineverzeichnis im Dateibrowser, um verschachtelte Verzeichnisse (z. B. definitions/) und einzelne Aufgabendateien zu durchsuchen.

Pipelines im Bereich „Explorer“ ansehen

So rufen Sie eine Liste eigenständiger Pipelines und Pipelines auf, die in Ordnern gespeichert sind:

  1. Rufen Sie in der Google Cloud Console die BigQuery Seite auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Explorer:

    Hervorgehobener Button für den Explorer-Bereich.

    Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf Linken Bereich maximieren , um ihn zu öffnen.

  3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Pipelines.

  4. Wählen Sie eine Pipeline aus, um sie im Pipeline Viewer zu öffnen.

Bisherige manuelle Ausführungen ansehen

So rufen Sie die letzten manuellen Ausführungen einer ausgewählten Pipeline auf:

  1. Rufen Sie in der Google Cloud Console die BigQuery Seite auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Explorer:

    Hervorgehobener Button für den Explorer-Bereich.

  3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines, und wählen Sie dann eine Pipeline aus.

  4. Klicken Sie auf Ausführungen.

  5. Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.

Benachrichtigungen für fehlgeschlagene Pipelineausführungen konfigurieren

Jede Pipeline hat eine entsprechende Dataform-Repository-ID. Jede Ausführung einer BigQuery-Pipeline wird in Cloud Logging mit der entsprechenden Dataform-Repository-ID protokolliert. Mit Cloud Monitoring können Sie Trends in Cloud Logging-Logs für BigQuery-Pipelineausführungen beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Wenn Sie Benachrichtigungen erhalten möchten, wenn eine BigQuery-Pipeline fehlschlägt, können Sie eine protokollbasierte Benachrichtigungsrichtlinie für die entsprechende Dataform-Repository-ID erstellen. Eine Anleitung finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

So finden Sie die Dataform-Repository-ID Ihrer Pipeline:

  1. Rufen Sie in der Google Cloud Console die BigQuery Seite auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Explorer:

    Hervorgehobener Button für den Explorer-Bereich.

  3. Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines, und wählen Sie dann eine Pipeline aus.

  4. Klicken Sie auf Einstellungen.

    Die Dataform-Repository-ID Ihrer Pipeline wird unten auf dem Tab Einstellungen angezeigt.

Pipeline löschen

So löschen Sie eine Pipeline endgültig:

  1. Rufen Sie in der Google Cloud Console die BigQuery Seite auf. BigQuery aufrufen

  • So löschen Sie eine Pipeline, die in einem Ordner oder Git-Ordner gespeichert ist:

    1. Klicken Sie im linken Bereich auf Dateien.

    2. Suchen Sie in der Dateistruktur nach dem Pipelineordner, den Sie löschen möchten.

    3. Klicken Sie neben dem Pipelineordner auf Aktionen ansehen und dann auf Löschen.

    4. Klicken Sie im Bestätigungsdialogfeld auf Löschen.

      Der Pipelineordner und alle darin enthaltenen Aufgaben und Dateien werden aus Ihrem Arbeitsbereich gelöscht.

  • So löschen Sie eine Pipeline, die im Bereich Explorer aufgeführt ist:

    1. Klicken Sie im linken Bereich auf Explorer:

      Hervorgehobener Button für den Explorer-Bereich.

    2. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Pipelines.

    3. Suchen Sie die Pipeline, die Sie löschen möchten.

    4. Klicken Sie neben der Pipeline auf Aktionen ansehen und dann auf Löschen.

    5. Klicken Sie auf Löschen.

Metadaten in Knowledge Catalog verwalten

Mit Knowledge Catalog können Sie Metadaten für Pipelines speichern und verwalten. Pipelines sind standardmäßig in Knowledge Catalog verfügbar, ohne dass eine zusätzliche Konfiguration erforderlich ist.

Mit Knowledge Catalog können Sie Pipelines an allen Pipelinestandorten verwalten. Für die Verwaltung von Pipelines in Knowledge Catalog gelten die Knowledge Catalog-Kontingente und ‑Limits sowie die Knowledge Catalog-Preise.

Knowledge Catalog ruft automatisch die folgenden Metadaten aus Pipelines ab:

  • Name des Daten-Assets
  • Übergeordnetes Element des Daten-Assets
  • Speicherort des Daten-Assets
  • Typ des Daten-Assets
  • Entsprechendes Google Cloud Projekt

Knowledge Catalog protokolliert Pipelines als Einträge mit den folgenden Eintragswerten:

Systemeintragsgruppe
Die Systemeintragsgruppe für Pipelines ist @dataform. Wenn Sie Details zu Pipelineeinträgen in Knowledge Catalog aufrufen möchten, müssen Sie die Systemeintragsgruppe dataform aufrufen. Eine Anleitung zum Aufrufen einer Liste aller Einträge in einer Eintragsgruppe finden Sie in der Knowledge Catalog-Dokumentation unter Details zu einer Eintragsgruppe ansehen.
Systemeintragstyp
Der Systemeintragstyp für Pipelines ist dataform-code-asset. Wenn Sie Details zu Pipelines aufrufen möchten,müssen Sie den Systemeintragstyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern, und das Feld type im Aspekt dataform-code-asset auf WORKFLOW setzen. Wählen Sie dann einen Eintrag der ausgewählten Pipeline aus. Eine Anleitung zum Aufrufen von Details zu einem ausgewählten Eintragstyp finden Sie in der Knowledge Catalog-Dokumentation unter Details zu einem Eintragstyp ansehen. Eine Anleitung zum Aufrufen von Details zu einem ausgewählten Eintrag finden Sie in der Knowledge Catalog-Dokumentation unter Details zu einem Eintrag ansehen.
Systemaspekttyp
Der Systemaspekttyp für Pipelines ist dataform-code-asset. Wenn Sie Pipelines in Knowledge Catalog zusätzlichen Kontext geben möchten, indem Sie Datenpipelineeinträge mitAspektenannotieren, rufen Sie den dataform-code-asset Aspekttyp auf, filtern Sie die Ergebnisse mit einem aspektbasierten Filter und setzen Sie das type Feld im Aspekt dataform-code-asset auf WORKFLOW. Eine Anleitung zum Annotieren von Einträgen mit Aspekten finden Sie in der Knowledge Catalog-Dokumentation unter Aspekte verwalten und Metadaten anreichern.
Typ
Der Typ für Daten-Canvas ist WORKFLOW. Mit diesem Typ können Sie Pipelines im dataform-code-asset Systemeintragstyp und im dataform-code-asset Aspekttyp filtern, indem Sie die aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW Abfrage in einem aspektbasierten Filter verwenden.

Eine Anleitung zum Suchen nach Assets in Knowledge Catalog finden Sie in der Knowledge Catalog-Dokumentation unter Nach Daten-Assets in Knowledge Catalog suchen.

Metadatenanreicherung und Integration der Scorecard zur Datenqualität

Dataform kann die folgenden Metadaten in Knowledge Catalog veröffentlichen:

  • Aspekttyp „Übersicht“
  • Allgemeiner Aspekttyp
  • Aspekttyp „Scorecard zur Datenqualität“

Dataform-Assertionen werden automatisch in die Knowledge Catalog-Scorecard zur Datenqualität integriert. Während der Pipelineausführung werden die Ergebnisse aller Dataform-Assertionen automatisch in Knowledge Catalog veröffentlicht. Diese Ergebnisse füllen die Knowledge Catalog-Scorecard zur Datenqualität mit einem Status „Bestanden“ oder „Nicht bestanden“.

Informationen zum Prüfen des Status einer Metadatenaktualisierung finden Sie unter Bisherige manuelle Ausführungen ansehen.

Nachdem die Metadaten synchronisiert wurden, können Sie in Knowledge Catalog nach dem Eintrag suchen und ihn aufrufen. Weitere Informationen finden Sie unter Nach Ressourcen suchen.

Nächste Schritte