Pipelines verwalten

In diesem Dokument wird beschrieben, wie Sie BigQuery-Pipelines verwalten, einschließlich der Planung und des Löschens von Pipelines.

In diesem Dokument wird auch beschrieben, wie Sie Pipeline-Metadaten im Knowledge Catalog ansehen und verwalten.

Pipelines basieren auf Dataform.

Hinweis

BigQuery-Pipeline erstellen
Wenn Sie Metadaten von Pipelines in Knowledge Catalog verwalten möchten, muss die Dataplex API in Ihrem Google Cloud Projekt aktiviert sein.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Pipelines benötigen:

So löschen Sie Pipelines: Dataform Admin (roles/dataform.Admin) für die Pipeline
So rufen Sie Pipelines auf und führen sie aus: Dataform-Betrachter (roles/dataform.Viewer) für das Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie Pipeline-Metadaten in Knowledge Catalog verwalten möchten, müssen Sie die erforderlichen Knowledge Catalog-Rollen haben.

Weitere Informationen zu Dataform IAM finden Sie unter Zugriff mit IAM steuern.

Alle Pipelines ansehen

So rufen Sie eine Liste aller Pipelines in Ihrem Projekt auf:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Klicken Sie im linken Bereich auf Explorer:

Wenn Sie den linken Bereich nicht sehen, klicken Sie auf Linken Bereich maximieren, um ihn zu öffnen.
Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Pipelines.

Bisherige manuelle Ausführungen ansehen

So rufen Sie die letzten manuellen Ausführungen einer ausgewählten Pipeline auf:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Klicken Sie im linken Bereich auf Explorer:
Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.
Klicken Sie auf Ausführungen.
Optional: Klicken Sie auf Aktualisieren, um die Liste der letzten Ausführungen zu aktualisieren.

Benachrichtigungen für fehlgeschlagene Pipelineausführungen konfigurieren

Jede Pipeline hat eine entsprechende Dataform-Repository-ID. Jede Ausführung einer BigQuery-Pipeline wird in Cloud Logging mit der entsprechenden Dataform-Repository-ID protokolliert. Mit Cloud Monitoring können Sie Trends in Cloud Logging-Logs für BigQuery-Pipelineausführungen beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Wenn Sie Benachrichtigungen erhalten möchten, wenn ein BigQuery-Pipeline-Lauf fehlschlägt, können Sie eine protokollbasierte Benachrichtigungsrichtlinie für die entsprechende Dataform-Repository-ID erstellen. Eine Anleitung finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

So finden Sie die Dataform-Repository-ID Ihrer Pipeline:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Klicken Sie im linken Bereich auf Explorer:
Maximieren Sie im Bereich Explorer Ihr Projekt, klicken Sie auf Pipelines und wählen Sie dann eine Pipeline aus.
Klicken Sie auf Einstellungen.

Die Dataform-Repository-ID Ihrer Pipeline wird unten auf dem Tab Einstellungen angezeigt.

Pipeline löschen

So löschen Sie eine Pipeline endgültig:

Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

BigQuery aufrufen
Klicken Sie im linken Bereich auf Explorer:
Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Pipelines.
Suchen Sie die Pipeline, die Sie löschen möchten.
Klicken Sie neben der Pipeline auf Aktionen ansehen und dann auf Löschen.
Klicken Sie auf Löschen.

Metadaten in Knowledge Catalog verwalten

Mit Knowledge Catalog können Sie Metadaten für Pipelines speichern und verwalten. Pipelines sind standardmäßig im Knowledge Catalog verfügbar und erfordern keine zusätzliche Konfiguration.

Mit dem Knowledge Catalog können Sie Pipelines an allen Pipeline-Standorten verwalten. Die Verwaltung von Pipelines in Knowledge Catalog unterliegt den Kontingenten und Limits für Knowledge Catalog und der Knowledge Catalog-Preisgestaltung.

Knowledge Catalog ruft automatisch die folgenden Metadaten aus Pipelines ab:

Name des Datenassets
Übergeordnetes Data Asset
Speicherort des Daten-Assets
Daten-Asset-Typ
Entsprechendes Google Cloud Projekt

Knowledge Catalog protokolliert Pipelines als Einträge mit den folgenden Eintragswerten:

Systemeintragsgruppe: Die Systemeintragsgruppe für Pipelines ist @dataform. Wenn Sie Details zu Pipelineeinträgen im Knowledge Catalog aufrufen möchten, müssen Sie die Systemeintragsgruppe dataform aufrufen. Eine Anleitung zum Aufrufen einer Liste aller Einträge in einer Eintragsgruppe finden Sie in der Knowledge Catalog-Dokumentation unter Details einer Eintragsgruppe ansehen.
Systemeintragstyp: Der Systemeintragstyp für Pipelines ist dataform-code-asset. Wenn Sie Details zu Pipelines aufrufen möchten, müssen Sie den Systemeingabetyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feld type im Aspekt dataform-code-asset auf WORKFLOW setzen. Wählen Sie dann einen Eintrag der ausgewählten Pipeline aus. Eine Anleitung zum Aufrufen der Details eines ausgewählten Eintrags finden Sie in der Knowledge Catalog-Dokumentation unter Details eines Eintrags aufrufen. Eine Anleitung dazu, wie Sie Details zu einem ausgewählten Eintrag aufrufen, finden Sie in der Knowledge Catalog-Dokumentation unter Details zu einem Eintrag aufrufen.
Systemaspekttyp: Der Systemaspekttyp für Pipelines ist dataform-code-asset. Wenn Sie Datenpipelineeinträge im Knowledge Catalog mit Aspekten annotieren möchten, um Pipelines zusätzlichen Kontext zu geben, rufen Sie den Aspekttyp dataform-code-asset auf, filtern Sie die Ergebnisse mit einem aspektbasierten Filter und legen Sie das Feld type im Aspekt dataform-code-asset auf WORKFLOW fest. Eine Anleitung zum Annotieren von Einträgen mit Aspekten finden Sie in der Knowledge Catalog-Dokumentation unter Aspekte verwalten und Metadaten anreichern.
Typ: Der Typ für Daten-Canvas ist WORKFLOW. Mit diesem Typ können Sie Pipelines im dataform-code-asset-Systemeintragstyp und im dataform-code-asset-Aspekttyp filtern, indem Sie die aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW-Abfrage in einem aspektbasierten Filter verwenden.

Eine Anleitung zum Suchen nach Assets in Knowledge Catalog finden Sie in der Knowledge Catalog-Dokumentation unter Nach Datenassets in Knowledge Catalog suchen.