Steuerung der Aufnahme von Datenreihen

Zur Verwaltung von Kosten und Governance-Richtlinien können Sie die Datenherkunftserfassung für bestimmte Google Cloud -Dienste aktivieren oder deaktivieren. Sie können die Herkunftserfassung beispielsweise für Entwicklungsprojekte oder Arbeitslasten mit hohem Volumen deaktivieren, für die keine Herkunftsverfolgung erforderlich ist.

Unterstützte Dienstintegrationen

In der folgenden Tabelle sind die Integrationen aufgeführt, die die Steuerung der Data Lineage-Erfassung unterstützen:

Name der Integration Unterstützung für die Steuerung der Aufnahme Standardwert Integrationsdetails
Managed Service for Apache Spark: Apache Spark-Cluster Ja Aktiviert Spark-Datenherkunft verwenden
Managed Service for Apache Spark: Apache Hive-Cluster Ja Aktiviert Hive-Datenherkunft aktivieren
Managed Service for Apache Spark: Serverlose Bereitstellung Ja Aktiviert Datenherkunft mit Managed Service for Apache Spark verwenden
BigQuery Ja Aktiviert Datenherkunft für eine BigQuery-Tabelle nachverfolgen
Managed Service for Apache Airflow Ja Aktiviert Datenherkunft mit Knowledge Catalog
Looker (Google Cloud Core) Ja (Vorabversion) Aktiviert Looker Core-Datenherkunft
Cloud Data Fusion Nein Aktiviert Herkunft in Knowledge Catalog ansehen
Dataflow Nein Von Dataflow-Seite deaktiviert Datenherkunft in Dataflow verwenden
Vertex AI Pipelines Nein Aktiviert Herkunft von Pipeline-Artefakten verfolgen

Funktionsweise der Steuerung der Datenherkunftsaufnahme

Sie können die Datenaufnahme auf Organisations-, Ordner- und Projektebene steuern und diese Einstellungen mit dienstspezifischen Konfigurationen kombinieren, um eine detaillierte Kontrolle über die Aufnahme von Datenherkunft zu erhalten.

Knowledge Catalog wertet die Ressourcenhierarchie beginnend mit einem Projekt, dann Ordnern und dann der Organisation aus, um die effektive Konfiguration zu bestimmen. Die erste Konfiguration, die auf einer beliebigen Ebene in dieser Aufwärtsbewegung explizit festgelegt wird, wird wirksam.

  • Wenn Sie eine Konfiguration auf Projektebene festlegen, wird sie von Knowledge Catalog verwendet.
  • Wenn auf Projektebene keine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Konfiguration aus dem nächstgelegenen übergeordneten Ordner mit einer expliziten Konfiguration.
  • Wenn auf Projekt- oder Ordnerebene keine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Konfiguration auf Organisationsebene.
  • Wenn auf keiner dieser Ebenen eine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Standardeinstellung des Systems für die Integration.

Wenn Sie die Aufnahmesteuerung im Bulk verwalten möchten, aktivieren Sie die Data Lineage API für alle Projekte in einem Ordner oder einer Organisation. Folgen Sie dazu den Regeln für die hierarchische Dienstaktivierung. Nachdem Sie die Data Lineage API aktiviert haben, können Sie die Datenherkunftserfassung pro Dienstintegration für eine Organisation, einen Ordner oder ein Projekt detailliert steuern.

Funktionsweise der Konfiguration der Datenaufnahme für Integrationen mit einem einzelnen Dienst

Das folgende Szenario veranschaulicht, wie Knowledge Catalog die Konfiguration für die Aufnahme von Herkunftsdaten für einen einzelnen Dienst in der Ressourcenhierarchie auflöst.

Angenommen, eine Organisation test-org hat die folgenden Konfigurationen für die Herkunft von Managed Service for Apache Spark:

  • Organisation test-org: Aktiviert
    • Ordner „folder-a“: Deaktiviert
      • Projekt project-a: Keine Konfiguration festgelegt
    • Ordner folder-b: Aktiviert
      • Projekt project-b: Deaktiviert

In diesem Szenario gelten die folgenden Einstellungen:

  • Für project-a ist die Aufnahme von Herkunftsdaten deaktiviert. Knowledge Catalog beginnt mit der Auswertung ab project-a, findet keine Konfiguration, geht zu folder-a und wendet die Konfiguration Deaktiviert von folder-a an.
  • Für project-b ist die Aufnahme von Herkunftsdaten deaktiviert. Knowledge Catalog beginnt mit der Auswertung ab project-b und wendet die Konfiguration Deaktiviert an. Dadurch werden die Einstellungen bei folder-b und test-org überschrieben.

Funktionsweise der Konfiguration der Datenaufnahme für Integrationen mit mehreren Diensten

Das folgende Szenario veranschaulicht, wie Knowledge Catalog Konfigurationen für mehrere Dienste in der Ressourcenhierarchie unabhängig voneinander auflöst.

Angenommen, eine Organisation test-org hat die folgenden Herkunftskonfigurationen für mehrere Dienstintegrationen:

  • Organisation test-org
    • Managed Service for Apache Spark: Aktiviert
    • Ordner „folder-a“
      • BigQuery: Aktiviert
      • Projekt project-a
        • BigQuery: Deaktiviert
        • Managed Service for Apache Airflow: Aktiviert
      • Projekt project-b: Keine Konfiguration festgelegt

In diesem Szenario wertet Knowledge Catalog jede Dienstintegration unabhängig voneinander in der Ressourcenhierarchie aus:

  • Für project-a:
    • Die Aufnahme von Herkunftsdaten für Managed Service for Apache Spark ist aktiviert. Knowledge Catalog beginnt mit der Auswertung bei project-a, findet keine Konfiguration für Managed Service for Apache Spark, geht zu folder-a (keine Konfiguration festgelegt) und wendet die Konfiguration Aktiviert von test-org an.
    • Die Aufnahme der BigQuery-Herkunft ist deaktiviert. Knowledge Catalog wendet die explizite Konfiguration auf Projektebene an, die die unter folder-a festgelegte Konfiguration Aktiviert überschreibt.
    • Die Datenaufnahme für die Herkunft von Managed Service for Apache Airflow ist aktiviert. Knowledge Catalog wendet die explizite Konfiguration auf Projektebene an.
  • Für project-b:
    • Die Aufnahme von Herkunftsdaten für Managed Service for Apache Spark ist aktiviert (von test-org übernommen).
    • Die Aufnahme der BigQuery-Datenherkunft ist aktiviert (von folder-a übernommen).
    • Für die Aufnahme von Data Lineage in Managed Service for Apache Airflow wird die Standardeinstellung des Systems verwendet (standardmäßig Aktiviert, wenn die Data Lineage API aktiv ist), da auf keiner Ebene der Hierarchie eine explizite Konfiguration festgelegt ist.

Nächste Schritte