Data Lineage

Die Datenherkunft ist eine visuelle Karte, die den gesamten Lebenszyklus Ihrer Daten verfolgt. Sie zeigt, woher Ihre Daten stammen (die Quelle), wohin sie übertragen werden (die Ziele) und alle Änderungen oder Transformationen, die dabei vorgenommen werden.

Sie können diese vollständige Karte des Datenflusses direkt in der Google Cloud Console für Assets ansehen, die in Produkten wie Knowledge Catalog (ehemals Dataplex Universal Catalog), BigQuery (einschließlich externer Tabellen, die für den Iceberg REST Catalog erstellt wurden) und Vertex AI erstellt wurden. Da Workflows oft mehrere Regionen umfassen, unterstützt Knowledge Catalog die regionsübergreifende Herkunft, die eine ganzheitliche Übersicht des Datenflusses im gesamten globalen Google Cloud Ökosystems bietet. Fortgeschrittene Nutzer können diese Informationen auch mit der Data Lineage API abrufen.

Warum Sie die Datenherkunft benötigen

Moderne Unternehmen verschieben und ändern ständig große Datenmengen. Beispielsweise werden Rohdaten zu Kundenkäufen in Berichte, Dashboards und Machine-Learning-Modelle umgewandelt. Diese Komplexität stellt Ihr Team vor große Herausforderungen:

  • Vertrauen und Überprüfung: Datennutzer haben oft Schwierigkeiten, zu bestätigen, dass die Berichte und Zahlen, die sie sehen, korrekt sind und aus einer vertrauenswürdigen Quelle stammen.

  • Fehlerbehebung: Wenn in einem Abschlussbericht ein Fehler auftritt, kann es für Datenteams schwierig und zeitaufwendig sein, das Problem in jedem Schritt bis zur Ursache zurückzuverfolgen.

  • Änderungsmanagement: Bevor Daten geändert oder gelöscht werden (z. B. eine Spalte in einer Tabelle), müssen Teams alle nachgelagerten Berichte oder Modelle kennen, die darauf basieren, um zu vermeiden, dass kritische Systeme beschädigt werden.

  • Compliance: Führungskräfte benötigen Einblick in die Verwendung vertraulicher Daten (z. B. Kunden- oder Finanzinformationen) im gesamten Unternehmen, um die gesetzlichen Anforderungen zu erfüllen.

Die Datenherkunft löst diese Probleme, indem sie einen klaren, visuellen und dokumentierten Verlauf Ihrer Daten bietet. So können Sie Datenquellen schnell nachvollziehen, Fehler nachverfolgen, die Auswirkungen von Änderungen bewerten und die Compliance einhalten.

Workflow für die Datenherkunft

Der Workflow für die Datenherkunft umfasst die folgenden Schritte:

  1. Datenquellen und Aufnahme: Informationen zur Herkunft aus Ihren Datenquellen initiieren den gesamten Prozess. Weitere Informationen finden Sie unter Quellen der Herkunft.

    • Google Cloud Dienste: Wenn die Data Lineage API aktiviert ist, melden unterstützte Dienste wie BigQuery und Dataflow automatisch Ereignisse zur Herkunft, wenn Daten verschoben oder transformiert werden.

    • Benutzerdefinierte Quellen: Für Systeme, die nicht automatisch durch Google Cloud Integrationen unterstützt werden, können Sie die Data Lineage API verwenden, um Informationen zur Herkunft manuell aufzuzeichnen. Wir empfehlen, Ereignisse zu importieren, die gemäß dem OpenLineage-Standard formatiert sind.

  2. Plattform für die Herkunft: Auf dieser zentralen Plattform werden alle Daten zur Herkunft aufgenommen, modelliert und gespeichert. Weitere Informationen finden Sie unter Modell und Detaillierungsgrad der Herkunftsinformationen.

    • Data Lineage API: Diese API dient als einziger Einstiegspunkt für alle eingehenden Informationen zur Herkunft. Sie verwendet ein hierarchisches Datenmodell, das aus drei Kernkonzepten besteht: Prozess, Ausführung und Ereignis.

    • Verarbeitung und Speicherung: Die Plattform verarbeitet eingehende Daten und speichert sie in zuverlässigen, für Abfragen optimierten Datenbanken.

  3. Nutzererfahrung: Sie können auf zwei Arten mit den gespeicherten Informationen zur Herkunft interagieren:

    • Visuelle Analyse: In der Google Cloud Console ruft ein Front-End-Dienst die Daten zur Herkunft ab und rendert sie als interaktives Diagramm oder als Liste. Dies wird für Knowledge Catalog, BigQuery, Lakehouse (für Iceberg REST Catalog-Tabellen), die physische Ebene (Cloud Storage) und Vertex AI (für Modelle, Datasets, über Pipelines; und Feature Store-Ansichten und Feature-Gruppen) unterstützt. Dies ist ideal, um den Datenfluss visuell zu analysieren. Weitere Informationen finden Sie unter Ansichten der Herkunft in der Google Cloud Console.

    • Programmatischer Zugriff: Mit einem API-Client können Sie direkt mit der Data Lineage API kommunizieren, um die Verwaltung der Herkunft zu automatisieren. So können Sie Informationen zur Herkunft aus benutzerdefinierten Quellen schreiben. Außerdem können Sie die gespeicherten Daten zur Herkunft lesen und abfragen, um sie in anderen Anwendungen zu verwenden oder benutzerdefinierte Berichte zu erstellen.

Die richtige API für den Abruf der Herkunft auswählen

Wählen Sie je nach Anwendungsfall eine der folgenden Methoden in der Data Lineage API aus:

Funktion SearchLinks SearchLineageStreaming
Tiefe 1 Ebene (unmittelbare Nachbarn) Bis zu 100 Ebenen
Ausführung Synchron Streaming in Echtzeit
Anwendungsfall Einfache Suchvorgänge für direkte Quellen oder Ziele Vollständiges Diagramm der Herkunft erstellen oder Auswirkungen analysieren

Richtung angeben

  • Upstream (Quellen):
    • Legen Sie in SearchLinks das Feld target auf den FQN Ihres Assets fest.
    • Legen Sie in SearchLineageStreaming direction auf UPSTREAM fest.
  • Downstream (Ziele):
    • Legen Sie in SearchLinks das Feld source auf den FQN Ihres Assets fest.
    • Legen Sie in SearchLineageStreaming direction auf DOWNSTREAM fest.

Quellen der Herkunft

Sie können Informationen zur Herkunft in Knowledge Catalog auf folgende Arten hinzufügen:

  • Automatisch aus integrierten Google Cloud Diensten
  • Manuell mit der Data Lineage API für benutzerdefinierte Quellen
  • Durch Importieren von Ereignissen aus OpenLineage

BigQuery

Wenn Sie die Datenherkunft in Ihrem BigQuery-Projekt aktivieren, zeichnet Knowledge Catalog automatisch Informationen zur Herkunft für Folgendes auf:

BigQuery-Kopier-, ‑Abfrage- und ‑Ladejobs werden als Prozesse dargestellt.

Klicken Sie im Diagramm der Herkunft auf das Symbol Prozessdetails Symbol „Prozessdetails“, um die Details des Prozesses aufzurufen.

Jeder Prozess enthält die BigQuery-job_id in der Attributliste für den letzten BigQuery-Job.

Weitere Dienste

Die Datenherkunft unterstützt die Einbindung in die folgenden Google Cloud Dienste:

Datenherkunft für benutzerdefinierte Datenquellen

Mit der Data Lineage API können Sie Informationen zur Herkunft für jede Datenquelle manuell aufzeichnen, die von integrierten Systemen nicht unterstützt wird.

Knowledge Catalog kann Diagramme der Herkunft für manuell aufgezeichnete Herkunft erstellen, wenn Sie einen fullyQualifiedName verwenden, der mit den voll qualifizierten Namen vorhandener Knowledge Catalog-Einträge übereinstimmt. Wenn Sie die Herkunft für eine benutzerdefinierte Datenquelle aufzeichnen möchten, müssen Sie zuerst einen benutzerdefinierten Eintragerstellen.

Jeder Prozess für eine benutzerdefinierte Datenquelle kann in der Liste der Attribute einen sql-Schlüssel enthalten. Der Wert dieses Schlüssels wird verwendet, um im Detailbereich des Diagramms der Datenherkunft eine Codehervorhebung zu rendern. Die SQL-Anweisung wird so angezeigt, wie sie angegeben wurde. Sie sind für das Herausfiltern vertraulicher Informationen verantwortlich. Bei dem Schlüsselnamen sql wird zwischen Groß- und Kleinschreibung unterschieden.

OpenLineage

Wenn Sie OpenLineage bereits verwenden, um Informationen zur Herkunft aus anderen Datenquellen zu erfassen, können Sie OpenLineage-Ereignisse in Knowledge Catalog importieren und diese Ereignisse in der Google Cloud Console ansehen. Weitere Informationen finden Sie unter In OpenLineage einbinden.

Automatisierte Nachverfolgung der Datenherkunft

Wenn Sie die Data Lineage API aktivieren, Google Cloud melden Systeme, die die Datenherkunft unterstützen, ihre Datenübertragung. Jedes integrierte System kann Informationen zur Herkunft für einen anderen Bereich von Datenquellen senden.

Aufnahme der Herkunft steuern

Sie können steuern, welche Google Cloud Dienste Daten zur Herkunft generieren, indem Sie die Aufnahme der Herkunft für bestimmte Integrationen aktivieren oder deaktivieren. Sie können die Aufnahme der Herkunft auf Organisations-, Ordner- und Projektebene steuern. In der Vorabversion unterstützt diese Funktion die Konfiguration der Aufnahme der Herkunft nur für Managed Service for Apache Spark.

Knowledge Catalog wertet die Ressourcenhierarchie (Projekt, dann Ordner, dann Organisation) aus, um die effektive Konfiguration zu ermitteln. Die erste Konfiguration, die auf einer beliebigen Ebene in dieser Aufwärtsbewegung explizit festgelegt wird, wird wirksam.

  • Wenn Sie eine Konfiguration auf Projektebene festlegen, verwendet Knowledge Catalog diese.
  • Wenn auf Projektebene keine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Konfiguration aus dem nächstgelegenen übergeordneten Ordner mit einer expliziten Konfiguration.
  • Wenn auf Projekt- oder Ordnerebene keine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Konfiguration auf Organisationsebene.
  • Wenn auf keiner dieser Ebenen eine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Standardeinstellung des Systems für die Integration. Die Standardeinstellung für die Konfiguration der Aktivierung der Herkunft kann Aktiviert oder Deaktiviert sein. Für Managed Service for Apache Spark ist die Aufnahme der Herkunft standardmäßig Aktiviert , wenn die Data Lineage API aktiv ist.

Betrachten Sie beispielsweise eine Organisation test-org mit den folgenden Konfigurationen für die Herkunft von Managed Service for Apache Spark:

  • Organisation test-org: Aktiviert
    • Ordner folder-a: Deaktiviert
      • Projekt project-a: Keine Konfiguration festgelegt
    • Ordner folder-b: Aktiviert
      • Projekt project-b: Deaktiviert

In diesem Szenario gelten die folgenden Einstellungen:

  • Für project-a ist die Aufnahme der Herkunft Deaktiviert. Knowledge Catalog beginnt mit der Auswertung von project-a, findet keine Konfiguration, wechselt zu folder-a und wendet die Deaktiviert Konfiguration aus folder-a an.
  • Für project-b ist die Aufnahme der Herkunft Deaktiviert. Knowledge Catalog beginnt mit der Auswertung von project-b und wendet die Konfiguration Deaktiviert an, wodurch die Einstellungen für folder-b und test-org überschrieben werden.

Durch das Steuern der Generierung von Daten zur Herkunft können Sie Kosten und Governance-Richtlinien verwalten. Sie können beispielsweise die Erfassung der Herkunft für Entwicklungsprojekte oder Arbeitslasten mit hohem Volumen deaktivieren, für die keine Nachverfolgung der Herkunft erforderlich ist.

Informationen zum Konfigurieren und Steuern der Aufnahme der Herkunft finden Sie unter Aufnahme der Herkunft für einen Dienst steuern.

Regionsübergreifende Datenherkunft

Die Datenherkunft ist ein von Natur aus regionalisierter Dienst. Metadaten zur Herkunft, einschließlich Links, Prozesse und Ereignisse, werden sicher aufgezeichnet und isoliert an dem geografischen Ort gespeichert, an dem die zugrunde liegende Datentransformation oder Asset-Änderung stattfindet.

Mit zunehmender Skalierung moderner Unternehmensdatenarchitekturen überschreiten Pipeline-Workflows häufig Projekt- und Regionsgrenzen. Beispielsweise kann eine BigQuery-Transformationspipeline, die in us-central1 ausgeführt wird, eine Quelltabelle in us-east1 lesen und aggregierte Messwerte in einen Cloud Storage-Bucket in europe-west1 ausgeben.

Um eine umfassende End-to-End-Ansicht des Lebenszyklus Ihrer Daten in diesen unabhängigen geografischen Bereichen zu erhalten, verwenden Sie eine regionsübergreifende Suchmethode für die Herkunft.

Weitere Informationen finden Sie unter Regionsübergreifende Suche nach der Herkunft.

Beschränkungen

Für die Datenherkunft gelten die folgenden Einschränkungen:

  • Alle Informationen zur Herkunft werden nur 30 Tage lang im System aufbewahrt.

  • Informationen zur Herkunft bleiben erhalten, nachdem Sie die zugehörige Datenquelle gelöscht haben. Wenn Sie beispielsweise eine BigQuery-Tabelle löschen, können Sie ihre Herkunft bis zu 30 Tage lang über die API und die Console ansehen.

  • Die Datenherkunft zeichnet keine direkten Informationen zur Herkunft für BigQuery-Routinen automatisch auf. Wenn eine Routine in einer Abfrage verwendet wird, zeichnet die Datenherkunft die Herkunft zwischen den Tabellen auf, die von der Routine als Abhängigkeiten von Tabellen gelesen werden, in die die Abfrage schreibt.

Einschränkungen der Herkunft auf Spaltenebene

Für die Herkunft auf Spaltenebene gelten die folgenden zusätzlichen Einschränkungen:

  • Die Herkunft auf Spaltenebene wird nicht für BigQuery-Ladejobs oder für Routinen erfasst.

  • Die Upstream-Herkunft auf Spaltenebene wird nicht für externe Tabellen erfasst.

  • Die Herkunft auf Spaltenebene wird nicht erfasst,wenn ein Job mehr als 1.500 Links auf Spaltenebene erstellt. In diesen Fällen wird nur die Herkunft auf Tabellenebene erfasst.

  • Die Unterstützung für die Herkunft auf Spaltenebene ist auf Spalten der obersten Ebene in BigQuery-Tabellen beschränkt. Verschachtelte Felder in komplexen Typen (z. B. STRUCT oder JSON) werden nicht unterstützt.

  • Die Suchfunktion mit dem Feldparameter funktioniert nur für Links, die Beziehungen zwischen Spalten explizit definieren. Es werden keine Ergebnisse zurückgegeben oder Links durchlaufen, die nur auf Tabellenebene definiert sind. Es gibt keine Unterstützung für die Suche zwischen Links auf Tabellen- und Spaltenebene (z.B. alle Spalten finden, die mit einem Link auf Tabellenebene verknüpft sind, oder umgekehrt). Die API gibt nur Links zurück, bei denen sowohl Quelle als auch Ziel ein Feld angeben.

  • Die Unterstützung für partitionierte Tabellen ist begrenzt, da Partitionierungsspalten wie _PARTITIONDATE und _PARTITIONTIME im Diagramm der Herkunft nicht erkannt werden.

  • Einschränkungen der Console:

    • Die Durchquerung des Diagramms der Herkunft ist auf eine Tiefe von 20 Ebenen und 10.000 Links in jeder Richtung beschränkt.

Preise

  • Knowledge Catalog verwendet die Premium-Verarbeitungs-SKU, um die Datenherkunft in Rechnung zu stellen. Weitere Informationen finden Sie unter Preise.

  • Wenn Sie die Gebühren für die Datenherkunft von anderen Gebühren in der Premium-Verarbeitungs-SKU von Knowledge Catalog trennen möchten, verwenden Sie im Cloud-Abrechnungsbericht das Label goog-dataplex-workload-type mit dem Wert LINEAGE.

  • Wenn Sie die Data Lineage API Origin sourceType mit einem anderen Wert als CUSTOM aufrufen, fallen zusätzliche Kosten an.

Nächste Schritte