Data Lineage

Die Datenherkunft ist eine visuelle Darstellung, die den gesamten Lebenszyklus Ihrer Daten verfolgt. Sie zeigt, woher Ihre Daten stammen (der Ursprung), wohin sie übertragen werden (die Ziele) und alle Änderungen oder Transformationen, die dabei vorgenommen werden.

Sie können diese vollständige Darstellung des Wegs Ihrer Daten direkt in der Google Cloud Console für Assets ansehen, die in Produkten wie Knowledge Catalog (ehemals Dataplex Universal Catalog), BigQuery und Vertex AI erstellt wurden. Fortgeschrittene Nutzer können diese Informationen auch mit der Data Lineage API abrufen.

Warum Sie die Datenherkunft benötigen

Moderne Unternehmen verschieben und ändern ständig große Datenmengen. Beispielsweise werden Rohdaten zu Kundenkäufen in Berichte, Dashboards und Machine-Learning-Modelle umgewandelt. Diese Komplexität stellt Ihr Team vor große Herausforderungen:

  • Vertrauen und Überprüfung: Datennutzer haben oft Schwierigkeiten, zu bestätigen, dass die Berichte und Zahlen, die sie sehen, korrekt sind und aus einer vertrauenswürdigen Quelle stammen.

  • Fehlerbehebung: Wenn in einem Abschlussbericht ein Fehler auftritt, kann es für Datenteams schwierig und zeitaufwendig sein, das Problem in jedem Schritt bis zur Ursache zurückzuverfolgen.

  • Änderungsmanagement: Bevor Daten geändert oder gelöscht werden (z. B. eine Spalte in einer Tabelle), müssen Teams alle nachgelagerten Berichte oder Modelle kennen, die darauf basieren, um zu vermeiden, dass kritische Systeme beschädigt werden.

  • Compliance: Führungskräfte benötigen Einblick in die Verwendung vertraulicher Daten (z. B. Kunden- oder Finanzinformationen) im gesamten Unternehmen, um die gesetzlichen Anforderungen zu erfüllen.

Die Datenherkunft löst diese Probleme, indem sie einen klaren, visuellen und dokumentierten Weg Ihrer Daten bietet. So können Sie Datenquellen schnell nachvollziehen, Fehler verfolgen, die Auswirkungen von Änderungen bewerten und die Compliance einhalten.

Workflow für die Datenherkunft

Der Workflow für die Datenherkunft umfasst die folgenden Schritte:

  1. Datenquellen und Aufnahme: Informationen zur Herkunft aus Ihren Datenquellen initiieren den gesamten Prozess. Weitere Informationen finden Sie unter Quellen der Herkunft.

    • Google Cloud Dienste: Wenn die Data Lineage API aktiviert ist, melden unterstützte Dienste wie BigQuery und Dataflow automatisch Herkunftsereignisse, wenn Daten verschoben oder transformiert werden.

    • Benutzerdefinierte Quellen: Für alle Systeme, die nicht automatisch durch Google Cloud Integrationen unterstützt werden, können Sie die Data Lineage API verwenden, um Informationen zur Herkunft manuell aufzuzeichnen. Wir empfehlen, Ereignisse zu importieren, die gemäß dem OpenLineage-Standard formatiert sind.

  2. Plattform für die Herkunft: Auf dieser zentralen Plattform werden alle Herkunftsdaten aufgenommen, modelliert und gespeichert. Weitere Informationen finden Sie unter Herkunftsmodell und Granularität.

    • Data Lineage API: Diese API dient als einziger Einstiegspunkt für alle eingehenden Informationen zur Herkunft. Sie verwendet ein hierarchisches Datenmodell, das aus drei Kernkonzepten besteht: Prozess, Ausführung und Ereignis.

    • Verarbeitung und Speicherung: Die Plattform verarbeitet eingehende Daten und speichert sie in zuverlässigen, für Abfragen optimierten Datenbanken.

  3. Nutzererfahrung: Sie können auf zwei Arten mit den gespeicherten Informationen zur Herkunft interagieren:

    • Visuelle Analyse: In der Google Cloud Console ruft ein Front-End-Dienst die Herkunftsdaten ab und rendert sie als interaktives Diagramm oder als Liste. Dies wird für Knowledge Catalog, BigQuery und Vertex AI unterstützt (für Modelle, Datasets, Ansichten des Feature Store und Feature-Gruppen). So können Sie den Weg Ihrer Daten visuell nachvollziehen. Weitere Informationen finden Sie unter Herkunftsansichten in der Google Cloud Console.

    • Programmatischer Zugriff: Mit einem API-Client können Sie direkt mit der Data Lineage API kommunizieren, um die Verwaltung der Herkunft zu automatisieren. So können Sie Informationen zur Herkunft aus benutzerdefinierten Quellen schreiben. Außerdem können Sie die gespeicherten Herkunftsdaten lesen und abfragen, um sie in anderen Anwendungen zu verwenden oder benutzerdefinierte Berichte zu erstellen.

Quellen der Herkunft

Sie können Informationen zur Herkunft in Knowledge Catalog auf folgende Arten hinzufügen:

  • Automatisch aus integrierten Google Cloud Diensten
  • Manuell mit der Data Lineage API für benutzerdefinierte Quellen
  • Durch Importieren von Ereignissen aus OpenLineage

BigQuery

Wenn Sie die Datenherkunft in Ihrem BigQuery-Projekt aktivieren, zeichnet Knowledge Catalog automatisch Informationen zur Herkunft für Folgendes auf:

BigQuery-Kopier-, ‑Abfrage- und ‑Ladejobs werden als Prozesse dargestellt.

Klicken Sie im Herkunftsdiagramm auf das Symbol Prozessdetails Symbol „Prozessdetails“, um die Details des Prozesses aufzurufen.

Jeder Prozess enthält die BigQuery-job_id in der Attributliste für den letzten BigQuery-Job.

Weitere Dienste

Die Datenherkunft unterstützt die Einbindung in die folgenden Google Cloud Dienste:

Datenherkunft für benutzerdefinierte Datenquellen

Mit der Data Lineage API können Sie Informationen zur Herkunft für alle Datenquellen manuell aufzeichnen, die von integrierten Systemen nicht unterstützt werden.

Knowledge Catalog kann Herkunftsdiagramme für manuell aufgezeichnete Herkunft erstellen, wenn Sie ein fullyQualifiedName verwenden, das mit den vollständig qualifizierten Namen vorhandener Knowledge Catalog-Einträge übereinstimmt. Wenn Sie die Herkunft für eine benutzerdefinierte Datenquelle aufzeichnen möchten, müssen Sie zuerst einen benutzerdefinierten Eintrag erstellen.

Jeder Prozess für eine benutzerdefinierte Datenquelle kann in der Liste der Attribute einen sql-Schlüssel enthalten. Der Wert dieses Schlüssels wird verwendet, um im Detailbereich des Herkunftsdiagramms eine Codehervorhebung zu rendern. Die SQL-Anweisung wird so angezeigt, wie sie angegeben wurde. Sie sind dafür verantwortlich, vertrauliche Informationen herauszufiltern. Bei dem Schlüsselnamen sql wird zwischen Groß- und Kleinschreibung unterschieden.

OpenLineage

Wenn Sie OpenLineage bereits verwenden, um Informationen zur Herkunft aus anderen Datenquellen zu erfassen, können Sie OpenLineage-Ereignisse in Knowledge Catalog importieren und in der Google Cloud Console ansehen. Weitere Informationen finden Sie unter In OpenLineage einbinden.

Automatisierte Nachverfolgung der Datenherkunft

Wenn Sie die Data Lineage API aktivieren, Google Cloud melden Systeme, die die Datenherkunft unterstützen, ihre Datenübertragung. Jedes integrierte System kann Informationen zur Herkunft für einen anderen Bereich von Datenquellen senden.

Aufnahme der Herkunft steuern

Sie können steuern, welche Google Cloud Dienste Herkunftsdaten generieren, indem Sie die Aufnahme der Herkunft für bestimmte Integrationen aktivieren oder deaktivieren. Sie können die Aufnahme der Herkunft auf Organisations-, Ordner- und Projektebene steuern. In der Vorabversion unterstützt diese Funktion die Konfiguration der Aufnahme der Herkunft nur für Managed Service for Apache Spark. Wenn Sie die Aufnahme der Herkunft für Managed Service for Apache Spark deaktivieren, wird sie auch für Managed Service for Apache Spark deaktiviert.

Knowledge Catalog wertet die Ressourcenhierarchie (Projekt, dann Ordner, dann Organisation) aus, um die effektive Konfiguration zu ermitteln. Die erste Konfiguration, die auf einer beliebigen Ebene in dieser Aufwärtsbewegung explizit festgelegt wird, wird wirksam.

  • Wenn Sie eine Konfiguration auf Projektebene festlegen, verwendet Knowledge Catalog diese.
  • Wenn auf Projektebene keine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Konfiguration aus dem nächstgelegenen übergeordneten Ordner mit einer expliziten Konfiguration.
  • Wenn auf Projekt- oder Ordnerebene keine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Konfiguration auf Organisationsebene.
  • Wenn auf keiner dieser Ebenen eine Konfiguration festgelegt ist, verwendet Knowledge Catalog die Standardeinstellung des Systems für die Integration. Die Standardeinstellung für die Konfiguration der Aktivierung der Herkunft kann Aktiviert oder Deaktiviert sein. Für Managed Service for Apache Spark ist die Aufnahme der Herkunft standardmäßig Aktiviert , wenn die Data Lineage API aktiv ist.

Betrachten Sie beispielsweise eine Organisation test-org mit den folgenden Konfigurationen für die Herkunft von Managed Service for Apache Spark:

  • Organisation test-org: Aktiviert
    • Ordner folder-a: Deaktiviert
      • Projekt project-a: Keine Konfiguration festgelegt
    • Ordner folder-b: Aktiviert
      • Projekt project-b: Deaktiviert

In diesem Szenario gelten die folgenden Einstellungen:

  • Für project-a ist die Aufnahme der Herkunft Deaktiviert. Knowledge Catalog beginnt mit der Auswertung von project-a, findet keine Konfiguration, wechselt zu folder-a und wendet die Deaktiviert Konfiguration aus folder-a an.
  • Für project-b ist die Aufnahme der Herkunft Deaktiviert. Knowledge Catalog beginnt mit der Auswertung von project-b und wendet die Konfiguration Deaktiviert an, wodurch die Einstellungen für folder-b und test-org überschrieben werden.

Durch die Steuerung der Generierung von Herkunftsdaten können Sie Kosten und Governance-Richtlinien verwalten. Sie können beispielsweise die Erfassung der Herkunft für Entwicklungsprojekte oder Arbeitslasten mit hohem Volumen deaktivieren, für die keine Nachverfolgung der Herkunft erforderlich ist.

Informationen zum Konfigurieren und Steuern der Aufnahme der Herkunft finden Sie unter Aufnahme der Herkunft für einen Dienst steuern.

Einschränkungen

Für die Datenherkunft gelten die folgenden Einschränkungen:

  • Alle Informationen zur Herkunft werden nur 30 Tage lang im System aufbewahrt.

  • Informationen zur Herkunft bleiben erhalten, nachdem Sie die zugehörige Datenquelle gelöscht haben. Wenn Sie beispielsweise eine BigQuery-Tabelle löschen, können Sie ihre Herkunft bis zu 30 Tage lang über die API und die Console ansehen.

  • Bei der Datenherkunft werden Informationen zur direkten Herkunft für BigQuery-Routinen nicht automatisch aufgezeichnet. Wenn eine Routine in einer Abfrage verwendet wird, zeichnet die Datenherkunft die Herkunft zwischen den Tabellen auf, die von der Routine als Abhängigkeiten von Tabellen gelesen werden, in die die Abfrage schreibt.

Einschränkungen der Herkunft auf Spaltenebene

Für die Herkunft auf Spaltenebene gelten die folgenden zusätzlichen Einschränkungen:

  • Die Herkunft auf Spaltenebene wird nicht für BigQuery-Ladejobs oder für Routinen erfasst.

  • Die Upstream-Herkunft auf Spaltenebene wird nicht für externe Tabellen erfasst.

  • Die Herkunft auf Spaltenebene wird nicht erfasst,wenn durch einen Job mehr als 1.500 Links auf Spaltenebene erstellt werden. In diesen Fällen wird nur die Herkunft auf Tabellenebene erfasst.

  • Es gibt keine API zum Erstellen, Lesen, Aktualisieren, Löschen oder Suchen nach der Herkunft auf Spaltenebene.

  • Die Unterstützung für partitionierte Tabellen ist begrenzt, da Partitionierungsspalten wie _PARTITIONDATE und _PARTITIONTIME im Herkunftsdiagramm nicht erkannt werden.

  • Einschränkungen der Console:

    • Die Durchquerung des Herkunftsdiagramms ist auf eine Tiefe von 20 Ebenen und 10.000 Links in jeder Richtung begrenzt.

    • Die Herkunft auf Spaltenebene wird nur aus der Region abgerufen, in der sich die Stammtabelle befindet. Die regionenübergreifende Herkunft wird in der Diagrammansicht nicht unterstützt.

Preise

  • Für die Datenherkunft wird in Knowledge Catalog die Premium-Verarbeitungs-SKU verwendet. Weitere Informationen finden Sie unter Preise.

  • Wenn Sie die Gebühren für die Datenherkunft von anderen Gebühren in der Premium-Verarbeitungs-SKU von Knowledge Catalog trennen möchten, verwenden Sie im Cloud-Abrechnungsbericht das Label goog-dataplex-workload-type mit dem Wert LINEAGE.

  • Wenn Sie die Data Lineage API Origin sourceType mit einem anderen Wert als CUSTOM aufrufen, fallen zusätzliche Kosten an.

Nächste Schritte