Visualisierung der Datenherkunft in Knowledge Catalog

Mit der Datenherkunft können Sie nachvollziehen, wie sich Daten durch Ihre Systeme bewegen. Dazu werden die Beziehungen zwischen Daten-Assets und den Prozessen, die sie transformieren, verfolgt. Sie können diese Herkunftsinformationen als Diagramme und Listen in der Google Cloud Console aufrufen.

In diesem Dokument wird die Granularität der Datenherkunft auf Tabellen- und Spaltenebene beschrieben. Außerdem finden Sie hier eine Anleitung, wie Sie die Datenherkunft in der Google Cloud Console mithilfe von Diagramm- und Listenansichten untersuchen können.

Weitere Informationen zum zugrunde liegenden Datenmodell finden Sie im Informationsmodell zur Datenherkunft.

Unterschiede zwischen Herkunft auf Tabellen- und Spaltenebene

Mit der Datenherkunft können Sie den Ursprung und den Transformationspfad Ihrer Daten sowohl auf Tabellen- als auch auf Spaltenebene nachvollziehen.

Wann sollte die Herkunft auf Tabellenebene verwendet werden?

Die Herkunft auf Tabellenebene bietet einen allgemeinen Überblick über Ihre Datenpipelines, indem die Beziehungen zwischen ganzen Tabellen dargestellt werden. Verwenden Sie die Herkunft auf Tabellenebene für Aufgaben auf Makroebene, z. B.:

  • Datenerkennung. Ein Analyst, der ein neues Dashboard erstellt, kann die Herkunft auf Tabellenebene verwenden, um eine Übersichtstabelle auf ihre Quellen zurückzuführen und zu bestätigen, dass die Daten aus einer autoritativen Datenbank stammen.

  • Planung der Migration. Ein Datenbankadministrator, der eine Kerndatenbank migrieren möchte, kann die Herkunft auf Tabellenebene verwenden, um alle nachgelagerten Berichte und Dashboards zu identifizieren, die von der Datenbank abhängen.

  • Prüfung und Governance: Ein Data Governor kann die Herkunft auf Tabellen- und Spaltenebene verwenden, um zu prüfen, wie Daten aus einer Tabelle mit personenidentifizierbaren Informationen durch eine Pipeline fließen.

Wann sollte die Herkunft auf Spaltenebene verwendet werden?

Die Lineage auf Spaltenebene bietet eine detailliertere Ansicht, da der Datenfluss zwischen einzelnen Spalten verfolgt wird. In dieser Ansicht stellen die Links innerhalb eines Herkunftsereignisses die Beziehung zwischen einer Quellspalte und einer Zielspalte dar. Jeder dieser Links auf Spaltenebene hat einen Abhängigkeitstyp, der die Transformation beschreibt:

  • Exact copy: Werte werden zwischen Spalten kopiert.

  • Other: andere Arten von Abhängigkeiten zwischen Spalten.

Verwenden Sie die Herkunft auf Spaltenebene für Aufgaben wie die folgenden:

  • Ursachenanalyse Wenn ein Datenanalyst einen falschen Wert in einer Spalte findet, kann er die Herkunft auf Spaltenebene verwenden, um ihn auf die Quellspalten zurückzuführen und die Ursache zu finden.

  • Wirkungsanalyse: Bevor ein Data Engineer eine Spalte verwirft, kann er mithilfe der Herkunft auf Spaltenebene alle nachgelagerten Spalten finden, die von ihr abhängen.

  • Datenquellenüberprüfung für Messwerte: Fachkräfte für Datenanalyse können die Herkunft auf Spaltenebene verwenden, um zu ermitteln, welche Quellspalten zur Berechnung eines Messwerts verwendet werden, ohne eine komplexe SQL-Abfrage entschlüsseln zu müssen.

Die Herkunft auf Spaltenebene wird automatisch für die folgenden BigQuery-Jobtypen erfasst:

Bei Managed Service for Apache Spark-Jobs hängt die Unterstützung vom Typ und der Version der Open Lineage-Abhängigkeit ab, die von Managed Service for Apache Spark verwendet wird. Die unterstützte Mindestversion ist 1.34. Die folgenden Image-Versionen für Managed Service for Apache Spark-Cluster werden mindestens unterstützt:

  • 3.0.3
  • 2.3.22
  • 2.2.75
  • 2.1.107

Die folgenden Managed Service for Apache Spark-Laufzeitversionen werden mindestens unterstützt:

  • 3.0.3
  • 2.3.20

Herkunftsansichten in der Google Cloud Console

Mit der Datenherkunft in der Google Cloud Console können Sie auf zwei Arten mit Herkunftsinformationen interagieren: Sie können das Herkunftsdiagramm in mehreren verfügbaren Regionen untersuchen oder den Bereich Herkunfts-Explorer verwenden, um eine fokussiertere Ansicht innerhalb einer bestimmten Region zu erhalten. Sie können auch zwischen der Diagrammansicht und der Listenansicht wechseln, um den Datenfluss auf verschiedenen Detailebenen zu analysieren.

Lineage-Ansichten sind nur für Knowledge Catalog-Einträge (früher Dataplex Universal Catalog), BigQuery-Assets und Vertex AI-Ressourcen (Modelle, Datasets, Feature Store-Ansichten und Featuregruppen) verfügbar.

Informationen zu den verschiedenen Ansichten, die in diesem Dokument erläutert werden, finden Sie unter Data Lineage mit Google Cloud -Systemen verwenden.

Diagrammansicht der Herkunft

In der Ansicht Grafik werden der Daten-Asset-Fluss und die Beziehungen zwischen Systemen und Regionen visualisiert. So können Sie die Datenarchitektur besser verstehen, Ursprünge und Ziele nachverfolgen und Muster erkennen. Diese Herkunftsdiagramme werden vom Data Lineage API-Dienst für einen bestimmten Knowledge Catalog-Eintrag generiert. Sie zeigen, wie Daten im Laufe der Zeit transformiert werden, und stellen Upstream-, Downstream- oder beide Abläufe von einem ausgewählten Stammeintrag dar.

Die Data Lineage API empfängt automatisch Asset-Informationen von unterstützten Systemen und über API-Aufrufe für benutzerdefinierte Quellen.

Die wichtigsten Elemente im Diagramm sind:

  • Knoten. Knoten stellen die Datenentitäten dar. In einer Ansicht auf Tabellenebene zeigt ein Knoten den Tabellennamen und die zugehörigen Spalten an. In einer Ansicht auf Spaltenebene stellt jeder Knoten eine bestimmte Tabelle und Spalte dar.

  • Kanten: Kanten sind die Linien, die Knoten verbinden und die Prozesse darstellen, die zwischen ihnen stattfinden. Die Darstellung einer Kante hängt von der Herkunftsansicht ab:

    • In der Ansicht auf Tabellenebene haben Kanten Symbole, die Datentransformationen angeben.
    • In der Ansicht auf Spaltenebene haben Kanten Labels, die auf Datentransformationen hinweisen. Ein Kantenlabel könnte beispielsweise Exact copy lauten, um zu beschreiben, wie eine Quellspalte in eine Zielspalte kopiert wurde.

  • Prozesssymbole und ‑labels: Auf den Kanten werden Prozesssymbole und Labels angezeigt, die weitere Informationen zur Transformation enthalten.

    • Symbole: Symbole repräsentieren den Transformationsprozess. Wenn Sie den Graphen manuell untersuchen, stellen Symbole an Kanten das Quellsystem des Prozesses dar (z. B. BigQuery oder Vertex AI). Wenn mehrere Prozesse beteiligt sind, wird ein Symbol für „mehrere Prozesse“ angezeigt. Wenn das Quellsystem des Prozesses unbekannt ist, wird ein Zahnradsymbol verwendet. Wenn Sie Filter anwenden, wird für alle Prozesse ein Zahnradsymbol verwendet.
    • Labels In der Lineage-Ansicht auf Spaltenebene wird der Typ der Abhängigkeit zwischen Spalten mit einem Label beschrieben: Exact copy oder Other.

Lineage-Grafik ansehen

Wenn Sie den Tab Herkunft öffnen, wird die Standardansicht Grafik angezeigt. Die Standardansicht bietet einen allgemeinen Überblick über Systeme und Regionen, wobei die manuelle und inkrementelle Diagrammerweiterung jeweils fünf Knoten laden kann. Prozesssymbole an Kanten stellen das Quellsystem dar oder weisen auf mehrere Prozesse hin.

Standardmäßiges Herkunftsdiagramm im Knowledge Catalog, das Datentransformationen auf Tabellenebene in Google Cloud-Systemen wie BigQuery zeigt.
Standardansicht des Herkunftsdiagramms

Datenherkunftsansichten filtern und hervorheben

Bei großen und komplexen Herkunftsdiagrammen können Sie Filter oder Hervorhebungen anwenden, um visuelles Rauschen zu reduzieren und sich auf die Untersuchung der Herkunft innerhalb einer bestimmten Region zu konzentrieren. Verwenden Sie den Bereich Lineage Explorer, um Ihre Kriterien festzulegen. Wenn Filter angewendet werden, wird oben in den Ansichten Diagramm und Liste eine Filterleiste angezeigt, in der die aktiven Filter als Chips dargestellt werden.

Sie können einen der folgenden Modi auswählen, um die Visualisierung der Herkunft zu verfeinern:

  • Hervorheben: Übereinstimmende Knoten werden visuell mit Farben und Rahmen hervorgehoben, während das gesamte Diagramm sichtbar bleibt. So können Sie bestimmte Assets finden, ohne den Gesamtkontext des Herkunftsdiagramms zu verlieren.

  • Filter: Nicht übereinstimmende Knoten werden ausgeblendet und das Diagramm wird vereinfacht, sodass nur übereinstimmende Knoten und die Pfade zwischen ihnen angezeigt werden. Alle nicht übereinstimmenden Assets, die Teil eines Pfads zwischen übereinstimmenden Knoten sind, werden in minimierten Knoten gruppiert. Dieser Modus ist nützlich, um die Komplexität zu reduzieren und sich nur auf relevante Assets und ihre direkten Beziehungen zu konzentrieren.

Verwenden Sie die folgenden Kriterien, um die Herkunft zu filtern oder hervorzuheben:

  • Projekt: Nach der Google Cloud -Projekt-ID filtern.
  • System: Filtert nach dem System, in dem sich das Daten-Asset befindet (z. B. BigQuery oder Cloud Storage).
  • Entitätsname: Nach Asset-Name filtern. Sie können * für Platzhaltersuchen verwenden (nur Präfix und Suffix, z. B. *table oder test*).
  • Untertyp: Nach Asset-Untertyp filtern (z. B. dashboard oder model).
  • Spaltenname: Filtern Sie die Herkunft nach Spaltenname, um Details auf Spaltenebene zu sehen.
  • Richtung: Upstream- oder Downstream-Herkunft oder beides anzeigen.
  • Zeitraum: Filtern Sie die Herkunft nach einer bestimmten Start- oder Endzeit.
  • Abhängigkeitstyp: Filtern Sie die Lineage auf Spaltenebene nach Abhängigkeitstyp. Beispiele für verfügbare Optionen sind All oder Exact copy.

Wenn Sie die Option Temporäre BigQuery-Tabellen ausblenden auswählen, werden von BigQuery erstellte temporäre Assets ausgeblendet, z. B. Tabellen in Datasets mit Namen, die mit _script beginnen.

Der Bereich „Lineage-Explorer“ mit Filtern für Lineage auf Spaltenebene, Richtung und Zeitraum.
Bereich „Lineage Explorer“

In der fokussierten Ansicht auf dem Tab Grafik wird die Grafik automatisch auf bis zu drei Ebenen erweitert und alle Herkunftsinformationen, die den Filterkriterien entsprechen, werden geladen. Der Lineage Explorer ruft bis zu 10 Ebenen des Lineage-Diagramms ab, aber standardmäßig werden nur die ersten drei Ebenen maximiert. Sie können die Grafik maximieren, um die verbleibenden Ebenen zu sehen, indem Sie auf die Pfeile klicken.

Die fokussierte Ansicht unterstützt sowohl die Herkunft auf Tabellen- als auch auf Spaltenebene, einschließlich der Pfadvisualisierung von jedem ausgewählten Knoten zurück zum Stamm. In dieser fokussierten Ansicht wird für alle Prozesse ein allgemeines Zahnradsymbol verwendet.

Eine fokussierte Ansicht des Herkunftsdiagramms mit gefilterten Daten-Assets.
Fokussierte Ansicht des Herkunftsdiagramms auf Tabellenebene

Verwenden Sie eine der folgenden Methoden, um die Herkunft auf Spaltenebene aufzurufen:

  • Klicken Sie in einer fokussierten Diagrammansicht auf das Spaltensymbol in einer Tabelle, um zur Herkunft auf Spaltenebene zu wechseln.

    Symbol, mit dem zur Herkunft auf Spaltenebene gewechselt wird.
    Spaltensymbol

  • Wenden Sie in der Standardansicht Grafik oder in der fokussierten Ansicht Grafik einen Spaltennamen im Bereich Lineage Explorer an.

Ein Lineage-Diagramm, das die Beziehungen zwischen Tabellen auf Spaltenebene zeigt.
Herkunftsansicht auf Spaltenebene

Wenn Sie alle Filter entfernen und zur Standardansicht zurückkehren möchten, klicken Sie auf Zurücksetzen.

Informationen zum Wechseln zwischen Hervorhebungs- und Filtermodus finden Sie unter Herkunftsvisualisierung verfeinern.

Details des Lineage-Knotens ansehen

Klicken Sie auf einen Knoten, um die Details aufzurufen. Eine Seitenleiste mit detaillierten Informationen zum ausgewählten Daten-Asset wird angezeigt. Wenn Sie beispielsweise in einer Herkunftsansicht auf Tabellenebene auf einen Knoten klicken, werden Informationen wie der vollständig qualifizierte Name, der Typ und andere relevante Attribute des Assets angezeigt.

Detailbereich für einen ausgewählten Knoten im Herkunftsdiagramm.
Knotendetails

Verlauf der Herkunftsausführungen ansehen

Ein vollständiges Herkunftsdiagramm ist das Ergebnis von Ausführungen aus vielen verschiedenen Jobs. Mit jedem Job wird ein bestimmter Link im Diagramm erstellt. Mehrere Ausführungen werden als neue Ausführungen protokolliert, ändern aber nicht das statische Erscheinungsbild des Diagramms.

Klicken Sie im Diagramm auf eine Kante mit einem Prozess, um die Details dieser einzelnen Ausführungen aufzurufen. Klicken Sie im Bereich Abfrage auf den Tab Ausführungen.

Der Bereich „Abfrage“ mit den Tabs „Details“ und „Ausführungen“.
Abfragebereich

Datentransformationslogik prüfen

Wenn Sie die Geschäftslogik einer Transformation verstehen möchten, ohne nach dem Code suchen zu müssen, können Sie sich die genaue SQL-Abfrage ansehen, die ausgeführt wurde. Klicken Sie auf eine Kante mit einem Prozess im Diagramm, um den SQL-Code aufzurufen. Klicken Sie in der Seitenleiste, die angezeigt wird, auf den Tab Details.

Data-Lineage-Pfad visualisieren

Mit der Visualisierung des Herkunftspfads können Sie den Pfad von einem beliebigen ausgewählten Knoten im Diagramm zurück zum Stammeintrag verfolgen. Wenn Sie einen Knoten auswählen und auf Pfad visualisieren klicken, werden im Diagramm nur die Knoten und Prozesse hervorgehoben, die den direkten Lineage-Pfad zum Stammeintrag bilden.

Wenn Sie die Visualisierung des Herkunftspfads sehen möchten, wenden Sie im Bereich Herkunfts-Explorer einen Filter an, um eine fokussierte Diagrammansicht zu erstellen. Wählen Sie dann in der fokussierten Diagrammansicht einen Knoten aus. Klicken Sie im Detailbereich für den ausgewählten Knoten auf Pfad visualisieren.

Die Visualisierung des Herkunftspfads ist für die Herkunft auf Tabellen- und Spaltenebene verfügbar. Sie können die Visualisierung des Herkunftspfads auch in der Listenansicht verwenden.

Schaltfläche zur Visualisierung des Herkunftspfads in der Diagrammansicht der Herkunft auf Spaltenebene.
Button zur Visualisierung des Herkunftspfads in der Diagrammansicht der Herkunft auf Spaltenebene

Lineage-Listenansicht

Die Listenansicht bietet eine tabellarische, strukturierte Darstellung der Herkunft, die mit der Diagrammansicht synchronisiert ist. Sie können damit Daten-Assets sortieren, filtern und herunterladen. Diese Ansicht eignet sich ideal, um Quell-Ziel-Beziehungen zu analysieren, beteiligte Assets im Detail zu betrachten und Herkunftsdaten zu exportieren.

Die Listenansicht ist sowohl für die Herkunft auf Tabellen- als auch auf Spaltenebene verfügbar. Sie können zwischen den folgenden detaillierten und vereinfachten Listenansichten wechseln:

  • Vereinfachte Listenansicht: Diese Ansicht ist nützlich, um eine komprimierte, eindeutige Liste aller Assets zu erhalten, die an der Herkunft beteiligt sind. Die Spalten wie System, Projekt, Entität, FQN (voll qualifizierter Name), Richtung und Tiefe helfen Ihnen, alle Daten-Assets in der Herkunft, ihren Speicherort, ihre ursprüngliche Quelle und ihre Entfernung vom zentralen Asset zu sehen, das analysiert wird. Sie eignet sich ideal für eine allgemeine Übersicht über alle Entitäten, die am Datenfluss beteiligt sind. Dies ist die Standardansicht.

  • Detaillierte Listenansicht: Diese Ansicht ist für die Analyse einzelner Quell-Ziel-Beziehungen gedacht. Wenn Sie separate Spalten für Quelle und Ziel angeben, können Sie jeden spezifischen Link zur Datentransformation sehen. Diese Ansicht ist ideal für Aufgaben, die ein tiefes Verständnis dafür erfordern, wie Daten zwischen bestimmten Asset-Paaren übertragen werden, z. B. für die Prüfung einzelner Datenflüsse, das Verständnis von Abhängigkeiten zwischen Tabellen oder den Export detaillierter Herkunftsaufzeichnungen für jede Verbindung.

Listenansicht der Herkunft auf Tabellenebene

In dieser Ansicht werden die Beziehungen zwischen Tabellen als Ganzes dargestellt. Wählen Sie mithilfe der Filter die gewünschten Spalten aus.

Eine Tabelle mit der vereinfachten Listenansicht der Herkunft auf Tabellenebene.
Vereinfachte Listenansicht auf Tabellenebene

Maximieren Sie die folgenden Abschnitte, um die in den Listenansichten auf Tabellenebene verfügbaren Spalten aufzurufen.

In der vereinfachten Listenansicht auf Tabellenebene verfügbare Spalten

  • System: das System, in dem sich die Datenressource befindet. Beispiele hierfür sind [BigQuery](/bigquery/docs).
  • Projekt: Die Google Cloud -Projekt-ID, die das Daten-Asset enthält.
  • Entität: der Name des Daten-Assets. Beispiele sind ein Tabellenname.
  • FQN: der voll qualifizierte Name (FQN) der ursprünglichen Quellentität oder -spalte.
  • Richtung: Gibt an, ob das aufgeführte Asset im Herkunftsfluss vorgelagert (Quelle) oder nachgelagert (Ziel) ist.
  • Tiefe: Die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.

In der detaillierten Listenansicht auf Tabellenebene verfügbare Spalten

  • Quellsystem: Das System, in dem sich das Quelldaten-Asset befindet. Beispiele hierfür sind BigQuery.
  • Quellprojekt: Die Google Cloud -Projekt-ID, die das Quelldaten-Asset enthält.
  • Quelle: Der Name des Quelldaten-Assets. Beispiele hierfür sind ein Tabellenname.
  • Voll qualifizierter Name der Quelle: Der voll qualifizierte Name der Quellentität.
  • Zielsystem: das System, in dem sich die Zieldatenressource befindet. Beispiele hierfür sind BigQuery.
  • Zielprojekt: Die Google Cloud -Projekt-ID, die das Ziel-Daten-Asset enthält.
  • Ziel: Der Name des Ziel-Daten-Assets. Beispiele hierfür sind Tabellennamen.
  • Voll qualifizierter Name des Ziels: der voll qualifizierte Name der Zielentität.
  • Richtung: Gibt an, ob das aufgeführte Asset im Herkunftsfluss vorgelagert (Quelle) oder nachgelagert (Ziel) ist.
  • Tiefe: Die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.

Listenansicht der Herkunft auf Spaltenebene

In dieser Ansicht werden die Beziehungen zwischen einzelnen Spalten in den Quell- und Zieltabellen angezeigt. Wählen Sie mithilfe der Filter die gewünschten Spalten aus.

Eine Tabelle mit der vereinfachten Listenansicht der Herkunft auf Spaltenebene.
Vereinfachte Listenansicht auf Spaltenebene

Maximieren Sie die folgenden Abschnitte, um die in den Listenansichten auf Spaltenebene verfügbaren Spalten aufzurufen.

In der vereinfachten Listenansicht auf Spaltenebene verfügbare Spalten

  • System: das System, in dem sich das Daten-Asset befindet. Beispiele hierfür sind BigQuery.
  • Projekt: Die Google Cloud -Projekt-ID, die das Daten-Asset enthält.
  • Entität: der Name des Daten-Assets. Beispiele sind ein Tabellenname.
  • Spalte: die im Bereich Lineage Explorer ausgewählte Spalte innerhalb der Entität.
  • FQN: der voll qualifizierte Name (FQN) der ursprünglichen Quellentität oder -spalte.
  • Richtung: Gibt an, ob das aufgeführte Asset im Herkunftsfluss vorgelagert (Quelle) oder nachgelagert (Ziel) ist.
  • Tiefe: Die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.

In der detaillierten Listenansicht auf Spaltenebene verfügbare Spalten

  • Quellsystem: Das System, in dem sich das Quelldaten-Asset befindet.
  • Quellprojekt: Die Google Cloud -Projekt-ID, die das Quelldaten-Asset enthält.
  • Voll qualifizierter Name der Quelle: Der voll qualifizierte Name der Quellspalte.
  • Zielsystem: das System, in dem sich die Zieldatenressource befindet.
  • Zielprojekt: Die Google Cloud -Projekt-ID, die das Ziel-Daten-Asset enthält.
  • Voll qualifizierter Name des Ziels: der voll qualifizierte Name der Zielspalte.
  • Richtung: Gibt an, ob der Datenfluss Upstream oder Downstream ist.
  • Abhängigkeitstypen: Beschreibt die Art der Beziehung zwischen den Spalten.
  • Tiefe: die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.

Nächste Schritte