Mit der Datenherkunft können Sie nachvollziehen, wie Daten durch Ihre Systeme fließen, indem Sie die Beziehungen zwischen Daten-Assets und den Prozessen, die sie transformieren, nachverfolgen. Sie können diese Informationen zur Herkunft in der Google Cloud -Konsole als Diagramme und Listen ansehen.
Dieses Dokument bietet einen Überblick über das Datenherkunftsmodell, Details zur Granularität der Herkunft auf Tabellen- und Spaltenebene sowie eine Anleitung zur Verwendung von Diagramm- und Listenansichten zum Untersuchen der Datenherkunft.
Informationsmodell für die Datenherkunft
Die Datenherkunft ist ein Datensatz, in dem die Transformation von Daten aus Quellen in Ziele aufgezeichnet wird. Die Data Lineage API erfasst diese Informationen und organisiert sie in einem hierarchischen Datenmodell, in dem die Konzepte „Prozesse“, „Ausführungen“ und „Ereignisse“ verwendet werden.
- Process (Prozess): eine Definition für die Datentransformation.
- Ausführung: Eine Ausführung eines Prozesses.
- Ereignis: Ein Datensatz für die Datenverschiebung während eines Laufs.
Prozess
Ein Prozess ist die Definition eines Datentransformationsvorgangs für ein bestimmtes System. Für die BigQuery-Abstammung ist ein Prozess ein Job eines unterstützten Jobtyps. Alle Ausführungen derselben SQL-Abfrage sind mit einem einzelnen Prozess verknüpft. So können Sie jede Instanz nachverfolgen, in der eine bestimmte Transformationslogik verwendet wird.
Die folgende SQL-Abfrage ist beispielsweise ein Prozess. Mit dieser Abfrage wird eine Tabelle erstellt, in der die Gesamtzahl der Fahrten für jeden Anbieter aus zwei Quelltabellen gezählt wird.
CREATE TABLE `dataplex-docs.data_lineage_demo.total_green_trips_22_21`
AS
SELECT
vendor_id,
COUNT(*) AS number_of_trips
FROM
(
SELECT vendor_id
FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2022`
UNION ALL
SELECT vendor_id
FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2021`
)
GROUP BY
vendor_id;
Das REST-Ressourcennamenformat für einen Prozess ist projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID.
Beispiel: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6
Weitere Informationen zur Ressource process finden Sie in der Referenz zur Prozessressource.
Ausführen
Eine Ausführung ist eine einzelne Ausführung eines Prozesses. Prozesse können mehrere Ausführungen haben.
Jeder Lauf ist ein eindeutiger Vorgang, der durch eine startTime, eine endTime und einen Endstatus wie COMPLETED, FAILED oder ABORTED gekennzeichnet ist.
Wenn Sie beispielsweise die SQL-Abfrage aus dem Abschnitt Prozess um 9:00 Uhr ausführen, wird ein bestimmter Lauf erstellt. Wenn Sie dieselbe Abfrage um 10:00 Uhr noch einmal ausführen, wird ein neuer, separater Lauf erstellt. Beide Läufe sind mit demselben übergeordneten Prozess verknüpft.
Das REST-Ressourcennamenformat für einen Lauf zeigt, dass er ein untergeordnetes Element eines Prozesses ist: projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID/runs/RUN_ID.
Beispiel: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6/runs/83dd03a51cd2ac80f465c9e267a950b1
Weitere Informationen zur run-Ressource finden Sie in der Referenz zur Ausführungsressource.
Ereignis
Ein Ereignis stellt einen Zeitpunkt dar, zu dem Daten durch eine Datentransformation zwischen einer Quell- und einer Zielentität verschoben werden. Ein Ereignis ist ein detaillierter Datensatz einer bestimmten Datenübertragung, der Quell- und Zieltabelle für einen bestimmten Lauf verbindet. Ein Ereignis kann auch mehrere Quellen und Ziele haben.
Wenn bei Ihrem Lauf beispielsweise die im Abschnitt Prozess beschriebene SQL-Abfrage ausgeführt wird, wird in einem Lineage-Ereignis aufgezeichnet, dass die Quelltabellen nyc_green_trips_2021 und nyc_green_trips_2022 zum Erstellen der Zieltabelle total_green_trips_22_21 verwendet werden.
Ein Lineage-Ereignis enthält eine Liste von Links, die die Quelle und das Ziel definieren. Ereignisse werden verwendet, um Herkunftsgraphen zu erstellen. In der Google Cloud -Konsole werden diese Abstammungsdiagramme angezeigt, einzelne Ereignisse werden jedoch nicht direkt dargestellt. Mit der Data Lineage API können Sie Ereignisse erstellen, lesen und löschen, aber nicht aktualisieren.
Jede Verknüpfung in einem Ereignis definiert einen einzelnen Datenfluss von einer Quell- zu einer Zielentität. Eine Entität ist ein Verweis auf ein Daten-Asset, z. B. eine BigQuery-Tabelle, und wird durch ihren vollständig qualifizierten Namen (Fully Qualified Name, FQN) identifiziert. Ein einzelnes Ereignis kann mehrere Links enthalten. Das ist bei Vorgängen wie Tabellenverknüpfungen üblich, bei denen mehrere Quellen zu einem Ziel beitragen.
Weitere Informationen dazu, wie Ereignisse die Herkunft auf Spaltenebene unterstützen, finden Sie unter Herkunft auf Spaltenebene.
Detaillierungsgrad der Herkunft
Mit Data Lineage können Sie den Ursprung und den Transformationspfad Ihrer Daten sowohl auf Tabellen- als auch auf Spaltenebene nachvollziehen.
Zeilen auf Tabellenebene
Der Lineage-Überblick auf Tabellenebene bietet einen allgemeinen Überblick über Ihre Datenpipelines, indem die Beziehungen zwischen ganzen Tabellen dargestellt werden. Verwenden Sie die Zeilen auf Tabellenebene für Makroaufgaben wie die folgenden:
Datenerkennung: Ein Analyst, der ein neues Dashboard erstellt, kann die Herkunft auf Tabellenebene verwenden, um eine Zusammenfassungstabelle auf ihre Quellen zurückzuführen und zu bestätigen, dass die Daten aus einer autoritativen Datenbank stammen.
Planung der Migration. Ein Datenbankadministrator, der die Migration einer wichtigen Datenbank plant, kann die Herkunft auf Tabellenebene verwenden, um alle nachgelagerten Berichte und Dashboards zu ermitteln, die von der Datenbank abhängen.
Prüfung und Governance: Ein Data Governor kann die Herkunft auf Tabellen- und Spaltenebene verwenden, um zu prüfen, wie Daten aus einer Tabelle, die personenidentifizierbare Informationen enthält, durch eine Pipeline fließen.
Herkunft auf Spaltenebene
Die Lineage auf Spaltenebene bietet eine detailliertere Ansicht, da der Datenfluss zwischen einzelnen Spalten nachverfolgt wird. In dieser Ansicht stellen die Links in einem Lineage-Ereignis die Beziehung zwischen einer Quellspalte und einer Zielspalte dar. Jeder dieser Links auf Spaltenebene hat einen Abhängigkeitstyp, der die Transformation beschreibt:
Exact copy: Werte werden zwischen Spalten kopiert.Other: andere Arten von Abhängigkeiten zwischen Spalten.
Sie können die Herkunft auf Spaltenebene für Aufgaben wie die folgenden verwenden:
Ursachenanalyse: Wenn ein Data Analyst einen falschen Wert in einer Spalte findet, kann er die Herkunft auf Spaltenebene verwenden, um den Wert bis zu den Quellspalten zurückzuverfolgen und die Ursache zu ermitteln.
Wirkungsanalyse: Bevor ein Data Engineer eine Spalte einstellt, kann er die Herkunft auf Spaltenebene verwenden, um alle nachgelagerten Spalten zu finden, die davon abhängen.
Datenquellenbestätigung für Messwerte: Mit der Herkunft auf Spaltenebene kann ein Datenanalyst ermitteln, welche Quellspalten zum Berechnen eines Messwerts verwendet werden, ohne eine komplexe SQL-Abfrage entziffern zu müssen.
Die Herkunft auf Spaltenebene wird automatisch für die folgenden Arten von BigQuery-Jobs erfasst:
Bei Managed Service for Apache Spark-Jobs hängt der Support vom Typ und der Version der Open Lineage-Abhängigkeit ab, die von Managed Service for Apache Spark verwendet wird. Die unterstützte Mindestversion ist 1.34. Die folgenden Mindestversionen von Managed Service for Apache Spark-Cluster-Images werden unterstützt:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Die folgenden Mindestversionen der Managed Service for Apache Spark-Laufzeit werden unterstützt:
- 3.0.3
- 2.3.20
Lineage-Ansichten in der Google Cloud Console
Mit der Datenherkunft in der Google Cloud -Konsole können Sie auf zwei Arten mit Herkunftsinformationen interagieren: Sie können das Herkunftsgraphen in mehreren verfügbaren Regionen untersuchen oder das Feld Lineage Explorer verwenden, um eine fokussiertere Ansicht in einer bestimmten Region zu erhalten. Sie können auch zwischen der Diagramm- und der Listenansicht wechseln, um den Datenfluss auf verschiedenen Detailebenen zu analysieren.
Lineage-Ansichten sind nur für Knowledge Catalog-Einträge (früher Dataplex Universal Catalog), BigQuery-Assets und Vertex AI-Ressourcen (Modelle, Datasets, Feature Store-Ansichten und Featuregruppen) verfügbar.
Informationen zu den verschiedenen Ansichten, die auf dieser Seite beschrieben werden, finden Sie unter Data Lineage mit Google Cloud -Systemen verwenden.
Ansicht des Herkunftsdiagramms
In der Diagramm-Ansicht werden Datenfluss und Beziehungen zwischen Systemen und Regionen visualisiert. So können Sie die Datenarchitektur nachvollziehen, Quellen und Ziele nachverfolgen und Muster erkennen. Diese Herkunftsgraphen werden vom Data Lineage API-Dienst für einen bestimmten Knowledge Catalog-Eintrag generiert. Sie zeigen, wie Daten im Laufe der Zeit transformiert werden, und stellen Upstream-, Downstream- oder beide Flüsse von einem ausgewählten Stamm-Eintrag dar.
Die Data Lineage API empfängt automatisch Asset-Informationen aus unterstützten Systemen und über API-Aufrufe für benutzerdefinierte Quellen.
Die wichtigsten Elemente im Diagramm werden so beschrieben:
Knoten: Stellen Sie die Datenentitäten dar. In einer Ansicht auf Tabellenebene wird in einem Knoten der Tabellenname und die zugehörigen Spalten angezeigt. In einer Ansicht auf Spaltenebene stellt jeder Knoten eine bestimmte Tabelle und Spalte dar.
Edges Die Linien, die Knoten verbinden und die Prozesse darstellen, die zwischen ihnen stattfinden. Die Darstellung einer Kante hängt von der Lineage-Ansicht ab:
- In der Ansicht auf Tabellenebene haben Kanten Symbole, die Datentransformationen angeben.
- In der Ansicht auf Spaltenebene haben Kanten Labels, die Datentransformationen angeben. Ein Kantenlabel könnte beispielsweise
Exact copylauten, um zu beschreiben, wie eine Quellspalte in eine Zielspalte kopiert wurde.
Symbole und Labels verarbeiten: Sie werden an den Kanten angezeigt, um weitere Informationen zur Transformation zu liefern.
- Symbole: Stellen Sie den Transformationsprozess dar. Wenn Sie den Graphen manuell untersuchen, stellen Symbole auf den Kanten das Quellsystem des Prozesses dar (z. B. BigQuery oder Vertex AI). Wenn mehrere Prozesse beteiligt sind, wird das Symbol „Mehrere Prozesse“ angezeigt. Wenn das Quellsystem des Prozesses unbekannt ist, wird ein Zahnradsymbol verwendet. Wenn Sie Filter anwenden, wird für alle Prozesse ein Zahnradsymbol verwendet.
- Labels: In der Ansicht des Datenursprungs auf Spaltenebene wird mit einem Label der Typ der Abhängigkeit zwischen Spalten beschrieben:
Exact copyoderOther.
Lineage-Diagramm manuell ansehen
Wenn Sie den Tab Lineage öffnen, wird standardmäßig die Diagrammansicht angezeigt. Die Standardansicht bietet einen allgemeinen Überblick über Systeme und Regionen hinweg. Der Graph kann manuell und inkrementell erweitert werden, wobei jeweils fünf Knoten geladen werden können. Prozesssymbole an den Rändern stellen das Quellsystem dar oder weisen auf mehrere Prozesse hin.
Filter und Hervorhebungen anwenden, um sich auf bestimmte Daten zu konzentrieren
Bei großen und komplexen Abstammungsdiagrammen können Sie Filter oder Hervorhebungen anwenden, um visuelles Rauschen zu reduzieren und sich auf die Abstammung in einer bestimmten Region zu konzentrieren. Legen Sie Ihre Kriterien im Bereich Lineage Explorer fest. Wenn Filter angewendet werden, wird oben in den Ansichten Diagramm und Liste eine Filterleiste angezeigt, in der die aktiven Filter als Infofelder dargestellt werden.
Um die Lineage-Visualisierung zu optimieren, können Sie einen der folgenden Modi auswählen:
Hervorheben: Übereinstimmende Knoten werden durch Farben und Rahmen visuell hervorgehoben, während das gesamte Diagramm sichtbar bleibt. So lassen sich bestimmte Assets finden, ohne den Gesamtkontext des Herkunftsgraphen zu verlieren.
Filtern: Nicht übereinstimmende Knoten werden ausgeblendet und das Diagramm wird vereinfacht, sodass nur übereinstimmende Knoten und die Pfade zwischen ihnen angezeigt werden. Alle nicht übereinstimmenden Assets, die Teil eines Pfads zwischen übereinstimmenden Knoten sind, werden in minimierten Knoten gruppiert. Dieser Modus ist nützlich, um die Komplexität zu reduzieren und sich nur auf relevante Assets und ihre direkten Beziehungen zu konzentrieren.
Verwenden Sie die folgenden Kriterien, um die Herkunft zu filtern oder hervorzuheben.
- Projekt: Nach Google Cloud Projekt-ID filtern.
- System: Filtern Sie nach dem System, in dem sich das Daten-Asset befindet (z. B. BigQuery oder Cloud Storage).
- Entitätsname: Nach Assetname filtern. Sie können
*für Platzhaltersuchen verwenden (nur Präfix und Suffix, z. B.*tableodertest*). - Untertyp: nach Asset-Untertyp filtern (z. B.
dashboardodermodel). - Spaltenname: Filtern Sie die Herkunft nach Spaltenname, um Details auf Spaltenebene zu sehen.
- Richtung: Zeigen Sie die Upstream- oder Downstream-Abstammung oder beides an.
- Zeitraum: Filtern Sie den Datenfluss nach einer bestimmten Start- oder Endzeit.
- Abhängigkeitstyp: Filtern Sie den Spaltenursprung nach Abhängigkeitstyp.
Beispiele für verfügbare Optionen sind
AllundExact copy.
Um die Übersichtlichkeit weiter zu verbessern, können Sie Temporäre BigQuery-Tabellen ausblenden auswählen, um temporäre Assets auszublenden, die von BigQuery erstellt wurden, z. B. Tabellen in Datasets mit Namen, die mit _script beginnen.
In der fokussierten Ansicht auf dem Tab Diagramm wird das Diagramm automatisch auf bis zu drei Ebenen erweitert und die gesamte Lineage, die den Filterkriterien entspricht, wird geladen. Mit Lineage Explorer werden bis zu 10 Ebenen des Lineage-Diagramms abgerufen, aber standardmäßig werden nur die ersten 3 Ebenen maximiert. Sie können das Diagramm maximieren, um die verbleibenden Ebenen zu sehen. Klicken Sie dazu auf die Pfeile.
Die fokussierte Ansicht unterstützt sowohl die Herkunft auf Tabellen- als auch auf Spaltenebene, einschließlich der Pfadvisualisierung von einem ausgewählten Knoten zurück zum Stamm. In dieser fokussierten Ansicht wird für alle Prozesse ein generisches Zahnradsymbol verwendet.
Sie haben folgende Möglichkeiten, um die Herkunft auf Spaltenebene aufzurufen:
Klicken Sie in einer fokussierten Diagramm-Ansicht in einer Tabelle auf das Spaltensymbol, um zur Herkunft auf Spaltenebene zu wechseln.
Spaltensymbol Wenden Sie in der Standardansicht Diagramm oder in der fokussierten Ansicht Diagramm einen Spaltennamen im Bereich Lineage Explorer an.
Wenn Sie alle Filter entfernen und zur Standardansicht zurückkehren möchten, klicken Sie auf „Zurücksetzen“.
Informationen zum Wechseln zwischen den Modi „Hervorheben“ und „Filtern“ finden Sie unter Herkunftsvisualisierung optimieren.
Knotendetails
Klicken Sie auf einen Knoten, um die Details dazu aufzurufen. Eine Seitenleiste mit detaillierten Informationen zum ausgewählten Daten-Asset wird angezeigt. Wenn Sie beispielsweise in einer Lineage-Ansicht auf Tabellenebene auf einen Knoten klicken, werden Informationen wie der voll qualifizierte Name, der Typ und andere relevante Attribute des Assets angezeigt.
Audit und Verlauf von Ausführungen
Ein vollständiges Lineage-Diagramm ist das Ergebnis von Ausführungen vieler verschiedener Jobs, wobei jeder Job einen bestimmten Link im Diagramm erstellt. Mehrere Ausführungen werden als neue Läufe protokolliert, ändern aber nicht das statische Erscheinungsbild des Diagramms.
Wenn Sie die Details der einzelnen Ausführungen sehen möchten, klicken Sie im Diagramm auf eine Kante mit einem Prozess. Klicken Sie im angezeigten Bereich Abfrage auf den Tab Ausführungen.
Transformationslogik prüfen
Wenn Sie die Geschäftslogik einer Transformation nachvollziehen möchten, ohne nach dem Code suchen zu müssen, können Sie die genaue SQL-Abfrage aufrufen, die ausgeführt wurde. Klicken Sie auf eine Kante mit einem Prozess im Diagramm, um den SQL-Code aufzurufen. Klicken Sie in der Seitenleiste, die angezeigt wird, auf den Tab Details.
Visualisierung des Herkunftspfads
Mit der Visualisierung des Herkunftspfads können Sie den Pfad von einem beliebigen ausgewählten Knoten im Diagramm zurück zum Stammeintrag nachvollziehen. Wenn Sie einen Knoten auswählen und auf Pfad visualisieren klicken, werden im Diagramm nur die Knoten und Prozesse hervorgehoben, die den direkten Lineage-Pfad zum Stamm-Eintrag bilden.
Wenn Sie die Visualisierung des Herkunftspfads sehen möchten, wenden Sie im Bereich Lineage Explorer einen Filter an, um eine fokussierte Graph-Ansicht zu erstellen. Wählen Sie dann in der fokussierten Diagramm-Ansicht einen Knoten aus. Klicken Sie im Detailbereich für den ausgewählten Knoten auf Pfad visualisieren.
Die Visualisierung des Herkunftspfads ist für die Herkunft auf Tabellen- und Spaltenebene verfügbar. Sie können auch die Visualisierung des Herkunftspfads in der Listenansicht verwenden.
Lineage-Listenansicht
Die Listenansicht bietet eine tabellarische, strukturierte Darstellung der Herkunft, die mit der Diagrammansicht synchronisiert wird. Sie erleichtert das Sortieren, Filtern und Herunterladen von Daten-Assets. Diese Ansicht eignet sich ideal, um Quell-Ziel-Beziehungen zu analysieren, beteiligte Assets zu detaillieren und Herkunftsdaten zu exportieren.
Die Listenansicht ist sowohl für die Herkunft auf Tabellen- als auch auf Spaltenebene verfügbar. Sie können zwischen den folgenden detaillierten und vereinfachten Listenansichten wechseln.
Vereinfachte Listenansicht: Diese Ansicht ist nützlich, um eine komprimierte, eindeutige Liste aller Assets zu erhalten, die in der Herkunft enthalten sind. Die Spalten wie System, Projekt, Entität, FQN (voll qualifizierter Name), Richtung und Tiefe helfen Ihnen, alle Datenassets in der Herkunft, ihren Speicherort, ihre ursprüngliche Quelle und ihre Entfernung vom zentralen Asset zu sehen, das analysiert wird. Es eignet sich ideal für einen allgemeinen Überblick über alle am Datenfluss beteiligten Entitäten. Das ist die Standardansicht.
Detaillierte Listenansicht: Diese Ansicht ist für die Analyse einzelner Quell-Ziel-Beziehungen konzipiert. Wenn Sie separate Spalten für Quelle und Ziel angeben, sehen Sie jeden spezifischen Link zur Datentransformation. Diese Ansicht eignet sich ideal für Aufgaben, bei denen Sie genau nachvollziehen müssen, wie Daten zwischen bestimmten Asset-Paaren übertragen werden, z. B. zum Prüfen einzelner Datenflüsse, zum Ermitteln von Abhängigkeiten zwischen Tabellen oder zum Exportieren detaillierter Herkunftsdatensätze für jede Verbindung.
Listenansicht für Herkunft auf Tabellenebene
In dieser Ansicht werden Beziehungen zwischen Tabellen als Ganzes dargestellt. Wählen Sie mit den bereitgestellten Filtern die benötigten Spalten aus.
Maximieren Sie die folgenden Abschnitte, um die Spalten zu sehen, die in den Listenansichten auf Tabellenebene verfügbar sind.
In der vereinfachten Listenansicht auf Tabellenebene verfügbare Spalten
- System: Das System, in dem sich die Datenressource befindet. Beispiele: BigQuery.
- Projekt: Die Google Cloud Projekt-ID, die das Daten-Asset enthält.
- Entität: Der Name des Datenassets. Ein Beispiel ist ein Tabellenname.
- FQN: Der voll qualifizierte Name (Fully Qualified Name, FQN) der ursprünglichen Quellentität oder ‑spalte.
- Richtung: Gibt an, ob das aufgeführte Asset im Lineage-Ablauf Upstream (Quelle) oder Downstream (Ziel) ist.
- Tiefe: Die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.
Spalten in der detaillierten Listenansicht auf Tabellenebene
- Quellsystem: Das System, in dem sich die Quelldatenressource befindet. Beispiele: BigQuery.
- Quellprojekt: Die Google Cloud Projekt-ID, die das Quelldaten-Asset enthält.
- Quelle: Der Name des Quelldaten-Assets. Ein Beispiel ist ein Tabellenname.
- Voll qualifizierter Name der Quelle: Der voll qualifizierte Name der Quell-Entität.
- Zielsystem: Das System, in dem sich die Zieldatenressource befindet. Beispiele: BigQuery.
- Zielprojekt: Die Google Cloud Projekt-ID, die das Zieldaten-Asset enthält.
- Ziel: Der Name des Zieldaten-Assets. Ein Beispiel ist ein Tabellenname.
- Voll qualifizierter Name des Ziels: Der FQDN der Zielentität.
- Richtung: Gibt an, ob das aufgeführte Asset im Lineage-Ablauf Upstream (Quelle) oder Downstream (Ziel) ist.
- Tiefe: Die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.
Listenansicht der Herkunft auf Spaltenebene
In dieser Ansicht werden Beziehungen zwischen einzelnen Spalten in den Quell- und Zieltabellen dargestellt. Wählen Sie mit den bereitgestellten Filtern die benötigten Spalten aus.
Maximieren Sie die folgenden Abschnitte, um die Spalten zu sehen, die in den Listenansichten auf Spaltenebene verfügbar sind.
Verfügbare Spalten in der vereinfachten Listenansicht auf Spaltenebene
- System: Das System, in dem sich die Datenressource befindet. Beispiele: BigQuery.
- Projekt: Die Google Cloud Projekt-ID, die das Daten-Asset enthält.
- Entität: Der Name des Datenassets. Ein Beispiel ist ein Tabellenname.
- Spalte: Die spezifische Spalte, die im Bereich Lineage Explorer innerhalb der Entität ausgewählt wurde.
- FQN: Der voll qualifizierte Name (Fully Qualified Name, FQN) der ursprünglichen Quellentität oder ‑spalte.
- Richtung: Gibt an, ob das aufgeführte Asset im Lineage-Ablauf Upstream (Quelle) oder Downstream (Ziel) ist.
- Tiefe: Die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.
Spalten in der detaillierten Listenansicht auf Spaltenebene
- Quellsystem: Das System, in dem sich die Quelldatenressource befindet.
- Quellprojekt: Die Google Cloud Projekt-ID, die das Quelldaten-Asset enthält.
- Voll qualifizierter Name der Quelle: Der voll qualifizierte Name der Quellspalte.
- Zielsystem: Das System, in dem sich die Zieldatenressource befindet.
- Zielprojekt: Die Google Cloud Projekt-ID, die das Zieldaten-Asset enthält.
- Voll qualifizierter Name des Ziels: Der FQN der Zielspalte.
- Richtung: Gibt an, ob der Datenfluss Upstream oder Downstream ist.
- Abhängigkeitstypen: Beschreibt die Art der Beziehung zwischen den Spalten.
- Tiefe: Die Anzahl der Herkunftsschritte vom zentralen Asset, das analysiert wird.
Nächste Schritte
Datenherkunft für eine BigQuery-Tabellenkopie und Abfragejobs nachverfolgen
Informationen zur Verwendung der Datenherkunft mit Google Cloud -Systemen