Datenherkunft mit Google Cloud-Systemen verwenden

Die Datenherkunft zeigt die Beziehungen zwischen den Ressourcen Ihres Projekts und den Prozessen, mit denen sie erstellt wurden.

Sie können Details zum Datenursprung in der Google Cloud Console ansehen oder mit der Data Lineage API abrufen.

Je nach Menge der zu verarbeitenden Daten kann es einige Zeit dauern, bis im Datenursprung ein Diagramm angezeigt wird. Bei den meisten Jobs dauert es drei Stunden, bei einigen kann es bis zu 24 Stunden dauern.

Der Datenursprung wird projektübergreifend erfasst. Wenn Sie den aus mehreren Projekten generierten Datenursprung ansehen, können Sie die aggregierten Datenursprungsinformationen in einem der relevanten Projekte aufrufen.

Rollen und Berechtigungen

Zum Aufrufen des Datenursprungs benötigen Sie bestimmte IAM-Berechtigungen (Identity and Access Management). Abstammungsinformationen werden projektübergreifend erfasst. Sie benötigen also Berechtigungen für mehrere Projekte.

  • Wenn Sie die Lineage in Dataplex Universal Catalog, BigQuery oder Vertex AI ansehen, benötigen Sie Berechtigungen zum Aufrufen von Lineage-Informationen in dem Projekt, in dem Sie sie ansehen.

  • Wenn Sie die Herkunft von Daten ansehen, die in anderen Projekten aufgezeichnet wurden, benötigen Sie Berechtigungen, um Herkunftsinformationen in den Projekten aufzurufen, in denen sie aufgezeichnet wurden.

Zum Ansehen des Datenursprungs benötigen Sie die folgenden Rollen oder Berechtigungen. Weisen Sie dem Hauptkonto (z. B. dem Nutzer oder Dienstkonto) diese Rollen für die relevanten Ressourcen (z. B. Projekte oder BigQuery-Tabellen) zu.

  • Data Lineage-Betrachter (roles/datalineage.viewer): Gewährt die Berechtigung, die Datenherkunft in der Google Cloud -Konsole anzusehen und die Data Lineage API zu verwenden. Sie müssen diese Rolle für Projekte anwenden, in denen die Herkunft aufgezeichnet wird, und für Projekte, in denen die Herkunft angezeigt wird. Weitere Informationen finden Sie unter Projekttypen.

  • Dataplex Universal Catalog Viewer (roles/dataplex.catalogViewer): Gewährt die Berechtigung zum Ansehen von Metadaten für Assets, die im Dataplex Universal Catalog katalogisiert sind. Gewähren Sie diese Rolle für Projekte, in denen Katalogeinträge gespeichert sind, damit Nutzer Eintragsdetails im Lineage-Diagramm sehen können. Alternativ können Sie eine Betrachterrolle für das Quellsystem zuweisen. Weitere Informationen finden Sie unter Mit Dataplex Universal Catalog nach Datenassets suchen.

  • Andere BigQuery-Berechtigungen:

    • Wenn Sie Details zu BigQuery-Assets im Lineage-Diagramm ansehen möchten, z. B. Tabellendefinitionen oder Ansichtsabfragen, weisen Sie die Rolle BigQuery-Datenbetrachter (roles/bigquery.dataViewer) zu.
    • Wenn Sie die SQL-Abfrage eines BigQuery-Jobs ansehen möchten, der Lineage-Informationen generiert hat, gewähren Sie die Berechtigung bigquery.jobs.get. Diese Berechtigung ist in Rollen wie BigQuery-Administrator (roles/bigquery.admin) und BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) enthalten.

Die Datenherkunft wird automatisch erfasst, wenn Sie die Data Lineage API aktivieren. Sie benötigen keine Administrator- oder Bearbeiterrollen, um den Datenursprung für Ihre Daten-Assets zu erfassen.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten. Sie können eine Rolle auf einer höheren Ordner- oder Organisationsebene zuweisen. Weitere Informationen finden Sie unter Einzelne Rolle zuweisen oder widerrufen.

Arten von Datenreihenansichten

Sie können die Informationen zur Datenherkunft als Diagramm oder Liste ansehen. Im Herkunftsdiagramm wird standardmäßig die Herkunft auf Tabellenebene angezeigt. Für BigQuery-Jobs können Sie die Herkunft auf Spaltenebene sowohl in der Diagramm- als auch in der Listenansicht ansehen.

Die folgenden Ansichtstypen sind verfügbar:

  • Diagrammansicht: Hier wird der Datenursprung als interaktives Diagramm dargestellt. Sie können Beziehungen zwischen Daten-Assets und Spalten untersuchen, indem Sie Knoten maximieren.

  • Listenansicht: Hier wird die Herkunft in einem tabellarischen Format angezeigt. Es gibt vereinfachte und detaillierte Darstellungen der Herkunft auf Tabellen- und Spaltenebene. Sie können Spalten anpassen und Herkunftsdaten aus dieser Ansicht exportieren.

Die wichtigsten Elemente im Diagramm werden so beschrieben:

  • Knoten: Stellen die Datenentitäten dar. In der Ansicht auf Tabellenebene wird in einem Knoten der Tabellenname und die zugehörigen Spalten angezeigt. In der Ansicht auf Spaltenebene stellt jeder Knoten eine bestimmte Tabelle und ihre Spalten mit Herkunft dar.

  • Kanten: Die Linien, die Knoten verbinden und die Prozesse darstellen, die zwischen ihnen stattfinden. Kanten können Symbole oder Labels enthalten, um weitere Informationen zur Transformation zu liefern:

    • Icons: In der Ansicht auf Tabellenebene werden Symbole an den Rändern angezeigt, um den Transformationsprozess darzustellen. Wenn Sie das Diagramm manuell untersuchen, stellen Symbole auf den Kanten das Quellsystem des Prozesses dar (z. B. BigQuery oder Vertex AI). Wenn mehrere Prozesse beteiligt sind, wird das Symbol „Mehrere Prozesse“ angezeigt. Wenn das Quellsystem des Prozesses unbekannt ist, wird ein Zahnradsymbol verwendet. Wenn Sie Filter anwenden, wird für alle Prozesse ein Zahnradsymbol verwendet.
    • Labels: In der Spaltenansicht werden Kanten mit Labels versehen, um den Typ der Abhängigkeit zwischen Spalten zu beschreiben, z. B. Exact copy oder Other.

Datenherkunft aktivieren

Aktivieren Sie die Data Lineage, um automatisch Lineage-Informationen für unterstützte Systeme zu erfassen. Sie müssen die Data Lineage API sowohl in dem Projekt, in dem Sie die Herkunft ansehen, als auch in den Projekten aktivieren, in denen die Herkunft aufgezeichnet wird. Weitere Informationen finden Sie unter Projekttypen.

  1. So erfassen Sie Informationen zur Herkunft:
    1. Wählen Sie in der Google Cloud Console auf der Seite Projektauswahl das Projekt aus, in dem Sie die Herkunft aufzeichnen möchten.

      Zur Projektauswahl

    2. Aktivieren Sie die Data Lineage API.

      Data Lineage API aktivieren

    3. Wiederholen Sie die vorherigen Schritte für jedes Projekt, in dem Sie den Datenursprung erfassen möchten.
  2. Aktivieren Sie im Projekt, in dem Sie die Herkunft ansehen, die Data Lineage API und die Dataplex API.

    APIs aktivieren

Lineage in Dataplex Universal Catalog ansehen

Sie können Informationen zur Datenherkunft in der Weboberfläche von Dataplex Universal Catalog ansehen.

So rufen Sie die Herkunft auf:

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Suche auf.

    Zur Suche

  2. Wählen Sie Dataplex Universal Catalog als Suchmodus aus.

  3. Suchen Sie nach dem Eintrag, den Sie aufrufen möchten, und klicken Sie darauf. Weitere Informationen finden Sie unter Nach Ressourcen im Dataplex Universal Catalog suchen.

  4. Klicken Sie auf den Tab Herkunft.

    Die Standardansicht Diagramm wird geöffnet. Sie zeigt die Datenherkunft auf Tabellenebene über Systeme und Regionen hinweg. Weitere Informationen finden Sie unter Ansicht „Abstammungsdiagramm“.

  5. Wenn Sie den Lineage-Graphen manuell untersuchen möchten, klicken Sie neben einem Knoten auf Maximieren, um jeweils fünf weitere Knoten zu laden.

    Weitere Informationen finden Sie unter Abstammungsdiagramm manuell untersuchen.

  6. Klicken Sie in der Graphansicht auf einen Knoten.

    Der Bereich Details wird geöffnet und enthält Informationen zum Asset, z. B. den vollständig qualifizierten Namen und den Typ. Weitere Informationen finden Sie unter Knotendetails.

  7. Klicken Sie in der Ansicht Graph auf eine Kante mit einem Prozesssymbol.

    Der Bereich Abfrage wird geöffnet. Weitere Informationen finden Sie unter Transformationslogik prüfen und Ausführungen prüfen und Verlauf ansehen.

    • Klicken Sie auf den Tab Details, um die Transformationslogik zu prüfen.

    • Klicken Sie auf den Tab Ausführungen, um den Audit- und Ausführungsverlauf aufzurufen.

  8. Wählen Sie im Bereich Lineage Explorer Filterkriterien aus, z. B. Richtung, Abhängigkeitstyp oder Zeitraum, und klicken Sie dann auf Anwenden.

    Dadurch wird eine fokussierte Ansicht in einer bestimmten Region geöffnet (Vorschau). In dieser Ansicht wird das Diagramm automatisch auf bis zu drei Knotenebenen erweitert. Weitere Informationen finden Sie unter Filter anwenden, um eine fokussierte Lineage-Ansicht zu erhalten.

  9. Wählen Sie in der fokussierten Diagramm-Ansicht einen Knoten aus und klicken Sie dann im Detailbereich des Knotens auf Pfad visualisieren, um den Lineage-Pfad vom ausgewählten Knoten zurück zum Stammknoten zu visualisieren (nur in der fokussierten Ansicht).

    Weitere Informationen finden Sie unter Visualisierung des Lineage-Pfads.

  10. Führen Sie einen der folgenden Schritte aus, um die Herkunft auf Spaltenebene (nur für BigQuery-Jobs) aufzurufen:

    • Klicken Sie in einer fokussierten Graph-Ansicht in einer Tabelle auf das Spaltensymbol.
      Symbol zum Wechseln zur Herkunft auf Spaltenebene.
      Spaltensymbol
    • Filtern Sie im Bereich Lineage Explorer nach Spaltenname und klicken Sie auf Übernehmen.

    Weitere Informationen finden Sie unter Herkunft auf Spaltenebene.

  11. Klicken Sie auf  Zurücksetzen.

    Dadurch werden alle angewendeten Filter entfernt und Sie gelangen zum Anfang der Diagrammansicht.

  12. Klicken Sie auf Liste, um zur Listenansicht zu wechseln.

    Die Listenansicht bietet vereinfachte und detaillierte tabellarische Darstellungen der Herkunft sowohl auf Tabellen- als auch auf Spaltenebene, die mit der Diagrammansicht synchronisiert werden. Standardmäßig wird die vereinfachte Listenansicht angezeigt. Sie können zur detaillierten Listenansicht wechseln, um einzelne Quell-Ziel-Beziehungen zu analysieren. Sie können konfigurieren, welche Spalten angezeigt werden, und Herkunftsdaten exportieren. Weitere Informationen finden Sie unter Lineage-Listenansicht.

Herkunft in BigQuery ansehen

Sie können Informationen zum Datenursprung in der BigQuery-Web-UI ansehen.

So rufen Sie die Herkunft auf:

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    Zur Seite „BigQuery“

  2. Öffnen Sie die Tabelle, für die Sie den Datenursprung sehen möchten.

  3. Klicken Sie auf den Tab Herkunft.

    Die Standardansicht Diagramm wird geöffnet. Sie zeigt die Datenherkunft auf Tabellenebene über Systeme und Regionen hinweg. Weitere Informationen finden Sie unter Ansicht „Abstammungsdiagramm“.

  4. Wenn Sie den Lineage-Graphen manuell untersuchen möchten, klicken Sie neben einem Knoten auf Maximieren, um jeweils fünf weitere Knoten zu laden.

    Weitere Informationen finden Sie unter Abstammungsdiagramm manuell untersuchen.

  5. Klicken Sie in der Graphansicht auf einen Knoten.

    Der Bereich Details wird geöffnet und enthält Informationen zum Asset, z. B. den vollständig qualifizierten Namen und den Typ. Weitere Informationen finden Sie unter Knotendetails.

  6. Klicken Sie in der Ansicht Graph auf eine Kante mit einem Prozesssymbol.

    Der Bereich Abfrage wird geöffnet. Weitere Informationen finden Sie unter Transformationslogik prüfen und Ausführungen prüfen und Verlauf ansehen.

    • Klicken Sie auf den Tab Details, um die Transformationslogik zu prüfen.

    • Klicken Sie auf den Tab Ausführungen, um den Audit- und Ausführungsverlauf aufzurufen.

  7. Wählen Sie im Bereich Lineage Explorer Filterkriterien aus, z. B. Richtung, Abhängigkeitstyp oder Zeitraum, und klicken Sie dann auf Anwenden.

    Dadurch wird eine fokussierte Ansicht in einer bestimmten Region geöffnet (Vorschau). In dieser Ansicht wird das Diagramm automatisch auf bis zu drei Knotenebenen erweitert. Weitere Informationen finden Sie unter Filter anwenden, um eine fokussierte Lineage-Ansicht zu erhalten.

  8. Wählen Sie in der fokussierten Diagramm-Ansicht einen Knoten aus und klicken Sie dann im Detailbereich des Knotens auf Pfad visualisieren, um den Lineage-Pfad vom ausgewählten Knoten zurück zum Stammknoten zu visualisieren (nur in der fokussierten Ansicht).

    Weitere Informationen finden Sie unter Visualisierung des Lineage-Pfads.

  9. Führen Sie einen der folgenden Schritte aus, um die Herkunft auf Spaltenebene (nur für BigQuery-Jobs) aufzurufen:

    • Klicken Sie in einer fokussierten Graph-Ansicht in einer Tabelle auf das Spaltensymbol.
      Symbol zum Wechseln zur Herkunft auf Spaltenebene.
      Spaltensymbol
    • Filtern Sie im Bereich Lineage Explorer nach Spaltenname und klicken Sie auf Übernehmen.

    Weitere Informationen finden Sie unter Herkunft auf Spaltenebene.

  10. Klicken Sie auf  Zurücksetzen.

    Dadurch werden alle angewendeten Filter entfernt und Sie gelangen zum Anfang der Diagrammansicht.

  11. Klicken Sie auf Liste, um zur Listenansicht zu wechseln.

    Die Listenansicht bietet vereinfachte und detaillierte tabellarische Darstellungen der Herkunft sowohl auf Tabellen- als auch auf Spaltenebene, die mit der Diagrammansicht synchronisiert werden. Standardmäßig wird die vereinfachte Listenansicht angezeigt. Sie können zur detaillierten Listenansicht wechseln, um einzelne Quell-Ziel-Beziehungen zu analysieren. Sie können konfigurieren, welche Spalten angezeigt werden, und Herkunftsdaten exportieren. Weitere Informationen finden Sie unter Lineage-Listenansicht.

Herkunft in Vertex AI ansehen

Systeme wie Vertex AI Pipelines generieren Herkunftsdaten für Vertex AI-Modelle und -Datasets. Sie können Informationen zum Datenursprung in der Vertex AI-Weboberfläche aufrufen.

Herkunft für ein verwaltetes Dataset in Vertex AI ansehen

So rufen Sie den Datenursprung für ein Dataset auf:

  1. Rufen Sie in der Google Cloud Console die Seite Datasets auf.

    Seite „Datasets“ öffnen

  2. Klicken Sie auf das Dataset, für das Sie den Datenursprung sehen möchten.

  3. Klicken Sie auf den Tab Herkunft.

    Die Standardansicht Diagramm wird geöffnet. Sie zeigt die Datenherkunft auf Tabellenebene über Systeme und Regionen hinweg. Weitere Informationen finden Sie unter Ansicht „Abstammungsdiagramm“.

  4. Wenn Sie den Lineage-Graphen manuell untersuchen möchten, klicken Sie neben einem Knoten auf Maximieren, um jeweils fünf weitere Knoten zu laden.

    Weitere Informationen finden Sie unter Abstammungsdiagramm manuell untersuchen.

  5. Klicken Sie in der Graphansicht auf einen Knoten.

    Der Bereich Details wird geöffnet und enthält Informationen zum Asset, z. B. den vollständig qualifizierten Namen und den Typ. Weitere Informationen finden Sie unter Knotendetails.

  6. Klicken Sie in der Ansicht Graph auf eine Kante mit einem Prozesssymbol.

    Der Bereich Abfrage wird geöffnet. Weitere Informationen finden Sie unter Transformationslogik prüfen und Ausführungen prüfen und Verlauf ansehen.

    • Klicken Sie auf den Tab Details, um die Transformationslogik zu prüfen.

    • Klicken Sie auf den Tab Ausführungen, um den Audit- und Ausführungsverlauf aufzurufen.

  7. Wählen Sie im Bereich Lineage Explorer Filterkriterien aus, z. B. Richtung, Abhängigkeitstyp oder Zeitraum, und klicken Sie dann auf Anwenden.

    Dadurch wird eine fokussierte Ansicht in einer bestimmten Region geöffnet (Vorschau). In dieser Ansicht wird das Diagramm automatisch auf bis zu drei Knotenebenen erweitert. Weitere Informationen finden Sie unter Filter anwenden, um eine fokussierte Lineage-Ansicht zu erhalten.

  8. Wählen Sie in der fokussierten Diagramm-Ansicht einen Knoten aus und klicken Sie dann im Detailbereich des Knotens auf Pfad visualisieren, um den Lineage-Pfad vom ausgewählten Knoten zurück zum Stammknoten zu visualisieren (nur in der fokussierten Ansicht).

    Weitere Informationen finden Sie unter Visualisierung des Lineage-Pfads.

  9. Führen Sie einen der folgenden Schritte aus, um die Herkunft auf Spaltenebene (nur für BigQuery-Jobs) aufzurufen:

    • Klicken Sie in einer fokussierten Graph-Ansicht in einer Tabelle auf das Spaltensymbol.
      Symbol zum Wechseln zur Herkunft auf Spaltenebene.
      Spaltensymbol
    • Filtern Sie im Bereich Lineage Explorer nach Spaltenname und klicken Sie auf Übernehmen.

    Weitere Informationen finden Sie unter Herkunft auf Spaltenebene.

  10. Klicken Sie auf  Zurücksetzen.

    Dadurch werden alle angewendeten Filter entfernt und Sie gelangen zum Anfang der Diagrammansicht.

  11. Klicken Sie auf Liste, um zur Listenansicht zu wechseln.

    Die Listenansicht bietet vereinfachte und detaillierte tabellarische Darstellungen der Herkunft sowohl auf Tabellen- als auch auf Spaltenebene, die mit der Diagrammansicht synchronisiert werden. Standardmäßig wird die vereinfachte Listenansicht angezeigt. Sie können zur detaillierten Listenansicht wechseln, um einzelne Quell-Ziel-Beziehungen zu analysieren. Sie können konfigurieren, welche Spalten angezeigt werden, und Herkunftsdaten exportieren. Weitere Informationen finden Sie unter Lineage-Listenansicht.

Herkunft eines Modells in Vertex AI ansehen

So rufen Sie den Datenursprung für ein Modell auf:

  1. Rufen Sie in der Google Cloud Console die Seite Model Registry auf.

    Seite „Model Registry“ öffnen

  2. Klicken Sie auf das Modell, dessen Datenherkunft Sie sich ansehen möchten.

  3. Klicken Sie auf den Tab Herkunft.

    Die Standardansicht Diagramm wird geöffnet. Sie zeigt die Datenherkunft auf Tabellenebene über Systeme und Regionen hinweg. Weitere Informationen finden Sie unter Ansicht „Abstammungsdiagramm“.

  4. Wenn Sie den Lineage-Graphen manuell untersuchen möchten, klicken Sie neben einem Knoten auf Maximieren, um jeweils fünf weitere Knoten zu laden.

    Weitere Informationen finden Sie unter Abstammungsdiagramm manuell untersuchen.

  5. Klicken Sie in der Graphansicht auf einen Knoten.

    Der Bereich Details wird geöffnet und enthält Informationen zum Asset, z. B. den vollständig qualifizierten Namen und den Typ. Weitere Informationen finden Sie unter Knotendetails.

  6. Klicken Sie in der Ansicht Graph auf eine Kante mit einem Prozesssymbol.

    Der Bereich Abfrage wird geöffnet. Weitere Informationen finden Sie unter Transformationslogik prüfen und Ausführungen prüfen und Verlauf ansehen.

    • Klicken Sie auf den Tab Details, um die Transformationslogik zu prüfen.

    • Klicken Sie auf den Tab Ausführungen, um den Audit- und Ausführungsverlauf aufzurufen.

  7. Wählen Sie im Bereich Lineage Explorer Filterkriterien aus, z. B. Richtung, Abhängigkeitstyp oder Zeitraum, und klicken Sie dann auf Anwenden.

    Dadurch wird eine fokussierte Ansicht in einer bestimmten Region geöffnet (Vorschau). In dieser Ansicht wird das Diagramm automatisch auf bis zu drei Knotenebenen erweitert. Weitere Informationen finden Sie unter Filter anwenden, um eine fokussierte Lineage-Ansicht zu erhalten.

  8. Wählen Sie in der fokussierten Diagramm-Ansicht einen Knoten aus und klicken Sie dann im Detailbereich des Knotens auf Pfad visualisieren, um den Lineage-Pfad vom ausgewählten Knoten zurück zum Stammknoten zu visualisieren (nur in der fokussierten Ansicht).

    Weitere Informationen finden Sie unter Visualisierung des Lineage-Pfads.

  9. Führen Sie einen der folgenden Schritte aus, um die Herkunft auf Spaltenebene (nur für BigQuery-Jobs) aufzurufen:

    • Klicken Sie in einer fokussierten Graph-Ansicht in einer Tabelle auf das Spaltensymbol.
      Symbol zum Wechseln zur Herkunft auf Spaltenebene.
      Spaltensymbol
    • Filtern Sie im Bereich Lineage Explorer nach Spaltenname und klicken Sie auf Übernehmen.

    Weitere Informationen finden Sie unter Herkunft auf Spaltenebene.

  10. Klicken Sie auf  Zurücksetzen.

    Dadurch werden alle angewendeten Filter entfernt und Sie gelangen zum Anfang der Diagrammansicht.

  11. Klicken Sie auf Liste, um zur Listenansicht zu wechseln.

    Die Listenansicht bietet vereinfachte und detaillierte tabellarische Darstellungen der Herkunft sowohl auf Tabellen- als auch auf Spaltenebene, die mit der Diagrammansicht synchronisiert werden. Standardmäßig wird die vereinfachte Listenansicht angezeigt. Sie können zur detaillierten Listenansicht wechseln, um einzelne Quell-Ziel-Beziehungen zu analysieren. Sie können konfigurieren, welche Spalten angezeigt werden, und Herkunftsdaten exportieren. Weitere Informationen finden Sie unter Lineage-Listenansicht.

Nächste Schritte