Datenherkunft mit Knowledge Catalog verfolgen

Auf dieser Seite wird erläutert, wie Sie die Datenherkunft für Ihre Looker (Google Cloud Core)-Instanz mit Knowledge Catalog verfolgen.

Die Datenherkunft ist der Prozess, mit dem verfolgt wird, wie Daten durch Ihre Systeme fließen. Durch die Einbindung von Looker (Google Cloud Core) in Knowledge Catalog können Sie den gesamten Weg Ihrer Daten von der Quelle in BigQuery über die semantische Ebene von Looker (LookML-Ansichten und Explores) bis hin zur nachgelagerten Nutzung in Dashboards, Looks und KI- oder Daten-Agents visualisieren.

Diese Sichtbarkeit ermöglicht eine bidirektionale Herkunftsverfolgung für Data Governance, Auswirkungsanalysen und Audit-Workflows:

  • Analyse der Auswirkungen auf nachgelagerte Elemente: Sie können vorhersagen, welche Dashboards, Explores und nachgelagerten Nutzer von Schema- oder Modelländerungen betroffen sind, bevor Sie diese vornehmen. Bevor Sie beispielsweise eine Spalte in einer BigQuery-Tabelle löschen, können Sie im Herkunftsdiagramm nachsehen, welche Looker-Dashboards dadurch möglicherweise nicht mehr funktionieren.
  • Upstream-Datenprüfung: Sie können den Ursprung, die Transformationen und die Chain of Custody der Messwerte nachverfolgen, die in Executive-Dashboards und Looks angezeigt werden.

Hinweis

Wenn Sie die Datenherkunft mit Looker (Google Cloud Core) verwenden möchten, müssen die folgenden Voraussetzungen erfüllt sein:

  1. Looker (Google Cloud Core): Die Datenherkunft wird für alle Versionstypen von Looker (Google Cloud Core)-Instanzen unterstützt. Looker (Original)-Instanzen können nicht in Knowledge Catalog eingebunden werden.

  2. Erforderliche Berechtigungen: Zum Aufrufen von Herkunftsdiagrammen benötigen Sie die folgenden IAM-Rollen:

    • Looker Schema Viewer (roles/looker.schemaViewer) für das Projekt, in dem die Looker (Google Cloud Core)-Instanz gehostet wird. Diese Rolle ist erforderlich, um Looker (Google Cloud Core)-spezifische Metadaten aufzurufen, die in der Seitenleiste angezeigt werden, wenn Sie ein Lineage-Diagramm aufrufen.

    • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) oder entsprechende Berechtigungen zum Ansehen von Knowledge Catalog-Assets

    • Data Lineage-Betrachter (roles/datalineage.viewer) zum Lesen von Herkunftsdaten

Datenherkunft aktivieren

Führen Sie die folgenden Schritte aus, um die Datenherkunft zu aktivieren:

  1. Knowledge Catalog-Integration für Looker (Google Cloud Core) aktivieren: Die Integration zwischen Ihrer Looker (Google Cloud Core)-Instanz und Knowledge Catalog ist in der Google Cloud Console standardmäßig aktiviert. Wenn die Integration deaktiviert wurde, müssen Sie sie wieder aktivieren. Eine Anleitung finden Sie unter Integration aktivieren.
  2. Funktion „Knowledge Catalog Lineage“ in der Vorabversion in Looker aktivieren: Die Funktion Knowledge Catalog Lineage in der Vorabversion ist standardmäßig auf der Seite Funktionen in der Vorabversion im Admin-Bereich Ihrer Looker (Google Cloud Core)-Instanz deaktiviert.
  3. Data Lineage API aktivieren: Sie müssen die Data Lineage API (datalineage.googleapis.com) in allen Google Cloud Projekten aktivieren, in denen Ihre Looker-Instanz (Google Cloud Core) und Ihre BigQuery-Daten gehostet werden.

    Data Lineage API aktivieren

  4. Aufnahme von Herkunftsdaten auf Dienstebene aktivieren: Ensure, ob die Integration von Herkunftsdaten und Looker (Google Cloud Core) auf Dienstebene aktiviert ist. Die Herkunft auf Dienstebene entspricht den folgenden Standardstatus:
    • Um zukünftige Auswirkungen auf die Preise zu vermeiden, ist die Aufnahme von Lineage-Daten auf Dienstebene für Looker (Google Cloud Core) standardmäßig für Projekte deaktiviert, für die zum Zeitpunkt der Veröffentlichung der Vorabversion dieses Features die Data Lineage API aktiviert war und die mindestens eine Looker (Google Cloud Core)-Instanz gehostet haben.
    • Die Aufnahme von Datenherkunft auf Dienstebene ist standardmäßig für Looker (Google Cloud Core)-Instanzen aktiviert, die nach dem Datum der Vorabversion dieser Funktion in Projekten mit aktivierter Data Lineage API erstellt wurden.

Informationen zum Aufrufen der Herkunftskonfiguration für ein Google Cloud -Projekt finden Sie in der Dokumentation unter Aktuelle Konfiguration abrufen. Wenn die Integration in Looker (Google Cloud Core) deaktiviert ist, sieht die Ausgabe in etwa so aus:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Die Projekt-ID in der Antwort entspricht der ID in Ihrer Anfrage. Das Feld etag ist eine Prüfsumme, die vom Server generiert wird und auf dem aktuellen Wert der Konfiguration basiert.

Datenherkunft ansehen

Sobald die Integration aktiviert und die erste Synchronisierung abgeschlossen ist (was bis zu 24 Stunden dauern kann), können Sie die Herkunft in der Knowledge Catalog-Konsole aufrufen.

  1. Rufen Sie in der Google Cloud Console die Seite Knowledge Catalog auf.

    Zu Knowledge Catalog

  2. Klicken Sie im linken Navigationsbereich auf Suchen.
  3. Suchen Sie nach einer BigQuery-Tabelle oder einem Looker (Google Cloud Core)-Asset (z. B. einem Dashboard oder einem Explore).
    • Im Bereich Filter können Sie nach System > Looker filtern.
  4. Klicken Sie auf den Namen des Assets, um die Detailseite zu öffnen.
  5. Klicken Sie auf den Tab Lineage.

Im Herkunftsdiagramm wird das Asset als zentraler Knoten angezeigt, mit Upstream-Quellen links und Downstream-Nutzern rechts. Mit diesem bidirektionalen Layout können Sie nachgelagerte Auswirkungen rechts bewerten oder vorgelagerte Herkunfts- und Quelltabellen links verfolgen.

Herkunftsdiagramm interpretieren

Das Herkunftsdiagramm besteht aus Knoten und Verknüpfungen:

  • Knoten: Stellen Daten-Assets dar. Zu den unterstützten Looker (Google Cloud Core)-Assets gehören:
    • Looker-Dashboard
    • Looker-Dashboard-Element (Tile)
    • Looker-Look
    • LookML-Explore
    • LookML-Ansicht
  • Links: Stellen den Datenfluss dar. Ein Link von einer BigQuery-Tabelle zu einer LookML-Ansicht gibt beispielsweise an, dass die Ansicht Daten aus dieser Tabelle auswählt.

Assetinhaber identifizieren

So finden Sie heraus, wer der Inhaber eines nachgelagerten Assets ist, das von einer Änderung betroffen sein könnte:

  1. Klicken Sie im Herkunftsdiagramm auf den Knoten für das Asset (z. B. ein Looker-Dashboard).
  2. Auf der rechten Seite des Bildschirms wird ein Informationsbereich geöffnet.
  3. Suchen Sie im Abschnitt Aspekte nach dem Inhaber (E‑Mail-Adresse).

Lineage-Liste filtern

In der Listenansicht für die Herkunft können Sie Entitäten nach Attributname oder -wert filtern. Komplexe LookML-Modelle können beispielsweise große Herkunftsdiagramme mit vielen Zwischenentitäten generieren. Wenn Sie sich auf die geschäftlichen Auswirkungen konzentrieren möchten, können Sie nach Entitätstyp filtern. Gehen Sie dazu so vor:

  1. Wechseln Sie auf dem Tab Herkunft zur Listenansicht.
  2. Suchen Sie in der Symbolleiste nach den Filteroptionen.
  3. Geben Sie im Filter Entität die Werte Looker-Dashboard und Looker-Look ein, um Zwischentypen wie LookML-Ansicht und Looker-Explore herauszufiltern.

Die Entitätsliste wird aktualisiert und enthält nur die ausgewählten Asset-Typen. So lassen sich für Nutzer sichtbare Inhalte leichter identifizieren.

Beschränkungen

Für die Integration von Looker (Google Cloud Core) in Lineage gelten während der Vorabversion die folgenden Einschränkungen:

  • Datenquellen: In der Vorabversion wird die Herkunft nur für BigQuery-Datenquellen unterstützt.
  • Detaillierungsgrad: Die Herkunft wird auf Objektebene (Tabelle, Ansicht, Explore, Dashboard) angegeben. Datenherkunft auf Spaltenebene wird nicht unterstützt.
  • Latenz: Herkunftsdaten sind keine Echtzeitdaten. Die Synchronisierung dauert in der Regel vier Stunden. Die Synchronisierung kann jedoch je nach Zeitpunkt der Looker-Metadatenexporte und der Nutzung von Herkunftsdaten bis zu acht Stunden dauern. Es kann einige Zeit dauern, bis Änderungen, die in Looker oder BigQuery vorgenommen wurden, im Herkunftsdiagramm angezeigt werden.
  • Komplexes SQL: LookML, das mit komplexem benutzerdefiniertem SQL definiert ist (z. B. Liquid-Vorlagen, abgeleitete Tabellen mit komplexen Joins), wird möglicherweise nicht vollständig geparst, was zu nicht verbundenen Knoten führen kann.

Preise

Während der Vorabversion fallen für die mit dieser Integration verwendeten Datenherkunftsfunktionen keine Kosten an.

Sobald die Datenherkunft allgemein verfügbar ist, fallen Gebühren an. Um zukünftige Auswirkungen auf die Preise zu vermeiden, ist die Aufnahme von Looker (Google Cloud Core)-Datenherkunft standardmäßig für Projekte deaktiviert, für die zum Zeitpunkt der Vorabversion dieses Features die Data Lineage API aktiviert war und die mindestens eine Looker (Google Cloud Core)-Instanz gehostet haben.

Weitere Informationen finden Sie auf der Preisseite für Knowledge Catalog.

Nächste Schritte