Datenherkunft mit Knowledge Catalog verfolgen

Auf dieser Seite wird erläutert, wie Sie die Datenherkunft für Ihre Looker (Google Cloud Core)-Instanz mit Knowledge Catalog verfolgen.

Die Datenherkunft ist der Prozess, mit dem verfolgt wird, wie Daten durch Ihre Systeme fließen. Durch die Integration von Looker (Google Cloud Core) in Knowledge Catalog können Sie den gesamten Weg Ihrer Daten visualisieren – von der Quelle in BigQuery über die semantische Ebene von Looker (LookML-Ansichten und Explores) bis hin zur nachgelagerten Nutzung in Looker-Dashboards, Looks, LookML-Dashboards und Agents für konversationelle Analysen.

Diese Sichtbarkeit ermöglicht eine bidirektionale Herkunftsverfolgung für Data Governance, Auswirkungsanalysen und Audit-Workflows:

• Analyse der Auswirkungen auf nachgelagerte Elemente: Sie können vorhersagen, welche Dashboards, Explores und nachgelagerten Nutzer von Schema- oder Modelländerungen betroffen sind, bevor Sie diese vornehmen. Bevor Sie beispielsweise eine Spalte in einer BigQuery-Tabelle löschen, können Sie im Herkunftsdiagramm nachsehen, welche Looker-Dashboards dadurch möglicherweise nicht mehr funktionieren.
• Upstream-Datenprüfung: Sie können den Ursprung, die Transformationen und die Chain of Custody der Messwerte nachverfolgen, die in Executive-Dashboards und Looks angezeigt werden.

Hinweis

Wenn Sie die Datenherkunft mit Looker (Google Cloud Core) verwenden möchten, müssen die folgenden Voraussetzungen erfüllt sein:

1. Looker (Google Cloud Core): Die Datenherkunft wird für alle Versionstypen von Looker (Google Cloud Core)-Instanzen unterstützt. Looker (Original)-Instanzen können nicht in Knowledge Catalog eingebunden werden.
2. Datenquelle: Die Datenherkunft wird nur für BigQuery-Datenquellen unterstützt.

3. Erforderliche Berechtigungen: Zum Aufrufen von Herkunftsdiagrammen benötigen Sie die folgenden IAM-Rollen:

   • Looker Schema Viewer (roles/looker.schemaViewer) für das Projekt, in dem die Looker (Google Cloud Core)-Instanz gehostet wird. Diese Rolle ist erforderlich, um Looker (Google Cloud Core)-spezifische Metadaten aufzurufen, die in der Seitenleiste eines Lineage-Diagramms angezeigt werden.

     Hinweis: Sie können die Rolle „Looker Schema Viewer“ nur über die Google Cloud CLI hinzufügen.

     gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
     --member=PRINCIPAL_TYPE:PRINCIPAL_ID
     --role=roles/looker.schemaViewer

     Weitere Informationen finden Sie in der Dokumentation zu add-iam-policy-binding.

   • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) oder entsprechende Berechtigungen zum Ansehen von Knowledge Catalog-Assets

   • Data Lineage-Betrachter (roles/datalineage.viewer) zum Lesen von Herkunftsdaten

Achtung: SQL-Tabellenverweise in LookML müssen genau der Groß- und Kleinschreibung der entsprechenden BigQuery-Tabellen entsprechen. Wenn beispielsweise der Name einer BigQuery-Tabelle kleingeschrieben ist, muss auch die LookML-Referenz kleingeschrieben sein. Abweichungen bei der Groß-/Kleinschreibung verhindern, dass die nachgelagerte Herkunft im Herkunftsdiagramm angezeigt wird.

Datenherkunft aktivieren

Führen Sie die folgenden Schritte in der Google Cloud Console aus, um die Datenherkunft zu aktivieren:

1. Data Lineage API aktivieren: Sie müssen die Data Lineage API (datalineage.googleapis.com) in allen Google Cloud Projekten aktivieren, in denen Ihre Looker-Instanz (Google Cloud Core) und Ihre BigQuery-Daten gehostet werden.

   Data Lineage API aktivieren

2. Prüfen Sie, ob die Aufnahme von Herkunftsdaten auf Dienstebene aktiviert ist: Prüfen Sie, ob die Integration von Herkunftsdaten auf Dienstebene für Looker (Google Cloud Core) aktiviert ist. Die Aufnahme von Herkunftsdaten ist standardmäßig für Looker (Google Cloud Core)-Instanzen in Projekten aktiviert, in denen die Data Lineage API aktiviert ist.

Hinweis: Die Datenherkunftserfassung funktioniert unabhängig von der Opt-out-Einstellung für die Knowledge Catalog-Metadatenintegration von Looker (Google Cloud Core) und erfordert keine Konfiguration im Looker-Admin-Bereich. Alle zuvor während des Vorschauprogramms im Looker-Admin-Bereich konfigurierten Vorschaueinstellungen werden nicht mehr auf die Integration der Datenherkunft angewendet.

Informationen zum Aufrufen der Herkunftskonfiguration für ein Google Cloud -Projekt finden Sie in der Dokumentation unter Aktuelle Konfiguration abrufen. Wenn die Integration in Looker (Google Cloud Core) deaktiviert ist, sieht die Ausgabe in etwa so aus:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Die Projekt-ID in der Antwort entspricht der ID in Ihrer Anfrage. Das Feld etag ist eine Prüfsumme, die vom Server generiert wird und auf dem aktuellen Wert der Konfiguration basiert.

Datenherkunft ansehen

Sobald die Integration aktiviert und die erste Synchronisierung abgeschlossen ist (was bis zu 24 Stunden dauern kann), können Sie die Herkunft in der Knowledge Catalog-Konsole aufrufen.

1. Rufen Sie in der Google Cloud Console die Seite Knowledge Catalog auf.

   Zu Knowledge Catalog

2. Klicken Sie im linken Navigationsbereich auf Suchen.
3. Suchen Sie nach einer BigQuery-Tabelle oder einem Looker (Google Cloud Core)-Asset (z. B. einem Dashboard oder einem Explore).
   • Im Bereich Filter können Sie nach Systeme > Looker filtern.
4. Klicken Sie auf den Namen des Assets, um die Detailseite zu öffnen.
5. Klicken Sie auf den Tab Lineage.

Im Herkunftsdiagramm wird das Asset als zentraler Knoten angezeigt, mit Upstream-Quellen links und Downstream-Nutzern rechts. Mit diesem bidirektionalen Layout können Sie nachgelagerte Auswirkungen rechts bewerten oder vorgelagerte Herkunfts- und Quelltabellen links verfolgen.

Herkunftsdiagramm interpretieren

Das Herkunftsdiagramm besteht aus Knoten und Verknüpfungen:

• Knoten: Stellen Daten-Assets dar. Zu den unterstützten Looker (Google Cloud Core)-Assets gehören:
  • Looker-Dashboard
  • Looker-Dashboard-Element (Tile)
  • Looker-Look
  • LookML-Dashboard
  • Looker-Agent (Agent für konversationelle Analysen)
  • LookML-Explore
  • LookML-Ansicht
• Links: Stellen den Datenfluss dar. Ein Link von einer BigQuery-Tabelle zu einer LookML-Ansicht gibt beispielsweise an, dass die Ansicht Daten aus dieser Tabelle auswählt.

Assetinhaber identifizieren

So finden Sie heraus, wer der Inhaber eines nachgelagerten Assets ist, das von einer Änderung betroffen sein könnte:

1. Klicken Sie im Herkunftsdiagramm auf den Knoten für das Asset (z. B. ein Looker-Dashboard).
2. Auf der rechten Seite des Bildschirms wird ein Informationsbereich geöffnet.
3. Suchen Sie im Abschnitt Aspekte nach dem Inhaber (E‑Mail-Adresse).

Lineage-Liste filtern

In der Listenansicht für die Herkunft können Sie Entitäten nach Attributname oder -wert filtern. Komplexe LookML-Modelle können beispielsweise große Herkunftsdiagramme mit vielen Zwischenentitäten generieren. Wenn Sie sich auf die geschäftlichen Auswirkungen konzentrieren möchten, können Sie nach Entitätstyp filtern. Gehen Sie dazu so vor:

1. Wechseln Sie auf dem Tab Herkunft zur Listenansicht.
2. Suchen Sie in der Symbolleiste nach den Filteroptionen.
3. Geben Sie im Filter Entität die Werte Looker-Dashboard, LookML-Dashboard und Looker-Look ein, um Zwischentypen wie LookML-Ansicht und LookML-Explore herauszufiltern.

Die Entitätsliste wird aktualisiert und enthält nur die ausgewählten Asset-Typen. So lassen sich für Nutzer sichtbare Inhalte leichter identifizieren.

Beschränkungen

Für die Integration der Herkunft in Looker (Google Cloud Core) gelten die folgenden Einschränkungen:

• Instanztypen: Die Herkunft wird nur für Looker (Google Cloud Core)-Instanzen unterstützt. Looker (Original)-Instanzen unterstützen keine Herkunft.
• Datenquellen: Die Herkunft wird nur für BigQuery-Datenquellen unterstützt.
• Detaillierungsgrad: Die Herkunft wird auf Objektebene (Tabelle, Ansicht, Explore, Looker-Dashboard, LookML-Dashboard und Conversational Analytics-Agent) angegeben. Datenherkunft auf Spaltenebene wird nicht unterstützt.
• Latenz: Herkunftsdaten sind keine Echtzeitdaten. Die Synchronisierung dauert in der Regel vier Stunden. Die Synchronisierung kann jedoch je nach Zeitpunkt der Looker-Metadatenexporte und der Nutzung von Herkunftsdaten bis zu acht Stunden dauern. Es kann einige Zeit dauern, bis Änderungen, die in Looker oder BigQuery vorgenommen wurden, im Herkunftsdiagramm angezeigt werden. Die erste Synchronisierung nach dem Aktivieren der Integration kann bis zu 24 Stunden dauern.
• Komplexes SQL: LookML, das mit komplexem benutzerdefiniertem SQL definiert ist (z. B. Liquid-Vorlagen, abgeleitete Tabellen mit komplexen Joins), wird möglicherweise nicht vollständig geparst, was zu nicht verbundenen Knoten führen kann.

Preise

Die Datenherkunft für Looker (Google Cloud Core) ist allgemein verfügbar. Die Preise werden zu einem späteren Zeitpunkt eingeführt. Sie werden vorab über eine Servicemitteilung informiert.

Weitere Informationen finden Sie auf der Preisseite für Knowledge Catalog.

Nächste Schritte

• Metadatenressourcen mit Knowledge Catalog verwalten
• Weitere Informationen zur Datenherkunft