Datenherkunft mit Knowledge Catalog verfolgen

Auf dieser Seite wird beschrieben, wie Sie die Datenherkunft für Ihre Looker (Google Cloud Core)-Instanz mit Knowledge Catalog nachverfolgen.

Bei der Datenherkunft wird nachverfolgt, wie Daten durch Ihre Systeme fließen. Durch die Integration von Looker (Google Cloud Core) in Knowledge Catalog können Sie den End-to-End-Pfad Ihrer Daten von der Quelle in BigQuery über die semantische Looker-Ebene (LookML-Ansichten und ‑Explores) bis hin zur nachgelagerten Verwendung in Dashboards und Looks visualisieren.

Diese Transparenz hilft Data Engineers und Administratoren bei der Wirkungsanalyse. Bevor Sie beispielsweise eine Spalte in einer BigQuery-Tabelle löschen, können Sie sich das Lineage-Diagramm ansehen, um genau zu sehen, welche Looker-Dashboards durch die Änderung beschädigt würden.

Hinweis

Wenn Sie Data Lineage mit Looker (Google Cloud Core) verwenden möchten, müssen die folgenden Voraussetzungen erfüllt sein:

  1. Looker (Google Cloud Core): Der Datenursprung wird für alle Versionstypen von Looker (Google Cloud Core)-Instanzen unterstützt. Looker-Instanzen (Original) werden nicht in Knowledge Catalog eingebunden.
  2. Erforderliche Berechtigungen:Zum Aufrufen von Herkunftsdiagrammen benötigen Sie die folgenden IAM-Rollen:
    • Looker Schema Viewer (roles/looker.schemaViewer) für das Projekt, in dem die Looker (Google Cloud Core)-Instanz gehostet wird
    • Dataplex Viewer (roles/dataplex.viewer) oder entsprechende Berechtigungen zum Ansehen von Knowledge Catalog-Assets
    • Data Lineage-Betrachter (roles/datalineage.viewer) zum Lesen von Herkunftsdaten

Lineage aktivieren

Führen Sie die folgenden Schritte aus, um den Datenursprung zu aktivieren:

  1. Knowledge Catalog-Einbindung für Looker (Google Cloud Core) aktivieren: Die Einbindung zwischen Ihrer Looker (Google Cloud Core)-Instanz und Knowledge Catalog ist in der Google Cloud Console standardmäßig aktiviert. Wenn die Integration deaktiviert wurde, müssen Sie sie wieder aktivieren. Eine Anleitung finden Sie unter Integration aktivieren.
  2. Aktivieren Sie die Vorschaufunktion „Knowledge Catalog Lineage“ in Looker: Die Vorschaufunktion Knowledge Catalog Lineage ist standardmäßig auf der Seite Vorschaufunktionen im Bereich Administrator Ihrer Looker (Google Cloud Core)-Instanz deaktiviert.
  3. Data Lineage API aktivieren:Sie müssen die Data Lineage API (datalineage.googleapis.com) für alle Google Cloud Projekte aktivieren, in denen Ihre Looker-Instanz (Google Cloud Core) und Ihre BigQuery-Daten gehostet werden.

    Data Lineage API aktivieren

  4. Erfassung auf Dienstebene aktivieren:Ensure, dass die Integration auf Dienstebene für Lineage und Looker (Google Cloud Core) aktiviert ist. Der Service-Level-Lineage folgt den folgenden Standardstatus:
    • Um zukünftige Auswirkungen auf die Preise zu vermeiden, ist die Erfassung von Lineage auf Dienstebene für Looker (Google Cloud Core) standardmäßig für Projekte deaktiviert, für die zum Zeitpunkt der Vorabveröffentlichung dieser Funktion die Data Lineage API aktiviert war und in denen mindestens eine Looker (Google Cloud Core)-Instanz gehostet wurde.
    • Die Erfassung von Lineage auf Dienstebene ist standardmäßig für Looker (Google Cloud Core)-Instanzen aktiviert, die nach dem Datum der Vorabveröffentlichung dieser Funktion in Projekten mit aktivierter Data Lineage API erstellt wurden.

Informationen zum Aufrufen der Lineage-Konfiguration für ein Google Cloud -Projekt finden Sie in der Dokumentation unter Aktuelle Konfiguration abrufen. Wenn die Integration mit Looker (Google Cloud Core) deaktiviert ist, gibt der Befehl eine Ausgabe zurück, die in etwa so aussieht:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Die Projekt-ID in der Antwort entspricht der ID in Ihrer Anfrage. Das Feld etag ist eine vom Server generierte Prüfsumme, die auf dem aktuellen Wert der Konfiguration basiert.

Data Lineage ansehen

Sobald die Integration aktiviert und die erste Synchronisierung abgeschlossen ist (was bis zu 24 Stunden dauern kann), können Sie die Herkunft in der Knowledge Catalog-Konsole ansehen.

  1. Rufen Sie in der Google Cloud Console die Seite Knowledge Catalog auf.

    Zu Knowledge Catalog

  2. Klicken Sie im linken Navigationsbereich auf Suche.
  3. Suchen Sie nach einer BigQuery-Tabelle oder einem Looker (Google Cloud Core)-Asset wie einem Dashboard oder einem Explore.
    • Im Bereich Filter können Sie nach System > Looker filtern.
  4. Klicken Sie auf den Namen des Assets, um die Detailseite zu öffnen.
  5. Klicken Sie auf den Tab Lineage.

Im Lineage-Diagramm wird das Asset als zentraler Knoten dargestellt. Die Upstream-Quellen befinden sich links und die Downstream-Nutzer rechts.

Herkunftsdiagramm interpretieren

Das Herkunftsdiagramm besteht aus Knoten und Links:

  • Knoten:Stellen Daten-Assets dar. Zu den unterstützten Looker (Google Cloud Core)-Assets gehören:
    • Looker-Dashboard
    • Looker-Dashboard-Element (Kachel)
    • Looker-Look
    • LookML-Analyse
    • LookML-Ansicht
  • Links:Stellen den Datenfluss dar. Ein Link von einer BigQuery-Tabelle zu einer LookML-Ansicht gibt beispielsweise an, dass die Ansicht Daten aus dieser Tabelle auswählt.

Assetinhaber identifizieren

So finden Sie heraus, wem ein Downstream-Asset gehört, das von einer Änderung betroffen sein könnte:

  1. Klicken Sie im Lineage-Diagramm auf den Knoten für das Asset (z. B. ein Looker-Dashboard).
  2. Auf der rechten Seite des Bildschirms wird ein Informationsfeld geöffnet.
  3. Suchen Sie nach dem Abschnitt Aspekte, um den Inhaber (E‑Mail-Adresse) zu finden.

Lineage-Liste filtern

In der Listenansicht für den Datenursprung können Sie Entitäten nach Attributname oder -wert filtern. Komplexe LookML-Modelle können beispielsweise große Herkunftsgraphen mit vielen Zwischenentitäten generieren. Wenn Sie sich auf die geschäftlichen Auswirkungen konzentrieren möchten, können Sie nach Entitätstyp filtern. Gehen Sie dazu so vor:

  1. Wechseln Sie auf dem Tab Lineage zur Listenansicht.
  2. Suchen Sie in der Symbolleiste nach den Filter-Optionen.
  3. Geben Sie im Filter Entität Looker-Dashboard und Looker-Look ein, um Zwischentypen wie LookML-Ansicht und Looker-Explore herauszufiltern.

Die Entitätsliste wird aktualisiert und enthält nur die ausgewählten Assettypen. So lassen sich nutzerorientierte Inhalte leichter identifizieren.

Beschränkungen

Die Lineage-Integration für Looker (Google Cloud Core) unterliegt während der Vorabversion den folgenden Einschränkungen:

  • Datenquellen:In der Vorschau wird die Herkunft nur für BigQuery-Datenquellen unterstützt.
  • Detaillierungsgrad:Die Herkunft wird auf Objektebene (Tabelle, Ansicht, Explore, Dashboard) angegeben. Herkunft auf Spaltenebene wird nicht unterstützt.
  • Latenz:Herkunftsdaten sind keine Echtzeitdaten. Die Synchronisierung dauert in der Regel vier Stunden. Die Synchronisierung kann jedoch je nach Zeitpunkt der Looker-Metadatenexporte und des Verbrauchs von Lineage-Daten bis zu acht Stunden dauern. Es kann einige Zeit dauern, bis Änderungen, die in Looker oder BigQuery vorgenommen wurden, im Herkunftsdiagramm angezeigt werden.
  • Komplexes SQL:LookML, das mit komplexem benutzerdefiniertem SQL definiert ist (z. B. Liquid-Vorlagen, abgeleitete Tabellen mit komplexen Joins), wird möglicherweise nicht vollständig geparst, was zu getrennten Knoten führen kann.

Preise

Während der Vorabversion fallen für die mit dieser Integration verwendeten Funktionen zur Datenherkunft keine Kosten an.

Sobald Data Lineage allgemein verfügbar ist, fallen Gebühren an. Um zukünftige Preisauswirkungen zu vermeiden, ist die Aufnahme von Looker (Google Cloud Core)-Abstammungsinformationen standardmäßig für Projekte deaktiviert, für die zum Zeitpunkt der Vorabveröffentlichung dieser Funktion die Data Lineage API aktiviert war und in denen mindestens eine Looker (Google Cloud Core)-Instanz gehostet wurde.

Weitere Informationen finden Sie auf der Preisseite für den Knowledge Catalog.

Nächste Schritte