Looker (Google Cloud Core)-Ressourcen mit Knowledge Catalog verwalten

Sie können Metadaten aus Ihren Looker (Google Cloud Core)-Instanzen mit Knowledge Catalog verwalten. Die Verwaltung von Metadaten hilft Ihnen, Ihre Daten zu verwalten und fundierte Entscheidungen zu treffen.

Knowledge Catalog ist eine Data Catalog-Plattform, auf der Ihre Metadaten gespeichert, verwaltet und zugänglich gemacht werden. Es werden Produktions-LookML, LookML-Projekte und Dashboard-Metadaten aus Looker (Google Cloud Core) indexiert.

Diese Integration bietet eine zentrale Ansicht Ihrer Daten-Assets und ihrer Beziehungen, einschließlich der Datenherkunft. Mit Knowledge Catalog können Sie Auswirkungsanalysen, Datenerkennung und Änderungsmanagement durchführen. So können Sie Daten in operative Workflows einbinden und neue Verwendungsmöglichkeiten für Ihre Daten finden.

Der Knowledge Catalog erfasst mehrere Entitätsebenen aus Looker, darunter:

• Looker-Instanz: einschließlich Instanz-ID, URL und zugehöriger Dashboards
• Agent: einschließlich Ersteller, Beschreibung und Datenquelle
• Dashboard: einschließlich Name, Layout, Filter und zugehörige Dashboard-Elemente
• Dashboard-Element: einschließlich Typ, Abfrage, Modell und Explores
• Explore: einschließlich Label, Standardabfragen, Fremdschlüssel, Join-Bedingungen (sql_on, relationship und type), Filter (always_filter, conditionally_filter, access_filter, sql_always_where und sql_always_having), Schema mit Dimensions- und Messwertdefinitionen sowie Synonyme
• Look: einschließlich Creator-Projekt, Explore, Modell und Feldern
• LookML-Dashboard: einschließlich Beschreibung, Dashboard-Name, Layout, Filter und zugehörige LookML-Dashboard-Elemente
• LookML-Dashboard-Element: einschließlich Beschreibung, Abfragen, zusammengeführte Abfragen
• LookML-Projekt: einschließlich Beschreibung und zugehöriger Modelle
• Modell: einschließlich Pfad, Projekt-URL, Verbindung und zugehöriger Ansichten, Explores und LookML-Dashboards
• Ansicht: einschließlich abgeleiteter Tabelle, Clusterschlüssel, Primärschlüssel und Schema mit Dimensions- und Messwertdefinitionen

Die Integration von Knowledge Catalog und Looker (Google Cloud Core) umfasst auch definierte Beziehungen, darunter:

• reference Eintragslinks, die Beziehungen zwischen Looker-Objekten darstellen
• schema-join-Eintragslinks, die Primärschlüssel- und Fremdschlüsselzuordnungen darstellen

Funktionsweise der Integration

Für die Einbindung von Looker und Knowledge Catalog wird ein Erstanbieter-Connector für die Metadatenaufnahme verwendet. Looker (Google Cloud Core) veröffentlicht LookML-Metadaten in regionalen Cloud Storage-Repositories, damit Knowledge Catalog sie über einen Live-Synchronisierungsprozess nutzen kann.

Die Datenübertragung von Looker (Google Cloud Core) zu Knowledge Catalog erfolgt standardmäßig automatisch und erfordert keine Konfigurationsänderungen. Looker (Google Cloud Core) verwendet interne Dienste, um eine Live-Synchronisierung durchzuführen.

Wenn Sie Ihre LookML-Modelle aktualisieren und in die Produktion übertragen, synchronisiert das System wichtige Metadaten automatisch mit Knowledge Catalog. Diese Metadaten enthalten Details zu Ansichten und Explores, Felddefinitionen und Modellinformationen. Auch Dashboard-Metadaten, einschließlich Titel, Eigentümer und Nutzungsstatistiken, werden im Katalog angezeigt.

Wann Knowledge Catalog mit Looker verwendet werden sollte

Mit Knowledge Catalog können Sie Ihre Looker-Metadaten ermitteln und analysieren. Der Katalog unterstützt die folgenden Aktivitäten:

• Genauigkeit von KI- und Daten-Agents: Verwenden Sie indexierte LookML-Modelle, Explores und Ansichten als semantische Definitionen. Durch das Fundieren der Abfragegenerierung anhand von Looker-Einträgen im Knowledge Catalog wird sichergestellt, dass KI-Agenten die offizielle Geschäftslogik einhalten (zertifizierte Messwerte, Dimensionen und gültige Join-Pfade).
• End-to-End-Datenherkunft (Auswirkungsanalyse und Herkunft): Verwenden Sie die Datenherkunft, um zu visualisieren, wie Daten zwischen Datenquellen (z. B. BigQuery) und Looker-Assets in beide Richtungen fließen:
  • Downstream-Wirkungsanalyse: Vorhersagen, welche Dashboards und Explores von Schema- oder Modelländerungen betroffen sind.
  • Upstream-Datenprüfung: Prüfen Sie den Ursprung, die Transformationen und die Chain of Custody der Messwerte, die in Executive-Dashboards und Looks angezeigt werden.
• Erkennung und Asset-Konsolidierung: Suchen Sie in Ihrer Organisation nach zertifizierten Dashboards, Explores und Ansichten, um doppelte Berichte und redundante Datenmodellierung zu vermeiden.

Mit Knowledge Catalog können Sie auch Metadaten verwalten, indem Sie Looker-Metadateneinträgen Aspekte zuweisen. Wenn Sie Looker-Assets Aspekte zuweisen, können Sie den Assets geschäftliche Metadaten hinzufügen und anhand dieser Metadaten nach Assets suchen.

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, in dem sich Ihre Looker (Google Cloud Core)-Instanz befindet, um die Berechtigungen zu erhalten, die Sie für die Verwendung der Integration von Knowledge Catalog und Looker (Google Cloud Core) benötigen:

• Zum Ansehen von Knowledge Catalog-Ressourcen: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)

• Für den Zugriff auf die Looker (Google Cloud Core)-Metadaten im Knowledge Catalog: Looker Schema Viewer (roles/looker.schemaViewer)

  • Die vordefinierte Rolle „Looker Schema Viewer“ enthält die Berechtigung looker.schemas.view, die für den Zugriff auf Looker (Google Cloud Core)-Metadaten im Knowledge Catalog erforderlich ist.
  Hinweis: Sie können die Rolle „Looker Schema Viewer“ nur über die Google Cloud CLI hinzufügen.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  Weitere Informationen finden Sie in der Dokumentation zu add-iam-policy-binding.

• Zum Deaktivieren oder Aktivieren der Integration zwischen Knowledge Catalog und Looker (Google Cloud Core): Looker-Administrator (roles/looker.admin)

• Zum Aufrufen von Datenherkunftsdiagrammen: Data Lineage-Betrachter (roles/datalineage.viewer)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Achtung: Sie müssen die Rolle „Looker Schema Viewer“ oder die Berechtigung looker.schema.view auf Projektebene gewähren. Nutzer mit dieser Berechtigung können die Metadaten für alle Looker (Google Cloud Core)-Instanzen im Projekt aufrufen, für die die Integration aktiviert ist.

Einbindung von Knowledge Catalog und Ihrer Looker (Google Cloud Core)-Instanz aktivieren

Knowledge Catalog ist auf Looker (Google Cloud Core)-Instanzen standardmäßig aktiviert. Informationen zum Deaktivieren der Integration finden Sie im Abschnitt Integration von Knowledge Catalog und Ihrer Looker (Google Cloud Core)-Instanz deaktivieren auf dieser Dokumentationsseite.

Wenn die Integration auf Ihrer Instanz deaktiviert ist und Sie sie aktivieren möchten, führen Sie die folgenden Schritte aus:

Console

1. Dataplex API aktivieren Wenn Sie die aufgenommenen Metadaten ansehen möchten, müssen Sie die Cloud Dataplex API (dataplex.googleapis.com) im Google Cloud Projekt aktivieren, in dem Ihre Looker (Google Cloud Core)-Instanz gehostet wird.

   Dataplex API aktivieren

2. Klicken Sie auf dem Tab Details der Seite Instanz auf Bearbeiten.
3. Maximieren Sie den Abschnitt Knowledge Catalog-Einbindung.
4. Heben Sie die Auswahl des Kästchens Knowledge Catalog-Einbindung deaktivieren auf.
   • Hinweis: Wenn Sie diese Einstellung aktivieren, werden sowohl die Metadatenaufnahme als auch die Datenherkunft aktiviert (sofern die Data Lineage API aktiviert ist).
5. Klicken Sie auf Speichern.

gcloud

Die Dataplex API muss im Google Cloud -Projekt, in dem Ihre Looker (Google Cloud Core)-Instanz gehostet wird, aktiviert sein.

Verwenden Sie den Befehl gcloud looker instances update mit dem Flag --catalog-integration-enabled, um die Integration zu aktivieren:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Ersetzen Sie INSTANCE_NAME durch den Namen der Looker (Google Cloud Core)-Instanz.

Nachdem die Integration aktiviert wurde, kann es bis zu einem Tag dauern, bis Looker-Daten in Knowledge Catalog verfügbar sind.

Nach Looker-Assets suchen

Wenn Sie Looker (Google Cloud Core)-Daten in Knowledge Catalog ansehen möchten, müssen Sie zuerst die Dataplex API aktivieren. Um die Berechtigung zu erhalten, die Sie zum Aktivieren von APIs benötigen, müssen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) haben.

Dataplex API aktivieren

Verwenden Sie die Seite Suchen im Knowledge Catalog in der Google Cloud -Console, um nach Looker (Google Cloud Core)-Assets zu suchen.

Zur Suche

Im Bereich Filter können Sie mithilfe der Abschnitte Projekt, Systeme und Typ-Aliasse nach Looker (Google Cloud core)-Assets filtern. Im Abschnitt Systeme können Sie nach Looker filtern. Unter Typ-Aliasse können Sie die Suchergebnisse nach einem bestimmten Asset-Typ filtern.

Wenn Sie den Filter Systeme auf Looker gesetzt haben, können Sie nach einem bestimmten Typ von Looker-Asset filtern, indem Sie im Abschnitt Typ-Aliasse eine oder mehrere der folgenden Optionen auswählen:

• Agent
• Dashboard
• Dashboard-Element
• Erkunden
• Instanz
• Look
• LookML-Projekt
• Modell
• Ansehen
• Sonstiges

Hinweis: Wenn Sie nach Dashboard filtern, werden sowohl benutzerdefinierte als auch LookML-Dashboards zurückgegeben. Wenn Sie nach Dashboard-Element filtern, werden Elemente aus benutzerdefinierten und LookML-Dashboards zurückgegeben.

Sie können Suchanfragen auch direkt in das Suchfeld eingeben. Verwenden Sie dazu die Keyword- oder die Syntax für natürliche Sprache. Wenn Sie beispielsweise alle Looker-Assets aufrufen möchten, geben Sie system=Looker ein. Geben Sie system=Looker AND type=dashboard ein, um alle Looker-Dashboards aufzurufen.

Tipp: Der Qualifier type und die Typ-Aliasse sind nicht systemspezifisch. Wenn Sie beispielsweise nur nach type=view filtern (oder nur Ansicht in Typ-Aliasse auswählen), werden sowohl Looker-Ansichten als auch BigQuery-Ansichten zurückgegeben. Wenn Sie speziell nach Looker-Ansichten filtern möchten, filtern Sie sowohl nach System als auch nach Typ: Wählen Sie unter Systeme die Option Looker und unter Typ-Aliasse die Option Ansicht aus oder geben Sie system=Looker AND type=view in das Suchfeld ein.

Sie können die folgenden Werte mit dem Qualifizierer type verwenden:

• agent
• dashboard
• dashboard_element
• explore
• instance
• look
• lookml_project
• model
• view

Hinweis: Bei der Suche mit dashboard werden sowohl benutzerdefinierte als auch LookML-Dashboards zurückgegeben. Bei der Suche mit dashboard_element werden Elemente aus benutzerdefinierten und LookML-Dashboards zurückgegeben.

Sie können auch mit der Methode lookupEntryLinks nach Looker-bezogenen BigQuery-Einträgen suchen. Der Link für den Eintrag reference stellt den Link von BigQuery-Tabelleneinträgen zu den entsprechenden Looker-Ansichtseinträgen dar.

Weitere Informationen zur Suche nach Ressourcen finden Sie unter Ressourcen in Knowledge Catalog suchen. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden können, finden Sie unter Suchsyntax für Knowledge Catalog.

Einbindung von Knowledge Catalog und Ihrer Looker (Google Cloud Core)-Instanz deaktivieren

So deaktivieren Sie die Integration von Knowledge Catalog und Ihrer Looker (Google Cloud Core)-Instanz:

Console

1. Klicken Sie auf dem Tab Details der Seite Instanz auf Bearbeiten.
2. Maximieren Sie den Abschnitt Knowledge Catalog-Einbindung.
3. Klicken Sie das Kästchen Knowledge Catalog-Einbindung deaktivieren an.
   • Hinweis: Wenn Sie diese Einstellung deaktivieren, werden sowohl die Metadatenaufnahme als auch die Datenherkunft deaktiviert (falls die Data Lineage API aktiviert ist).
4. Klicken Sie auf Speichern.

gcloud

Verwenden Sie den Befehl gcloud looker instances update mit dem Flag --no-catalog-integration-enabled, um die Integration zu aktivieren:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Ersetzen Sie INSTANCE_NAME durch den Namen der Looker (Google Cloud Core)-Instanz.

Wenn die Integration deaktiviert wird, nachdem sie aktiviert wurde, bleiben die Looker-Metadaten, die sich bereits in Knowledge Catalog befinden, dort, werden aber nicht mit neuen Metadaten aktualisiert.

VPC Service Controls

Die Integration von Looker (Google Cloud Core) und Knowledge Catalog unterstützt VPC Service Controls.

Wenn sich Ihre Looker (Google Cloud Core)-Instanz oder Knowledge Catalog-Ressourcen innerhalb eines VPC Service Controls-Dienstperimeters befinden, müssen Sie dafür sorgen, dass die Dataplex API (dataplex.googleapis.com) als eingeschränkter Dienst innerhalb Ihres Perimeters konfiguriert ist.

Preise

Für das Speichern technischer Metadaten von Looker (Google Cloud ) in Knowledge Catalog fallen keine Kosten an. Für API-Aufrufe und die zusätzliche Anreicherung von Geschäftsmetadaten gelten die Standardpreise für Knowledge Catalog. Weitere Informationen finden Sie auf der Preisseite für Knowledge Catalog.

Nächste Schritte

• Datenherkunft mit Knowledge Catalog verfolgen
• Informationen zur Metadatenverwaltung in Knowledge Catalog
• Weitere Informationen zum Suchen nach Ressourcen in Knowledge Catalog.
• Aspekte verwalten und Metadaten anreichern