Looker (Google Cloud Core)-Ressourcen mit Knowledge Catalog verwalten

Sie können Metadaten aus Ihren Looker (Google Cloud Core)-Instanzen mit Knowledge Catalog verwalten. Durch die Verwaltung von Metadaten können Sie Ihre Daten steuern und fundierte Entscheidungen treffen.

Knowledge Catalog ist eine Plattform zur Datenkatalogisierung, auf der Ihre Metadaten gespeichert und verwaltet werden und auf die Sie zugreifen können. Es indexiert Produktions-LookML, LookML-Projekt und Dashboard-Metadaten aus Looker (Google Cloud Core).

Diese Integration bietet eine einheitliche Ansicht Ihrer Daten-Assets und ihrer Beziehungen, einschließlich des Datenursprungs. Mit Knowledge Catalog können Sie Impact-Analysen, Data Discovery und Change Management durchführen. So können Sie Daten in operative Workflows einbinden und neue Verwendungsmöglichkeiten für Ihre Daten finden.

Im Knowledge Catalog werden mehrere Ebenen von Looker-Entitäten erfasst, darunter:

  • Looker-Instanz
  • Dashboard
  • Dashboard-Element
  • Look
  • LookML-Projekt
  • Modell
  • Erkunden
  • Ansicht (mit Dimensionen und Messwerten)

So funktioniert die Integration

Bei der Integration von Looker und Knowledge Catalog wird ein eigener Connector für die Aufnahme von Metadaten verwendet. Looker (Google Cloud core) veröffentlicht LookML-Metadaten in regionalen Cloud Storage-Repositories, damit Knowledge Catalog sie über einen Batchsynchronisierungsprozess nutzen kann.

Die Datenübertragung von Looker (Google Cloud core) zu Knowledge Catalog erfolgt standardmäßig automatisch und erfordert keine Konfigurationsänderungen. Looker (Google Cloud core) verwendet interne Dienste, um die Synchronisierung durchzuführen. Der interne Batch-Synchronisierungsprozess wird etwa alle vier Stunden ausgeführt und die Daten aus Looker werden etwa stündlich in Knowledge Catalog aktualisiert.

Wenn Sie Ihre LookML-Modelle aktualisieren und in die Produktion übertragen, synchronisiert das System automatisch wichtige Metadaten mit Knowledge Catalog. Diese Metadaten umfassen Ansichts- und Explore-Details, Felddefinitionen und Modellinformationen. Entsprechend werden auch Dashboard-Metadaten wie Titel, Eigentumsrechte und Nutzungsstatistiken im Katalog angezeigt.

Wann sollte Knowledge Catalog mit Looker verwendet werden?

Mit Knowledge Catalog können Sie Ihre Looker-Metadaten ermitteln und analysieren. Der Katalog unterstützt Sie bei den folgenden Aktivitäten:

  • Wirkungsanalyse:Mit Data Lineage können Sie visualisieren, wie Daten von BigQuery in Looker-Dashboards fließen.
  • Erkennung:Sie können in Ihrer gesamten Organisation nach Dashboards, Explores und Ansichten suchen.
  • Änderungsmanagement:Machen Sie sich mit Abhängigkeiten vertraut, bevor Sie Änderungen vornehmen.
  • Pipelines für die Datenübertragung:Datenherkunft nachverfolgen.

Mit Knowledge Catalog können Sie auch Metadaten verwalten, indem Sie Looker-Metadateneinträgen Aspekte zuweisen. Wenn Sie Looker-Assets Aspekte zuweisen, können Sie den Assets geschäftliche Metadaten hinzufügen und anhand dieser Metadaten nach Assets suchen.

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, in dem sich Ihre Looker (Google Cloud Core)-Instanz befindet, um die Berechtigungen zu erhalten, die Sie für die Verwendung des Knowledge Catalog und der Looker (Google Cloud Core)-Integration benötigen:

  • So rufen Sie Knowledge Catalog-Ressourcen auf: Dataplex Viewer (roles/dataplex.viewer)

  • Für den Zugriff auf die Looker (Google Cloud Core)-Metadaten im Knowledge Catalog: Looker Schema Viewer (roles/looker.schemaViewer)

    • Die vordefinierte Rolle „Looker Schema Viewer“ enthält die Berechtigung looker.schemas.view, die für den Zugriff auf Looker (Google Cloud Core)-Metadaten im Knowledge Catalog erforderlich ist.

  • So deaktivieren oder aktivieren Sie die Integration zwischen Knowledge Catalog und Looker (Google Cloud Core): Looker-Administrator (roles/looker.admin)

  • So rufen Sie Datenherkunftsdiagramme auf: Data Lineage-Betrachter (roles/datalineage.viewer)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Einbindung von Knowledge Catalog und Ihrer Looker (Google Cloud Core)-Instanz aktivieren

Knowledge Catalog ist in Looker (Google Cloud Core)-Instanzen standardmäßig aktiviert. Informationen zum Deaktivieren der Integration finden Sie auf dieser Dokumentationsseite im Abschnitt Integration von Knowledge Catalog und Ihrer Looker (Google Cloud Core)-Instanz deaktivieren.

Wenn die Integration auf Ihrer Instanz deaktiviert ist und Sie sie aktivieren möchten, führen Sie die folgenden Schritte aus:

Console

  1. Dataplex API aktivieren Damit Sie die aufgenommenen Metadaten sehen können, müssen Sie die Cloud Dataplex API (dataplex.googleapis.com) für das Google Cloud Projekt aktivieren, in dem sich Ihre Looker (Google Cloud Core)-Instanz befindet.

    Dataplex API aktivieren

  2. Klicken Sie auf der Seite Instanz der Instanz auf dem Tab Details auf Bearbeiten.
  3. Maximieren Sie den Bereich Knowledge Catalog-Einbindung.
  4. Deaktivieren Sie das Kästchen Knowledge Catalog-Einbindung deaktivieren.
    • Hinweis:Wenn Sie diese Einstellung aktivieren, werden sowohl die Metadatenerfassung als auch die Datenherkunft aktiviert (sofern die Data Lineage API aktiviert ist).
  5. Klicken Sie auf Speichern.

gcloud

Achten Sie darauf, dass die Dataplex API für das Google Cloud -Projekt, in dem sich Ihre Looker (Google Cloud Core)-Instanz befindet, aktiviert ist.

Verwenden Sie den Befehl gcloud looker instances update mit dem Flag --catalog-integration-enabled, um die Integration zu aktivieren:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Ersetzen Sie INSTANCE_NAME durch den Namen der Looker-Instanz (Google Cloud Core).

Nachdem die Integration aktiviert wurde, kann es bis zu einem Tag dauern, bis Looker-Daten in Knowledge Catalog verfügbar sind.

Nach Looker-Assets suchen

Wenn Sie Looker-Daten (Google Cloud core) im Knowledge Catalog ansehen möchten, müssen Sie zuerst die Dataplex API aktivieren. Um die Berechtigung zum Aktivieren von APIs zu erhalten, benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin).

Dataplex API aktivieren

Verwenden Sie die Seite Suchen im Knowledge Catalog in der Google Cloud Console, um nach Looker-Assets (Google Cloud core) zu suchen.

Zur Suche

Im Bereich Filter können Sie nach Looker-Assets (Google Cloud core) filtern. Verwenden Sie dazu die Abschnitte Projekt, System und Typ-Aliase. Im Bereich System können Sie nach Looker filtern. Unter Typaliase können Sie die Suchergebnisse nach einem bestimmten Typ von Looker-Asset filtern, indem Sie einen oder mehrere der folgenden Werte auswählen:

  • Dashboard
  • Dashboard-Element
  • Erkunden
  • LookML-Projekt
  • Modell
  • Instanz
  • Ansehen
  • Sonstiges

Sie können auch das Suchfeld verwenden, um Suchanfragen auszuführen. Sie können eine Suche mit Suchbegriffen oder in natürlicher Sprache durchführen. Wenn Sie beispielsweise alle Looker-Assets über die Keyword-Suche aufrufen möchten, geben Sie system=Looker ein. Wenn Sie alle Looker-Dashboards aufrufen möchten, geben Sie die Abfrage system=Looker AND type=DASHBOARD ein. Die folgenden Assets sind für die Suche mit dem Keyword type verfügbar:

  • Dashboard
  • dashboard_element
  • analysieren
  • Instanz
  • Look
  • lookml_project
  • Modell
  • Ansicht

Weitere Informationen zur Suche nach Ressourcen finden Sie auf der Dokumentationsseite Nach Ressourcen im Knowledge Catalog suchen. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden können, finden Sie auf der Dokumentationsseite Suchsyntax für Knowledge Catalog.

Einbindung von Knowledge Catalog in Ihre Looker (Google Cloud Core)-Instanz deaktivieren

So deaktivieren Sie die Einbindung von Knowledge Catalog und Ihrer Looker (Google Cloud Core)-Instanz:

Console

  1. Klicken Sie auf der Seite Instanz der Instanz auf dem Tab Details auf Bearbeiten.
  2. Maximieren Sie den Bereich Knowledge Catalog-Einbindung.
  3. Klicken Sie das Kästchen Knowledge Catalog-Einbindung deaktivieren an.
    • Hinweis:Wenn Sie diese Einstellung deaktivieren, werden sowohl die Metadatenerfassung als auch die Datenherkunft deaktiviert (sofern die Data Lineage API aktiviert ist).
  4. Klicken Sie auf Speichern.

gcloud

Verwenden Sie den Befehl gcloud looker instances update mit dem Flag --no-catalog-integration-enabled, um die Integration zu aktivieren:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Ersetzen Sie INSTANCE_NAME durch den Namen der Looker (Google Cloud Core)-Instanz.

Wenn die Integration deaktiviert wird, nachdem sie aktiviert wurde, bleiben die Looker-Metadaten, die sich bereits in Knowledge Catalog befinden, in Knowledge Catalog. Sie werden jedoch nicht mit neuen Metadaten aktualisiert.

VPC Service Controls

Die Integration zwischen Looker (Google Cloud Core) und Knowledge Catalog unterstützt VPC Service Controls.

Wenn sich Ihre Looker (Google Cloud Core)-Instanz oder Knowledge Catalog-Ressourcen in einem VPC Service Controls-Dienstperimeter befinden, müssen Sie dafür sorgen, dass die für den Metadatenexport erforderlichen Dienste zugänglich sind.

  • Die Dataplex API (dataplex.googleapis.com) muss als eingeschränkter Dienst in Ihrem Perimeter konfiguriert sein.
  • Bei der Integration werden interne Cloud Storage-Buckets zum Übertragen von Metadaten verwendet. Achten Sie darauf, dass Ihr Dienstperimeter den Zugriff auf die erforderlichen Cloud Storage-Ressourcen zulässt. Wenden Sie sich an Ihr Google Cloud Account-Management-Team oder an den SupportPERMISSION_DENIED, wenn beim Export von Metadaten Fehler auftreten.

Preise

Für das Speichern technischer Metadaten von Looker (Google Cloud core) in Knowledge Catalog fallen keine Kosten an. Für API-Aufrufe und die Anreicherung zusätzlicher Unternehmensmetadaten gelten die Standardpreise für Knowledge Catalog. Weitere Informationen finden Sie auf der Preisseite für den Knowledge Catalog.

Beschränkungen

In diesem Abschnitt werden die Einschränkungen bei der Verwendung von Looker (Google Cloud core) und Knowledge Catalog aufgeführt:

  • Die Metadaten aus Looker sind nicht sofort im Katalog verfügbar. Die Batch-Synchronisierung wird in einem festgelegten Intervall ausgeführt und die Daten werden ungefähr stündlich aktualisiert.
  • Für diese Integration ist keine öffentliche API verfügbar.
  • Informationen zu Einschränkungen bei der Datenherkunft finden Sie auf der Seite Datenherkunft mit Knowledge Catalog nachverfolgen.

Nächste Schritte