Looker (Google Cloud Core)-Ressourcen mit Dataplex Universal Catalog verwalten

Auf dieser Seite wird erläutert, wie Sie mit Dataplex Universal Catalog nach Looker (Google Cloud core)-Metadatenressourcen suchen und diese verwalten können.

Dataplex Universal Catalog ist eine Plattform, auf der Sie Ihre Metadaten speichern und verwalten und auf sie zugreifen können. Es fungiert als Katalogisierungstool, das Produktions LookML-, LookML-Projekt- und Dashboard-Metadaten aus Looker (Google Cloud core) indexiert. Diese Integration bietet eine einheitliche und umfassende Ansicht von Daten-Assets und ihren Beziehungen, einschließlich der Datenherkunft.

Dataplex Universal Catalog erfasst mehrere Entitätsebenen aus Looker, darunter:

  • Looker-Instanz
  • Dashboard
  • Dashboard-Element
  • Look
  • LookML-Projekt
  • Modell
  • Entdecken
  • Ansicht (mit Dimensionen und Kennzahlen)

Funktionsweise der Integration

Für die Integration von Looker und Dataplex Universal Catalog wird ein Erstanbieter-Connector für die Metadatenerfassung verwendet. Looker (Google Cloud core) veröffentlicht LookML-Metadaten in regionalen Cloud Storage-Repositories, damit sie von Dataplex Universal Catalog über einen Batch-Synchronisierungsprozess verwendet werden können.

Die Datenübertragung von Looker (Google Cloud core) an Dataplex Universal Catalog erfolgt standardmäßig automatisch und erfordert keine Konfigurationsänderungen. Looker (Google Cloud ) verwendet interne Dienste, um die Synchronisierung durchzuführen. Der interne Batch-Synchronisierungsprozess wird etwa alle vier Stunden ausgeführt und die Daten aus Looker werden etwa stündlich in Dataplex Universal Catalog aktualisiert.

Wenn Sie Ihre LookML-Modelle aktualisieren und in der Produktion bereitstellen, synchronisiert das System automatisch wichtige Metadaten mit Dataplex Universal Catalog. Diese Metadaten umfassen Ansichts- und Entdecken-Details, Felddefinitionen und Modellinformationen. Ebenso werden Dashboard-Metadaten, einschließlich Titel, Inhaberschaft und Nutzungsstatistiken, im Katalog angezeigt.

Wann sollte Dataplex Universal Catalog mit Looker verwendet werden?

Mit Dataplex Universal Catalog können Sie Ihre Looker-Metadaten ermitteln und analysieren. Der Katalog unterstützt Sie bei den folgenden Aktivitäten:

  • Auswirkungsanalyse:Mit der Datenherkunft können Sie visualisieren, wie Daten von BigQuery zu Looker-Dashboards fließen.
  • Erkennung:Suchen Sie in Ihrer Organisation nach Dashboards, Explores und Ansichten.
  • Änderungsmanagement:Abhängigkeiten verstehen, bevor Änderungen vorgenommen werden.
  • Datenübertragungspipelines:Datenherkunft verfolgen.

Mit Dataplex Universal Catalog können Sie Metadaten auch kuratieren, indem Sie Aspekte anhängen an Looker-Metadateneinträge. Wenn Sie Aspekte an Looker-Assets anhängen, können Sie den Assets geschäftliche Metadaten hinzufügen und anhand dieser Metadaten nach Assets suchen.

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, in dem sich Ihre Looker-Instanz befindet, um die Berechtigungen zu erhalten, die Sie für die Verwendung der Integration von Dataplex Universal Catalog und Looker benötigen:

  • Dataplex Universal Catalog-Ressourcen ansehen: Dataplex-Betrachter (roles/dataplex.viewer)
  • Auf die Looker-Metadaten in Dataplex Universal Catalog zugreifen: Looker-Schemabetrachter (roles/looker.schemaViewer)
    • Die vordefinierte Rolle „Looker-Schemabetrachter“ enthält die Berechtigung looker.schemas.view, die für den Zugriff auf Looker-Metadaten in Dataplex Universal Catalog erforderlich ist.
  • Die Integration zwischen Dataplex Universal Catalog und Looker deaktivieren oder aktivieren: Looker-Administrator (roles/looker.admin)
  • Datenherkunftsdiagramme ansehen: Data Lineage-Betrachter (roles/datalineage.viewer)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Integration von Dataplex Universal Catalog und Ihrer Looker-Instanz aktivieren

Dataplex Universal Catalog ist standardmäßig für Looker-Instanzen aktiviert. Informationen zum Deaktivieren der Integration finden Sie im Abschnitt Integration von Dataplex Universal Catalog und Ihrer Looker-Instanz deaktivieren auf dieser Dokumentationsseite.

Wenn die Integration für Ihre Instanz deaktiviert ist und Sie sie aktivieren möchten, führen Sie die folgenden Schritte aus:

Console

  1. Dataplex API aktivieren Damit Sie die erfassten Metadaten ansehen können, müssen Sie die Cloud Dataplex API (dataplex.googleapis.com) für das Google Cloud Projekt aktivieren, in dem sich Ihre Looker-Instanz befindet.

    Dataplex API aktivieren

  2. Klicken Sie auf dem Tab Details der Seite Instanz der Instanz auf Bearbeiten.
  3. Maximieren Sie den Abschnitt Universal Catalog-Integration.
  4. Deaktivieren Sie das Kästchen Dataplex Catalog-Einbindung deaktivieren.
    • Hinweis: Wenn Sie diese Einstellung aktivieren, werden sowohl die Metadatenerfassung als auch die Datenherkunft aktiviert (wenn die Data Lineage API aktiviert ist).
  5. Klicken Sie auf Speichern.

gcloud

Achten Sie darauf, dass die Dataplex API aktiviert ist für das Google Cloud Projekt, in dem sich Ihre Looker-Instanz befindet.

Verwenden Sie den gcloud looker instances update Befehl mit dem --catalog-integration-enabled Flag, um die Integration zu aktivieren:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Ersetzen Sie INSTANCE_NAME durch den Namen der Looker-Instanz.

Nachdem die Integration aktiviert wurde, kann es bis zu einem Tag dauern, bis die Looker-Daten in Dataplex Universal Catalog verfügbar sind.

Nach Looker-Assets suchen

Wenn Sie Looker (Google Cloud core)-Daten in Dataplex Universal Catalog ansehen möchten, müssen Sie zuerst die Dataplex API aktivieren. Um die Berechtigung zum Aktivieren von APIs zu erhalten, benötigen Sie die IAM-Rolle „Service Usage Admin“ (roles/serviceusage.serviceUsageAdmin).

Dataplex API aktivieren

Verwenden Sie die Seite Suche von Dataplex Universal Catalog in der Google Cloud Console, um nach Looker (Google Cloud core)-Assets zu suchen.

Zur Suche

Im Bereich Filter können Sie nach Looker-Assets filtern, indem Sie die Abschnitte Projekt, System und Typ-Aliase verwenden.Google Cloud Im Abschnitt System können Sie nach Looker filtern. Unter Typ-Aliase können Sie die Suchergebnisse nach einem bestimmten Looker-Assettyp filtern, indem Sie eine oder mehrere der folgenden Optionen auswählen:

  • Dashboard
  • Dashboard-Element
  • Entdecken
  • LookML-Projekt
  • Modell
  • Instanz
  • Ansicht
  • Sonstiges

Sie können auch das Suchfeld verwenden, um Suchanfragen auszuführen. Sie können eine Suche nach Keywords oder in natürlicher Sprache durchführen. Wenn Sie beispielsweise alle Looker-Assets über die Suche nach Keywords ansehen möchten, geben Sie system=Looker ein. Wenn Sie alle Looker-Dashboards ansehen möchten, geben Sie die Abfrage system=Looker AND type=DASHBOARD ein. Die folgenden Assets können mit dem Keyword type gesucht werden:

  • Dashboard
  • dashboard_element
  • Entdecken
  • Instanz
  • Look
  • lookml_project
  • Modell
  • Ansicht

Weitere Informationen zum Suchen nach Ressourcen finden Sie auf der Dokumentationsseite Nach Ressourcen in Dataplex Universal Catalog suchen. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden können, finden Sie auf der Dokumentationsseite Suchsyntax für Dataplex Universal Catalog.

Integration von Dataplex Universal Catalog und Ihrer Looker-Instanz deaktivieren

So deaktivieren Sie die Integration von Dataplex Universal Catalog und Ihrer Looker-Instanz:

Console

  1. Klicken Sie auf dem Tab Details der Seite Instanz der Instanz auf Bearbeiten.
  2. Maximieren Sie den Abschnitt Universal Catalog-Integration.
  3. Aktivieren Sie das Kästchen Dataplex Catalog-Einbindung deaktivieren.
    • Hinweis: Wenn Sie diese Einstellung deaktivieren, werden sowohl die Metadatenerfassung als auch die Datenherkunft deaktiviert (wenn die Data Lineage API aktiviert ist).
  4. Klicken Sie auf Speichern.

gcloud

Verwenden Sie den gcloud looker instances update Befehl mit dem --no-catalog-integration-enabled Flag, um die Integration zu aktivieren:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Ersetzen Sie INSTANCE_NAME durch den Namen der Looker-Instanz.

Wenn die Integration deaktiviert wird, nachdem sie aktiviert war, bleiben die Looker-Metadaten, die sich bereits in Dataplex Universal Catalog befinden, dort erhalten. Sie werden jedoch nicht mit neuen Metadaten aktualisiert.

VPC Service Controls

Die Integration zwischen Looker und Dataplex Universal Catalog unterstützt VPC Service Controls.

Wenn sich Ihre Looker-Instanz oder Dataplex Universal Catalog-Ressourcen innerhalb eines VPC Service Controls-Dienstperimeters befinden, müssen Sie dafür sorgen, dass die für den Metadatenexport erforderlichen Dienste zugänglich sind.

  • Achten Sie darauf, dass die Dataplex API (dataplex.googleapis.com) als eingeschränkter Dienst innerhalb Ihres Perimeters konfiguriert ist.
  • Für die Integration werden interne Cloud Storage-Buckets verwendet, um Metadaten zu übertragen. Achten Sie darauf, dass Ihr Dienstperimeter den Zugriff auf die erforderlichen Cloud Storage-Ressourcen zulässt. Wenden Sie sich an Ihr Google Cloud Kontoteam oder den Support, wenn PERMISSION_DENIED Fehler auftreten, die mit dem Metadatenexport zusammenhängen.

Preise

Für das Speichern technischer Metadaten von Looker (Google Cloud core) in Dataplex Universal Catalog fallen keine Kosten an. Für API-Aufrufe und die zusätzliche Anreicherung von geschäftlichen Metadaten gelten die Standardpreise für Dataplex Universal Catalog. Weitere Informationen finden Sie auf der Seite Preise für Dataplex Universal Catalog.

Beschränkungen

In diesem Abschnitt werden die Beschränkungen bei der Verwendung von Looker (Google Cloud core) und Dataplex Universal Catalog aufgeführt:

  • Die Metadaten aus Looker sind nicht sofort im Katalog verfügbar. Der Batch-Synchronisierungsprozess wird in einem festgelegten Intervall ausgeführt und die Daten werden etwa stündlich aktualisiert.
  • Für diese Integration wird keine öffentliche API bereitgestellt.
  • Informationen zu Beschränkungen bei der Datenherkunft finden Sie auf der Seite Datenherkunft mit Dataplex Universal Catalog verfolgen.

Nächste Schritte