Gestisci le risorse di Looker (Google Cloud core) con Knowledge Catalog

Questa pagina spiega come cercare e gestire le risorse di metadati di Looker (Google Cloud core) utilizzando Knowledge Catalog.

Knowledge Catalog è una piattaforma che archivia, gestisce e fornisce l'accesso ai tuoi metadati. Funge da strumento di catalogazione che indicizza i metadati di produzione di LookML, del progetto LookML e delle dashboard di Looker (Google Cloud core). Questa integrazione fornisce una visualizzazione unificata e completa degli asset di dati e delle loro relazioni, inclusa la derivazione dei dati.

Knowledge Catalog acquisisce più livelli di entità da Looker, tra cui:

  • Istanza di Looker
  • Dashboard
  • Elemento della dashboard
  • Look
  • progetto LookML
  • Modello
  • Esplora
  • Visualizzazione (che contiene dimensioni e misure)

Come funziona l'integrazione

L'integrazione di Looker e Knowledge Catalog utilizza un connettore proprietario per l'importazione dei metadati. Looker (Google Cloud core) pubblica i metadati LookML nei repository Cloud Storage regionali per Knowledge Catalog, che li utilizza tramite un processo di sincronizzazione batch.

La trasmissione dei dati da Looker (Google Cloud core) a Knowledge Catalog è automatica per impostazione predefinita e non richiede modifiche alla configurazione. Looker (Google Cloud core) utilizza servizi interni per eseguire la sincronizzazione. Il processo di sincronizzazione batch interno viene eseguito circa ogni quattro ore e i dati di Looker vengono aggiornati circa ogni ora in Knowledge Catalog.

Quando aggiorni i modelli LookML e li trasferisci in produzione, il sistema sincronizza automaticamente i metadati chiave con Knowledge Catalog. Questi metadati includono i dettagli di visualizzazione ed esplorazione, le definizioni dei campi e le informazioni sul modello. Analogamente, i metadati delle dashboard, inclusi titoli, proprietà e statistiche di utilizzo, vengono visualizzati nel catalogo.

Quando utilizzare Knowledge Catalog con Looker

Utilizza Knowledge Catalog per scoprire e comprendere i metadati di Looker. Il catalogo è utile per le seguenti attività:

  • Analisi dell'impatto:utilizza la provenienza dei dati per visualizzare il flusso dei dati da BigQuery alle dashboard di Looker.
  • Discovery:cerca dashboard, esplorazioni e visualizzazioni in tutta l'organizzazione.
  • Gestione dei cambiamenti:comprendi le dipendenze prima di apportare modifiche.
  • Pipeline di spostamento dei dati:monitora la provenienza dei dati.

Con Knowledge Catalog, puoi anche curare i metadati allegando aspetti alle voci dei metadati di Looker. Il collegamento di aspetti agli asset di Looker consente di aggiungere metadati aziendali agli asset e di cercare gli asset in base a questi metadati.

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per utilizzare l'integrazione di Knowledge Catalog e Looker (Google Cloud core), chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto in cui si trova l'istanza di Looker (Google Cloud core):

  • Per visualizzare le risorse di Knowledge Catalog: Visualizzatore Dataplex (roles/dataplex.viewer)
  • Per accedere ai metadati di Looker (Google Cloud core) in Knowledge Catalog: Visualizzatore schema di Looker (roles/looker.schemaViewer)
    • Il ruolo predefinito Visualizzatore schema Looker contiene l'autorizzazione looker.schemas.view, necessaria per accedere ai metadati di Looker (Google Cloud core) in Knowledge Catalog.
  • Per disattivare o attivare l'integrazione tra Knowledge Catalog e Looker (Google Cloud core): amministratore di Looker (roles/looker.admin)
  • Per visualizzare i grafici della lineage dei dati: Data Lineage Viewer (roles/datalineage.viewer)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Abilita l'integrazione di Knowledge Catalog e della tua istanza di Looker (Google Cloud core)

Knowledge Catalog è abilitato per impostazione predefinita nelle istanze di Looker (Google Cloud core). Per disabilitare l'integrazione, consulta la sezione Disabilitare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core) di questa pagina di documentazione.

Se l'integrazione è disattivata nella tua istanza e vuoi attivarla, completa i seguenti passaggi:

console

  1. Abilitare l'API Dataplex. Per visualizzare i metadati importati, devi abilitare l'API Cloud Dataplex (dataplex.googleapis.com) nel progetto Google Cloud che ospita l'istanza di Looker (Google Cloud core).

    Abilitare l'API Dataplex

  2. Nella scheda Dettagli della pagina Istanze dell'istanza, fai clic su Modifica.
  3. Espandi la sezione Integrazione di Universal Catalog.
  4. Deseleziona la casella di controllo Disattiva l'integrazione di Dataplex Catalog.
    • Nota:l'abilitazione di questa impostazione attiva sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
  5. Fai clic su Salva.

gcloud

Assicurati che l'API Dataplex sia abilitata nel progetto Google Cloud che ospita l'istanza di Looker (Google Cloud core).

Utilizza il comando gcloud looker instances update con il flag --catalog-integration-enabled per attivare l'integrazione:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Una volta attivata l'integrazione, potrebbero essere necessari fino a un giorno prima che i dati di Looker siano disponibili in Knowledge Catalog.

Cercare asset di Looker

Per visualizzare i dati di Looker (Google Cloud core) in Knowledge Catalog, devi prima abilitare l'API Dataplex. Per ottenere l'autorizzazione necessaria per abilitare le API, devi disporre del ruolo IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin).

Abilita l'API Dataplex

Utilizza la pagina Ricerca di Knowledge Catalog nella console Google Cloud per cercare asset di Looker (Google Cloud core).

Vai a Cerca

Nel riquadro Filtri, puoi filtrare gli asset di Looker (Google Cloud core) utilizzando le sezioni Progetto, Sistema e Alias di tipo. Nella sezione Sistema, puoi filtrare in base a Looker. In Alias di tipo, puoi filtrare i risultati di ricerca in base a un tipo specifico di asset Looker selezionando uno o più dei seguenti elementi:

  • Dashboard
  • Elemento della dashboard
  • Esplora
  • progetto LookML
  • Modello
  • Istanza
  • Visualizza
  • Altro

Puoi anche utilizzare il campo di ricerca per eseguire query di ricerca. Puoi eseguire una ricerca per parola chiave o in linguaggio naturale. Ad esempio, per visualizzare tutti gli asset di Looker tramite la ricerca per parole chiave, inserisci system=Looker. Per visualizzare tutte le dashboard di Looker, inserisci la query system=Looker AND type=DASHBOARD. I seguenti asset sono disponibili per la ricerca con la parola chiave type:

  • dashboard
  • dashboard_element
  • esplorazione
  • istanza
  • look
  • lookml_project
  • modello
  • visualizza

Per saperne di più sulla ricerca di risorse, consulta la pagina di documentazione Cercare risorse in Knowledge Catalog. Per saperne di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta la pagina della documentazione Sintassi di ricerca per Knowledge Catalog.

Disabilita l'integrazione di Knowledge Catalog e della tua istanza di Looker (Google Cloud core)

Per disattivare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core), completa i seguenti passaggi.

console

  1. Nella scheda Dettagli della pagina Istanze dell'istanza, fai clic su Modifica.
  2. Espandi la sezione Integrazione di Universal Catalog.
  3. Seleziona la casella di controllo Disattiva l'integrazione di Dataplex Catalog.
    • Nota:la disattivazione di questa impostazione disattiva sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
  4. Fai clic su Salva.

gcloud

Utilizza il comando gcloud looker instances update con il flag --no-catalog-integration-enabled per attivare l'integrazione:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Quando l'integrazione viene disabilitata dopo essere stata abilitata, i metadati di Looker già presenti in Knowledge Catalog rimarranno in Knowledge Catalog, ma non verranno aggiornati con nuovi metadati.

Controlli di servizio VPC

L'integrazione tra Looker (Google Cloud core) e Knowledge Catalog supporta i Controlli di servizio VPC.

Se la tua istanza di Looker (Google Cloud core) o le risorse di Knowledge Catalog si trovano all'interno di un perimetro di servizio dei Controlli di servizio VPC, devi assicurarti che i servizi necessari per l'esportazione dei metadati siano accessibili.

  • Assicurati che l'API Dataplex (dataplex.googleapis.com) sia configurata come servizio con limitazioni all'interno del perimetro.
  • L'integrazione utilizza bucket Cloud Storage interni per trasferire i metadati. Assicurati che il perimetro di servizio consenta l'accesso alle risorse Cloud Storage necessarie. Contatta il team dedicato al tuo account o l'assistenza in caso di errori PERMISSION_DENIED relativi all'esportazione dei metadati. Google Cloud

Prezzi

Non è previsto alcun costo per l'archiviazione dei metadati tecnici di Looker (Google Cloud core) in Knowledge Catalog. Si applicano i prezzi standard di Knowledge Catalog per le chiamate API e l'arricchimento dei metadati aziendali aggiuntivi. Per ulteriori informazioni, consulta la pagina dei prezzi di Knowledge Catalog.

Limitazioni

Questa sezione elenca le limitazioni relative all'utilizzo di Looker (Google Cloud core) e Knowledge Catalog:

  • I metadati di Looker non sono disponibili immediatamente nel catalogo. Il processo di sincronizzazione batch viene eseguito a intervalli fissi e l'aggiornamento dei dati avviene circa ogni ora.
  • Per questa integrazione non è esposta alcuna API pubblica.
  • Per le limitazioni della derivazione dei dati, consulta la pagina Monitorare la derivazione dei dati con Knowledge Catalog.

Passaggi successivi