Gestisci le risorse di Looker (Google Cloud core) con Knowledge Catalog

Questa pagina spiega come cercare e gestire le risorse dei metadati di Looker (Google Cloud core) utilizzando Knowledge Catalog.

Knowledge Catalog è una piattaforma che archivia, gestisce e fornisce l'accesso ai metadati. Funge da strumento di catalogazione che indicizza i metadati di LookML di produzione , del progetto LookML e della dashboard di Looker (Google Cloud core). Questa integrazione fornisce una visualizzazione unificata e completa degli asset di dati e delle loro relazioni, inclusa la derivazione dei dati.

Knowledge Catalog acquisisce più livelli di entità da Looker, tra cui:

  • Istanza di Looker
  • Dashboard
  • Elemento della dashboard
  • Look
  • Progetto LookML
  • Modello
  • Esplora
  • Visualizza (che contiene dimensioni e misure)

Come funziona l'integrazione

L'integrazione di Looker e Knowledge Catalog utilizza un connettore proprietario per l'importazione dei metadati. Looker (Google Cloud core) pubblica i metadati LookML nei repository Cloud Storage regionali affinché Knowledge Catalog li utilizzi tramite un processo di sincronizzazione batch.

La trasmissione dei dati da Looker (Google Cloud core) a Knowledge Catalog è automatica per impostazione predefinita e non richiede modifiche alla configurazione. Looker (Google Cloud core) utilizza i servizi interni per eseguire la sincronizzazione. Il processo di sincronizzazione batch interno viene eseguito circa ogni quattro ore e i dati di Looker vengono aggiornati in Knowledge Catalog circa ogni ora.

Quando aggiorni i modelli LookML e li invii alla produzione, il sistema sincronizza automaticamente i metadati chiave con Knowledge Catalog. Questi metadati includono i dettagli di visualizzazione ed esplorazione, le definizioni dei campi e le informazioni sul modello. Allo stesso modo, i metadati della dashboard, inclusi titoli, proprietà e statistiche di utilizzo, vengono visualizzati nel catalogo.

Quando utilizzare Knowledge Catalog con Looker

Utilizza Knowledge Catalog per scoprire e comprendere i metadati di Looker. Il catalogo aiuta nelle seguenti attività:

  • Analisi dell'impatto: utilizza la derivazione dei dati per visualizzare il flusso dei dati da BigQuery alle dashboard di Looker.
  • Rilevamento: cerca dashboard, esplorazioni e visualizzazioni nella tua organizzazione.
  • Gestione dei cambiamenti: comprendi le dipendenze prima di apportare modifiche.
  • Pipeline di spostamento dei dati: monitora la provenienza dei dati.

Con Knowledge Catalog, puoi anche curare i metadati collegando gli aspetti alle voci dei metadati di Looker. Il collegamento degli aspetti agli asset di Looker consente di aggiungere metadati aziendali agli asset e di cercare gli asset in base a questi metadati.

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per utilizzare l'integrazione di Knowledge Catalog e Looker (Google Cloud core), chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto in cui risiede l'istanza di Looker (Google Cloud core):

  • Per visualizzare le risorse di Knowledge Catalog: Visualizzatore Dataplex (roles/dataplex.viewer)
  • Per accedere ai metadati di Looker (Google Cloud core) in Knowledge Catalog: Visualizzatore schema Looker (roles/looker.schemaViewer)
    • Il ruolo predefinito Visualizzatore schema Looker contiene l'autorizzazione looker.schemas.view, necessaria per accedere ai metadati di Looker (Google Cloud core) in Knowledge Catalog.
  • Per disabilitare o abilitare l'integrazione tra Knowledge Catalog e Looker (Google Cloud core): Amministratore Looker (roles/looker.admin)
  • Per visualizzare i grafici di derivazione dei dati: Visualizzatore derivazione dei dati (roles/datalineage.viewer)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Abilitare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core)

Knowledge Catalog è abilitato per impostazione predefinita nelle istanze di Looker (Google Cloud core). Per disabilitare l'integrazione, consulta la sezione Disabilitare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core) di questa pagina di documentazione.

Se l'integrazione è disabilitata nell'istanza e vuoi abilitarla, segui questi passaggi:

console

  1. Abilitare l'API Dataplex. Per visualizzare i metadati importati, devi abilitare l'API Cloud Dataplex (dataplex.googleapis.com) nel Google Cloud progetto che ospita l'istanza di Looker (Google Cloud core).

    Abilita l'API Dataplex

  2. Nella scheda Dettagli della pagina Istanza dell'istanza, fai clic su Modifica.
  3. Espandi la sezione Integrazione del catalogo universale.
  4. Deseleziona la casella di controllo Disattiva l'integrazione di Dataplex Catalog.
    • Nota: l'abilitazione di questa impostazione abilita sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
  5. Fai clic su Salva.

gcloud

Assicurati che l'API Dataplex sia abilitata nel Google Cloud progetto che ospita l'istanza di Looker (Google Cloud core).

Utilizza il gcloud looker instances update comando con il --catalog-integration-enabled flag per abilitare l'integrazione:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Una volta abilitata l'integrazione, i dati di Looker saranno disponibili in Knowledge Catalog entro un giorno.

Cercare gli asset di Looker

Per visualizzare i dati di Looker (Google Cloud core) in Knowledge Catalog, devi prima abilitare l'API Dataplex. Per ottenere l'autorizzazione necessaria per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin).

Abilita l'API Dataplex

Utilizza la pagina Cerca di Knowledge Catalog nella Google Cloud console per cercare gli asset di Looker (Google Cloud core).

Vai a Cerca

Nel riquadro Filtri, puoi filtrare gli asset di Looker (Google Cloud core) utilizzando le sezioni Progetto, Sistema e Alias di tipo. Nella sezione Sistema, puoi filtrare per Looker. In Alias di tipo, puoi filtrare i risultati di ricerca in base a un tipo specifico di asset di Looker selezionando uno o più dei seguenti:

  • Dashboard
  • Elemento della dashboard
  • Esplora
  • Progetto LookML
  • Modello
  • Istanza
  • Visualizza
  • Altro

Puoi anche utilizzare il campo di ricerca per eseguire query di ricerca. Puoi eseguire una ricerca per parola chiave o in linguaggio naturale. Ad esempio, per visualizzare tutti gli asset di Looker tramite la ricerca per parola chiave, inserisci system=Looker. Per visualizzare tutte le dashboard di Looker, inserisci la query system=Looker AND type=DASHBOARD. I seguenti asset sono disponibili per la ricerca con la parola chiave type:

  • dashboard
  • dashboard_element
  • explore
  • instance
  • look
  • lookml_project
  • model
  • view

Per saperne di più sulla ricerca delle risorse, consulta la pagina di documentazione Cercare le risorse in Knowledge Catalog. Per saperne di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta la pagina di documentazione Sintassi di ricerca per Knowledge Catalog.

Disabilitare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core)

Per disabilitare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core), segui questi passaggi.

console

  1. Nella scheda Dettagli della pagina Istanza dell'istanza, fai clic su Modifica.
  2. Espandi la sezione Integrazione del catalogo universale.
  3. Seleziona la casella di controllo Disattiva l'integrazione di Dataplex Catalog.
    • Nota: la disabilitazione di questa impostazione disabilita sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
  4. Fai clic su Salva.

gcloud

Utilizza il gcloud looker instances update comando con il --no-catalog-integration-enabled flag per abilitare l'integrazione:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Quando l'integrazione viene disabilitata dopo essere stata abilitata, i metadati di Looker già presenti in Knowledge Catalog rimarranno in Knowledge Catalog, ma non verranno aggiornati con i nuovi metadati.

Controlli di servizio VPC

L'integrazione tra Looker (Google Cloud core) e Knowledge Catalog supporta i Controlli di servizio VPC.

Se l'istanza di Looker (Google Cloud core) o le risorse di Knowledge Catalog si trovano all'interno di un perimetro di servizio dei Controlli di servizio VPC, devi assicurarti che i servizi necessari per l'esportazione dei metadati siano accessibili.

  • Assicurati che l'API Dataplex (dataplex.googleapis.com) sia configurata come servizio con limitazioni all'interno del perimetro.
  • L'integrazione utilizza i bucket Cloud Storage interni per trasferire i metadati. Assicurati che il perimetro di servizio consenta l'accesso alle risorse Cloud Storage necessarie. Contatta il team dedicato all' Google Cloud account o l'assistenza se riscontri PERMISSION_DENIED errori correlati all'esportazione dei metadati.

Prezzi

Non sono previsti addebiti per l'archiviazione dei metadati tecnici di Looker (Google Cloud core) in Knowledge Catalog. Per le chiamate API e l'arricchimento dei metadati aziendali aggiuntivi si applicano i prezzi standard di Knowledge Catalog. Per ulteriori informazioni, consulta la pagina dei prezzi di Knowledge Catalog.

Limitazioni

Questa sezione elenca le limitazioni relative all'utilizzo di Looker (Google Cloud core) e Knowledge Catalog:

  • I metadati di Looker non sono disponibili immediatamente nel catalogo. Il processo di sincronizzazione batch viene eseguito a intervalli fissi e l'aggiornamento dei dati avviene circa ogni ora.
  • Non è esposta alcuna API pubblica per questa integrazione.
  • Per le limitazioni relative alla derivazione dei dati, consulta la pagina Monitorare la derivazione dei dati con Knowledge Catalog.

Passaggi successivi