Gestisci le risorse di Looker (Google Cloud core) con Dataplex Universal Catalog

Anteprima

Questo prodotto o funzionalità sono soggetti ai "Termini delle Offerte pre-GA" nella sezione Termini di servizio generali dei Termini specifici dei servizi. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Nota: utilizza il modulo per la segnalazione di problemi e il feedback per fornire feedback o segnalare problemi relativi a questa funzionalità di anteprima.

Questa pagina spiega come cercare e gestire le risorse di metadati di Looker (Google Cloud core) utilizzando Dataplex Universal Catalog.

Dataplex Universal Catalog è una piattaforma che archivia, gestisce e fornisce l'accesso ai tuoi metadati. Funge da strumento di catalogazione che indicizza i metadati di produzione di LookML, del progetto LookML e delle dashboard di Looker (Google Cloud core). Questa integrazione fornisce una visualizzazione unificata e completa degli asset di dati e delle loro relazioni, inclusa la derivazione dei dati.

Dataplex Universal Catalog acquisisce più livelli di entità da Looker, tra cui:

• Istanza di Looker
• Dashboard
• Elemento della dashboard
• Look
• progetto LookML
• Modello
• Esplora
• Visualizzazione (che contiene dimensioni e misure)

Come funziona l'integrazione

L'integrazione di Looker e Dataplex Universal Catalog utilizza un connettore proprietario per l'importazione dei metadati. Looker (Google Cloud core) pubblica i metadati LookML nei repository Cloud Storage regionali affinché Dataplex Universal Catalog li utilizzi tramite un processo di sincronizzazione batch.

La trasmissione dei dati da Looker (Google Cloud core) a Dataplex Universal Catalog è automatica per impostazione predefinita e non richiede modifiche alla configurazione. Looker (Google Cloud core) utilizza servizi interni per eseguire la sincronizzazione. Il processo di sincronizzazione batch interno viene eseguito circa ogni quattro ore e i dati di Looker vengono aggiornati circa ogni ora in Dataplex Universal Catalog.

Quando aggiorni i modelli LookML e li trasferisci in produzione, il sistema sincronizza automaticamente i metadati chiave con il Catalogo universale Dataplex. Questi metadati includono i dettagli di visualizzazione ed esplorazione, le definizioni dei campi e le informazioni sul modello. Analogamente, i metadati della dashboard, inclusi titoli, proprietà e statistiche di utilizzo, vengono visualizzati nel catalogo.

Quando utilizzare Dataplex Universal Catalog con Looker

Utilizza Dataplex Universal Catalog per scoprire e comprendere i metadati di Looker. Il catalogo è utile per le seguenti attività:

• Analisi dell'impatto:utilizza la provenienza dei dati per visualizzare il flusso dei dati da BigQuery alle dashboard di Looker.
• Discovery:cerca dashboard, esplorazioni e visualizzazioni in tutta l'organizzazione.
• Gestione dei cambiamenti:comprendi le dipendenze prima di apportare modifiche.
• Pipeline di spostamento dei dati:monitora la provenienza dei dati.

Con Dataplex Universal Catalog, puoi anche curare i metadati allegando aspetti alle voci dei metadati di Looker. Il collegamento di aspetti agli asset di Looker consente di aggiungere metadati aziendali agli asset e di cercare gli asset in base a questi metadati.

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per utilizzare l'integrazione di Dataplex Universal Catalog e Looker (Google Cloud core), chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto in cui si trova l'istanza di Looker (Google Cloud core):

• Per visualizzare le risorse di Dataplex Universal Catalog: Visualizzatore Dataplex (roles/dataplex.viewer)
• Per accedere ai metadati di Looker (Google Cloud core) in Dataplex Universal Catalog: Looker Schema Viewer (roles/looker.schemaViewer)
  • Il ruolo predefinito Visualizzatore schema Looker contiene l'autorizzazione looker.schemas.view, necessaria per accedere ai metadati di Looker (Google Cloud core) in Dataplex Universal Catalog.
• Per disattivare o attivare l'integrazione tra Dataplex Universal Catalog e Looker (Google Cloud core): amministratore di Looker (roles/looker.admin)
• Per visualizzare i grafici della lineage dei dati: Data Lineage Viewer (roles/datalineage.viewer)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Attenzione: devi concedere il ruolo Visualizzatore schema Looker o l'autorizzazione looker.schema.view a livello di progetto. Gli utenti con questa autorizzazione possono visualizzare i metadati per tutte le istanze di Looker (Google Cloud core) nel progetto in cui l'integrazione è abilitata.

Abilitare l'integrazione di Dataplex Universal Catalog e dell'istanza di Looker (Google Cloud core)

Dataplex Universal Catalog è abilitato per impostazione predefinita nelle istanze di Looker (Google Cloud core). Per disabilitare l'integrazione, consulta la sezione Disabilitare l'integrazione di Dataplex Universal Catalog e dell'istanza di Looker (Google Cloud core) di questa pagina di documentazione.

Se l'integrazione è disattivata nella tua istanza e vuoi attivarla, completa i seguenti passaggi:

console

1. Abilitare l'API Dataplex. Per visualizzare i metadati importati, devi abilitare l'API Cloud Dataplex (dataplex.googleapis.com) nel progetto Google Cloud che ospita l'istanza di Looker (Google Cloud core).

   Abilitare l'API Dataplex

2. Nella scheda Dettagli della pagina Istanze dell'istanza, fai clic su Modifica.
3. Espandi la sezione Integrazione di Universal Catalog.
4. Deseleziona la casella di controllo Disattiva l'integrazione di Dataplex Catalog.
   • Nota:l'abilitazione di questa impostazione attiva sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
5. Fai clic su Salva.

gcloud

Assicurati che l'API Dataplex sia abilitata nel progetto Google Cloud che ospita l'istanza di Looker (Google Cloud core).

Utilizza il comando gcloud looker instances update con il flag --catalog-integration-enabled per attivare l'integrazione:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Una volta attivata l'integrazione, potrebbero essere necessarie fino a 24 ore prima che i dati di Looker siano disponibili in Dataplex Universal Catalog.

Cercare asset di Looker

Per visualizzare i dati di Looker (Google Cloud core) in Dataplex Universal Catalog, devi prima abilitare l'API Dataplex. Per ottenere l'autorizzazione necessaria per abilitare le API, devi disporre del ruolo IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin).

Abilita l'API Dataplex

Utilizza la pagina Cerca di Dataplex Universal Catalog nella console Google Cloud per cercare asset di Looker (Google Cloud core).

Vai a Cerca

Nel riquadro Filtri, puoi filtrare gli asset di Looker (Google Cloud core) utilizzando le sezioni Progetto, Sistema e Alias di tipo. Nella sezione Sistema, puoi filtrare in base a Looker. In Alias di tipo, puoi filtrare i risultati di ricerca in base a un tipo specifico di asset Looker selezionando uno o più dei seguenti elementi:

• Dashboard
• Elemento della dashboard
• Esplora
• progetto LookML
• Modello
• Istanza
• Visualizza
• Altro

Puoi anche utilizzare il campo di ricerca per eseguire query di ricerca. Puoi eseguire una ricerca per parola chiave o in linguaggio naturale. Ad esempio, per visualizzare tutti gli asset di Looker tramite la ricerca per parole chiave, inserisci system=Looker. Per visualizzare tutte le dashboard di Looker, inserisci la query system=Looker AND type=DASHBOARD. I seguenti asset sono disponibili per la ricerca con la parola chiave type:

• dashboard
• dashboard_element
• esplorazione
• istanza
• look
• lookml_project
• modello
• visualizza

Per saperne di più sulla ricerca di risorse, consulta la pagina di documentazione Cercare risorse in Dataplex Universal Catalog. Per saperne di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta la pagina di documentazione Sintassi di ricerca per Dataplex Universal Catalog.

Disabilita l'integrazione di Dataplex Universal Catalog e della tua istanza di Looker (Google Cloud core)

Per disattivare l'integrazione di Dataplex Universal Catalog e della tua istanza di Looker (Google Cloud core), completa i seguenti passaggi.

console

1. Nella scheda Dettagli della pagina Istanze dell'istanza, fai clic su Modifica.
2. Espandi la sezione Integrazione di Universal Catalog.
3. Seleziona la casella di controllo Disattiva l'integrazione di Dataplex Catalog.
   • Nota:la disattivazione di questa impostazione disattiva sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
4. Fai clic su Salva.

gcloud

Utilizza il comando gcloud looker instances update con il flag --no-catalog-integration-enabled per attivare l'integrazione:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Quando l'integrazione viene disattivata dopo essere stata attivata, i metadati di Looker già presenti in Dataplex Universal Catalog rimarranno in Dataplex Universal Catalog, ma non verranno aggiornati con nuovi metadati.

Controlli di servizio VPC

L'integrazione tra Looker (Google Cloud core) e Dataplex Universal Catalog supporta Controlli di servizio VPC.

Se la tua istanza di Looker (Google Cloud core) o le risorse di Dataplex Universal Catalog si trovano all'interno di un perimetro di servizio dei Controlli di servizio VPC, devi assicurarti che i servizi necessari per l'esportazione dei metadati siano accessibili.

• Assicurati che l'API Dataplex (dataplex.googleapis.com) sia configurata come servizio con limitazioni all'interno del perimetro.
• L'integrazione utilizza bucket Cloud Storage interni per trasferire i metadati. Assicurati che il perimetro di servizio consenta l'accesso alle risorse Cloud Storage necessarie. Contatta il team dedicato al tuo account o l'assistenza in caso di errori PERMISSION_DENIED relativi all'esportazione dei metadati. Google Cloud

Prezzi

Non è previsto alcun costo per l'archiviazione dei metadati tecnici di Looker (Google Cloud core) in Dataplex Universal Catalog. Si applicano i prezzi standard di Dataplex Universal Catalog per le chiamate API e l'arricchimento dei metadati aziendali aggiuntivi. Per saperne di più, consulta la pagina dei prezzi di Dataplex Universal Catalog.

Limitazioni

Questa sezione elenca le limitazioni relative all'utilizzo di Looker (Google Cloud core) e Dataplex Universal Catalog:

• I metadati di Looker non sono immediatamente disponibili nel catalogo. Il processo di sincronizzazione batch viene eseguito a intervalli fissi e l'aggiornamento dei dati avviene circa ogni ora.
• Per questa integrazione non è esposta alcuna API pubblica.
• Per le limitazioni della derivazione dei dati, consulta la pagina Monitorare la derivazione dei dati con Dataplex Universal Catalog.

Passaggi successivi

• Monitora la derivazione dei dati con Dataplex Universal Catalog.
• Scopri di più sulla gestione dei metadati in Dataplex Universal Catalog.
• Scopri come cercare risorse in Dataplex Universal Catalog.
• Scopri come gestire gli aspetti e arricchire i metadati.