Gestisci le risorse di Looker (Google Cloud core) con Knowledge Catalog

Anteprima

Questo prodotto o funzionalità sono soggetti ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Nota: utilizza il modulo per la segnalazione di problemi e feedback per fornire feedback o segnalare problemi relativi a questa funzionalità di anteprima.

Puoi gestire i metadati dalle tue istanze di Looker (Google Cloud core) utilizzando Knowledge Catalog. La gestione dei metadati ti aiuta a governare i tuoi dati e a prendere decisioni consapevoli.

Knowledge Catalog è una piattaforma di catalogazione dei dati che archivia, gestisce e fornisce l'accesso ai metadati. Esegue l'indicizzazione dei metadati di produzione LookML, del progetto LookML e della dashboard da Looker (Google Cloud core).

Questa integrazione fornisce una singola visualizzazione delle risorse di dati e delle relative relazioni, inclusa la derivazione dei dati. Quando utilizzi Knowledge Catalog, puoi eseguire l'analisi dell'impatto, l'individuazione dei dati e la gestione delle modifiche, il che può aiutarti a integrare i dati nei flussi di lavoro operativi e a trovare nuovi utilizzi per i tuoi dati.

Knowledge Catalog acquisisce più livelli di entità da Looker, tra cui:

• Istanza di Looker
• Dashboard
• Elemento della dashboard
• Look
• progetto LookML
• Modello
• Esplora
• Visualizzazione (che contiene dimensioni e misure)

Come funziona l'integrazione

L'integrazione di Looker e Knowledge Catalog utilizza un connettore proprietario per l'importazione dei metadati. Looker (Google Cloud core) pubblica i metadati LookML nei repository Cloud Storage regionali per Knowledge Catalog, che li utilizza tramite un processo di sincronizzazione batch.

La trasmissione dei dati da Looker (Google Cloud core) a Knowledge Catalog è automatica per impostazione predefinita e non richiede modifiche alla configurazione. Looker (Google Cloud core) utilizza servizi interni per eseguire la sincronizzazione. Il processo di sincronizzazione batch interno viene eseguito circa ogni quattro ore e i dati di Looker vengono aggiornati in Knowledge Catalog circa ogni ora.

Quando aggiorni i modelli LookML e li trasferisci in produzione, il sistema sincronizza automaticamente i metadati chiave con Knowledge Catalog. Questi metadati includono i dettagli di visualizzazione ed esplorazione, le definizioni dei campi e le informazioni sul modello. Analogamente, i metadati della dashboard, inclusi titoli, proprietà e statistiche di utilizzo, vengono visualizzati nel catalogo.

Quando utilizzare Knowledge Catalog con Looker

Utilizza Knowledge Catalog per scoprire e comprendere i metadati di Looker. Il catalogo è utile per le seguenti attività:

• Analisi dell'impatto:utilizza la provenienza dei dati per visualizzare il flusso dei dati da BigQuery alle dashboard di Looker.
• Discovery:cerca dashboard, esplorazioni e visualizzazioni in tutta l'organizzazione.
• Gestione delle modifiche:comprendi le dipendenze prima di apportare modifiche.
• Pipeline di spostamento dei dati:monitora la provenienza dei dati.

Con Knowledge Catalog, puoi anche curare i metadati allegando aspetti alle voci dei metadati di Looker. Il collegamento di aspetti agli asset di Looker consente di aggiungere metadati aziendali agli asset e di cercare gli asset in base a questi metadati.

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per utilizzare l'integrazione di Knowledge Catalog e Looker (Google Cloud core), chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto in cui si trova l'istanza di Looker (Google Cloud core):

• Per visualizzare le risorse di Knowledge Catalog: Dataplex Viewer (roles/dataplex.viewer)

• Per accedere ai metadati di Looker (Google Cloud core) in Knowledge Catalog: Visualizzatore schema di Looker (roles/looker.schemaViewer)

  • Il ruolo predefinito Visualizzatore schema Looker contiene l'autorizzazione looker.schemas.view, necessaria per accedere ai metadati di Looker (Google Cloud core) in Knowledge Catalog.
  Nota: puoi aggiungere il ruolo Visualizzatore schema Looker solo utilizzando Google Cloud CLI.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  Per saperne di più, consulta la documentazione relativa a add-iam-policy-binding.

• Per disattivare o attivare l'integrazione tra Knowledge Catalog e Looker (Google Cloud core): amministratore di Looker (roles/looker.admin)

• Per visualizzare i grafici della genealogia dei dati: Data Lineage Viewer (roles/datalineage.viewer)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Attenzione: devi concedere il ruolo Visualizzatore schema Looker o l'autorizzazione looker.schema.view a livello di progetto. Gli utenti con questa autorizzazione possono visualizzare i metadati per tutte le istanze di Looker (Google Cloud core) nel progetto in cui è abilitata l'integrazione.

Abilita l'integrazione di Knowledge Catalog e della tua istanza di Looker (Google Cloud core)

Knowledge Catalog è abilitato per impostazione predefinita nelle istanze di Looker (Google Cloud core). Per disabilitare l'integrazione, consulta la sezione Disabilitare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core) di questa pagina di documentazione.

Se l'integrazione è disattivata nella tua istanza e vuoi attivarla, completa i seguenti passaggi:

console

1. Abilitare l'API Dataplex. Per visualizzare i metadati importati, devi abilitare l'API Cloud Dataplex (dataplex.googleapis.com) nel progetto Google Cloud che ospita l'istanza di Looker (Google Cloud core).

   Abilita l'API Dataplex

2. Nella scheda Dettagli della pagina Istanze dell'istanza, fai clic su Modifica.
3. Espandi la sezione Integrazione di Knowledge Catalog.
4. Deseleziona la casella di controllo Disattiva l'integrazione di Knowledge Catalog.
   • Nota:l'abilitazione di questa impostazione consente sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
5. Fai clic su Salva.

gcloud

Assicurati che l'API Dataplex sia abilitata nel progetto Google Cloud che ospita l'istanza di Looker (Google Cloud core).

Utilizza il comando gcloud looker instances update con il flag --catalog-integration-enabled per attivare l'integrazione:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Una volta abilitata l'integrazione, potrebbero essere necessari fino a un giorno prima che i dati di Looker siano disponibili in Knowledge Catalog.

Cercare asset di Looker

Per visualizzare i dati di Looker (Google Cloud core) in Knowledge Catalog, devi prima abilitare l'API Dataplex. Per ottenere l'autorizzazione necessaria per abilitare le API, devi disporre del ruolo IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin).

Abilita l'API Dataplex

Utilizza la pagina Cerca di Knowledge Catalog nella console Google Cloud per cercare gli asset di Looker (Google Cloud core).

Vai a Cerca

Nel riquadro Filtri, puoi filtrare gli asset di Looker (Google Cloud core) utilizzando le sezioni Progetto, Sistema e Alias di tipo. Nella sezione Sistema, puoi filtrare per Looker. In Alias dei tipi, puoi filtrare i risultati di ricerca in base a un tipo specifico di asset Looker selezionando uno o più dei seguenti elementi:

• Dashboard
• Elemento della dashboard
• Esplora
• progetto LookML
• Modello
• Istanza
• Visualizza
• Altro

Puoi anche utilizzare il campo di ricerca per eseguire query di ricerca. Puoi eseguire una ricerca per parola chiave o in linguaggio naturale. Ad esempio, per visualizzare tutti gli asset di Looker tramite la ricerca per parole chiave, inserisci system=Looker. Per visualizzare tutte le dashboard di Looker, inserisci la query system=Looker AND type=DASHBOARD. I seguenti asset sono disponibili per la ricerca con la parola chiave type:

• dashboard
• dashboard_element
• esplorazione
• istanza
• look
• lookml_project
• modello
• visualizza

Per saperne di più sulla ricerca di risorse, consulta la pagina di documentazione Cercare risorse in Knowledge Catalog. Per saperne di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta la pagina della documentazione Sintassi di ricerca per Knowledge Catalog.

Disabilita l'integrazione di Knowledge Catalog e della tua istanza di Looker (Google Cloud core)

Per disattivare l'integrazione di Knowledge Catalog e dell'istanza di Looker (Google Cloud core), completa i seguenti passaggi.

console

1. Nella scheda Dettagli della pagina Istanze dell'istanza, fai clic su Modifica.
2. Espandi la sezione Integrazione di Knowledge Catalog.
3. Seleziona la casella di controllo Disattiva l'integrazione di Knowledge Catalog.
   • Nota:la disattivazione di questa impostazione disattiva sia l'importazione dei metadati sia la derivazione dei dati (se l'API Data Lineage è abilitata).
4. Fai clic su Salva.

gcloud

Utilizza il comando gcloud looker instances update con il flag --no-catalog-integration-enabled per attivare l'integrazione:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Sostituisci INSTANCE_NAME con il nome dell'istanza di Looker (Google Cloud core).

Quando l'integrazione viene disattivata dopo essere stata attivata, i metadati di Looker già presenti in Knowledge Catalog rimarranno in Knowledge Catalog, ma non verranno aggiornati con nuovi metadati.

Controlli di servizio VPC

L'integrazione tra Looker (Google Cloud core) e Knowledge Catalog supporta i Controlli di servizio VPC.

Se la tua istanza di Looker (Google Cloud core) o le risorse di Knowledge Catalog si trovano all'interno di un perimetro di servizio dei Controlli di servizio VPC, devi assicurarti che i servizi necessari per l'esportazione dei metadati siano accessibili.

• Assicurati che l'API Dataplex (dataplex.googleapis.com) sia configurata come servizio con limitazioni all'interno del perimetro.
• L'integrazione utilizza bucket Cloud Storage interni per trasferire i metadati. Assicurati che il perimetro di servizio consenta l'accesso alle risorse Cloud Storage necessarie. Contatta il tuo Google Cloud team dedicato all'account o l'assistenza se riscontri errori PERMISSION_DENIEDrelativi all'esportazione dei metadati.

Prezzi

Non è previsto alcun costo per l'archiviazione dei metadati tecnici di Looker (Google Cloud core) in Knowledge Catalog. Si applicano i prezzi standard di Knowledge Catalog per le chiamate API e l'arricchimento dei metadati aziendali aggiuntivi. Per ulteriori informazioni, consulta la pagina dei prezzi di Knowledge Catalog.

Limitazioni

Questa sezione elenca le limitazioni relative all'utilizzo di Looker (Google Cloud core) e Knowledge Catalog:

• I metadati di Looker non sono disponibili immediatamente nel catalogo. Il processo di sincronizzazione batch viene eseguito a intervalli fissi e l'aggiornamento dei dati avviene circa ogni ora.
• Per questa integrazione non è esposta alcuna API pubblica.
• Per le limitazioni della tracciabilità dei dati, consulta la pagina Monitorare la tracciabilità dei dati con Knowledge Catalog.

Passaggi successivi

• Monitora la derivazione dei dati con Knowledge Catalog.
• Scopri di più sulla gestione dei metadati in Knowledge Catalog.
• Scopri come cercare risorse in Knowledge Catalog.
• Scopri come gestire gli aspetti e arricchire i metadati.