Monitorare la derivazione dei dati con Knowledge Catalog

Questa pagina spiega come monitorare la derivazione dei dati per l'istanza di Looker (Google Cloud core) utilizzando Knowledge Catalog.

La derivazione dei dati è il processo di monitoraggio del flusso di dati attraverso i tuoi sistemi. Integrando Looker (Google Cloud core) con Knowledge Catalog, puoi visualizzare il percorso end-to-end dei tuoi dati dalla loro origine in BigQuery attraverso il livello semantico di Looker (viste ed esplorazioni LookML) fino al consumo downstream nelle dashboard di Looker, nei Look, nelle dashboard LookML e negli agenti di analisi conversazionale.

Questa visibilità fornisce il monitoraggio della derivazione bidirezionale per i workflow di governance dei dati, analisi dell'impatto e audit:

• Analisi dell'impatto a valle: prevedi quali dashboard, esplorazioni e consumer a valle sono interessati prima di apportare modifiche allo schema o al modello. Ad esempio, prima di eliminare una colonna in una tabella BigQuery, puoi controllare il grafico di derivazione per vedere quali dashboard di Looker potrebbero non funzionare.
• Audit dei dati upstream: Trace l'origine, le trasformazioni e la catena di custodia delle metriche visualizzate nelle dashboard e nei Look per i dirigenti.

Prima di iniziare

Per utilizzare la derivazione dei dati con Looker (Google Cloud core), devi soddisfare i seguenti prerequisiti:

1. Looker (Google Cloud core): la derivazione dei dati è supportata per tutti i tipi di versioni delle istanze di Looker (Google Cloud core). Le istanze di Looker (originale) non si integrano con Knowledge Catalog.
2. Origine dati: la derivazione dei dati è supportata solo per le origini dati BigQuery.

3. Autorizzazioni richieste: per visualizzare i grafici di derivazione, devi disporre dei seguenti ruoli IAM:

   • Visualizzatore schema di Looker (roles/looker.schemaViewer) nel progetto che ospita l'istanza di Looker (Google Cloud core). Questo ruolo è necessario per visualizzare i metadati specifici di Looker (Google Cloud core) che compongono il riquadro laterale di un grafico di derivazione.

     Nota: puoi aggiungere il ruolo Visualizzatore schema di Looker solo utilizzando Google Cloud CLI.

     gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
     --member=PRINCIPAL_TYPE:PRINCIPAL_ID
     --role=roles/looker.schemaViewer

     Per saperne di più, consulta la documentazione relativa a add-iam-policy-binding.

   • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) o autorizzazioni equivalenti per visualizzare gli asset di Knowledge Catalog

   • Data Lineage Viewer (roles/datalineage.viewer) per leggere i dati di derivazione

Attenzione: i riferimenti alle tabelle SQL in LookML devono corrispondere esattamente alle lettere maiuscole e minuscole delle tabelle BigQuery corrispondenti. Ad esempio, se il nome di una tabella BigQuery è in minuscolo, anche il riferimento LookML deve essere in minuscolo. Le discrepanze tra maiuscole e minuscole impediscono la compilazione della derivazione downstream nel grafico della derivazione.

Abilita la derivazione dei dati

Per attivare la derivazione dei dati, completa i seguenti passaggi nella console Google Cloud :

1. Abilita l'API Data Lineage: devi abilitare l'API Data Lineage (datalineage.googleapis.com) in tutti i progetti Google Cloud che ospitano l'istanza di Looker (Google Cloud core) e i dati di BigQuery.

   Abilita l'API Data Lineage

2. Assicurati che l'importazione della derivazione a livello di servizio sia abilitata: assicurati che l'integrazione della derivazione a livello di servizio di Looker (Google Cloud core) sia abilitata. L'importazione della derivazione è abilitata per impostazione predefinita per le istanze di Looker (Google Cloud core) nei progetti in cui è abilitata l'API Data Lineage.

Nota: l'importazione della derivazione dei dati opera indipendentemente dall'impostazione di disattivazione dell'integrazione dei metadati di Knowledge Catalog di Looker (Google Cloud core) e non richiede alcuna configurazione nel pannello di amministrazione di Looker. Le impostazioni di anteprima configurate in precedenza nel pannello di amministrazione di Looker durante il programma di anteprima non vengono più applicate all'integrazione della derivazione dei dati.

Per visualizzare la configurazione della derivazione per un progetto Google Cloud , consulta la documentazione Recupera la configurazione attuale. Se l'integrazione con Looker (Google Cloud core) è disattivata, il comando restituirà un output simile al seguente:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

L'ID progetto nella risposta rifletterà l'ID nella richiesta. Il campo etag è un checksum generato dal server e basato sul valore corrente della configurazione.

Visualizza la derivazione dei dati

Una volta abilitata l'integrazione e completata la sincronizzazione iniziale (che potrebbe richiedere fino a 24 ore), puoi visualizzare la derivazione nella console di Knowledge Catalog.

1. Nella console Google Cloud , vai alla pagina Knowledge Catalog.

   Vai a Knowledge Catalog

2. Fai clic su Cerca nel riquadro di navigazione a sinistra.
3. Cerca una tabella BigQuery o un asset Looker (Google Cloud core), ad esempio una dashboard o un'esplorazione.
   • Puoi utilizzare il riquadro Filtri per filtrare in base a Sistemi > Looker.
4. Fai clic sul nome della risorsa per aprire la relativa pagina dei dettagli.
5. Fai clic sulla scheda Lineage.

Il grafico di derivazione mostra l'asset come nodo centrale, con le origini upstream a sinistra e i consumer downstream a destra. Questo layout bidirezionale ti consente di valutare gli impatti a valle a destra o di tracciare la provenienza a monte e le tabelle di origine a sinistra.

Interpreta il grafico di derivazione

Il grafico di derivazione è costituito da nodi e link:

• Nodi: rappresentano gli asset di dati. Gli asset di Looker (Google Cloud core) supportati includono:
  • Dashboard di Looker
  • Elemento della dashboard di Looker (riquadro)
  • Look di Looker
  • Dashboard LookML
  • Agente Looker (agente di Analisi conversazionale)
  • Esplorazione LookML
  • Vista LookML
• Link: rappresentano il flusso di dati. Ad esempio, un link da una tabella BigQuery a una vista LookML indica che la vista seleziona i dati da quella tabella.

Identifica i proprietari degli asset

Per scoprire chi è il proprietario di un asset downstream che potrebbe essere interessato da una modifica, segui questi passaggi:

1. Nel grafico di derivazione, fai clic sul nodo dell'asset (ad esempio, una dashboard di Looker).
2. Sul lato destro dello schermo si apre un riquadro informativo.
3. Cerca la sezione Aspetti per trovare il Proprietario (indirizzo email).

Filtra l'elenco di derivazione

Nella visualizzazione Elenco per la derivazione, puoi filtrare le entità per nome o valore della proprietà. Ad esempio, i modelli LookML complessi possono generare grafici di derivazione di grandi dimensioni con molte entità intermedie. Per concentrarti sull'impatto sull'attività, puoi filtrare in base al tipo di entità seguendo questi passaggi:

1. Nella scheda Derivazione, passa alla visualizzazione Elenco.
2. Individua le opzioni di filtro nella barra degli strumenti.
3. Nel filtro Entità, inserisci Dashboard di Looker, dashboard LookML e Look di Looker per filtrare i tipi intermedi come Vista LookML ed Esplorazione LookML.

L'elenco delle entità viene aggiornato per mostrare solo i tipi di asset selezionati, semplificando l'identificazione dei contenuti rivolti agli utenti.

Limitazioni

L'integrazione della derivazione di Looker (Google Cloud core) presenta le seguenti limitazioni:

• Tipi di istanze: la derivazione è supportata solo per le istanze di Looker (Google Cloud core). Le istanze di Looker (originale) non supportano la derivazione.
• Origini dati: la derivazione è supportata solo per le origini dati BigQuery.
• Granularità: la derivazione viene fornita a livello di oggetto (tabella, vista, esplorazione, dashboard di Looker, dashboard LookML e agente di Conversational Analytics). La derivazione a livello di colonna non è supportata.
• Latenza: i dati di derivazione non sono in tempo reale. Il processo di sincronizzazione richiede in genere quattro ore. Tuttavia, la sincronizzazione potrebbe richiedere fino a otto ore, a seconda della tempistica delle esportazioni dei metadati di Looker e del consumo dei dati di derivazione. Le modifiche apportate in Looker o BigQuery potrebbero richiedere un po' di tempo prima di essere visualizzate nel grafico di derivazione. La sincronizzazione iniziale dopo l'attivazione dell'integrazione può richiedere fino a 24 ore.
• SQL complesso:LookML definito con SQL personalizzato complesso (ad esempio, modelli Liquid, tabelle derivate con join complessi) potrebbe non essere analizzato completamente, con la potenziale conseguenza di nodi scollegati.

Prezzi

La derivazione dei dati per Looker (Google Cloud core) è in disponibilità generale. I prezzi verranno applicati a partire da una data futura, con un preavviso fornito tramite un annuncio di servizio obbligatorio (MSA).

Per saperne di più, consulta la pagina dei prezzi di Knowledge Catalog.

Passaggi successivi

• Gestisci le risorse dei metadati con Knowledge Catalog
• Scopri di più sulla derivazione dei dati