Monitorare la derivazione dei dati con Knowledge Catalog

Questa pagina spiega come monitorare la tracciabilità dei dati per l'istanza di Looker (Google Cloud core) utilizzando Knowledge Catalog.

La tracciabilità dei dati è il processo di monitoraggio del flusso di dati nei tuoi sistemi. Integrando Looker (Google Cloud core) con Knowledge Catalog, puoi visualizzare il percorso end-to-end dei tuoi dati dalla loro origine in BigQuery al consumo downstream in dashboard e Look, passando per il livello semantico di Looker (viste ed esplorazioni LookML).

Questa visibilità aiuta i data engineer e gli amministratori a eseguire l'analisi dell'impatto. Ad esempio, prima di eliminare una colonna in una tabella BigQuery, puoi controllare il grafico della derivazione per vedere esattamente quali dashboard Looker verranno interrotte dalla modifica.

Prima di iniziare

Per utilizzare la derivazione dei dati con Looker (Google Cloud core), devi soddisfare i seguenti prerequisiti:

  1. Looker (Google Cloud core): la derivazione dei dati è supportata per tutti i tipi di edizione delle istanze di Looker (Google Cloud core). Le istanze di Looker (originale) non si integrano con Knowledge Catalog.
  2. Autorizzazioni richieste:per visualizzare i grafici di tracciabilità, devi disporre dei seguenti ruoli IAM:
    • Visualizzatore schema di Looker (roles/looker.schemaViewer) nel progetto che ospita l'istanza di Looker (Google Cloud core)
    • Visualizzatore Dataplex (roles/dataplex.viewer) o autorizzazioni equivalenti per visualizzare gli asset di Knowledge Catalog
    • Data Lineage Viewer (roles/datalineage.viewer) per leggere i dati di derivazione

Abilita la tracciabilità dei dati

Per attivare la tracciabilità dei dati, completa i seguenti passaggi:

  1. Attiva l'integrazione di Knowledge Catalog per Looker (Google Cloud core): l'integrazione tra l'istanza di Looker (Google Cloud core) e Knowledge Catalog è attivata per impostazione predefinita nella console Google Cloud . Se l'integrazione è stata disattivata, devi riattivarla. Per le istruzioni, consulta la sezione Attivare l'integrazione.
  2. Attiva la funzionalità di anteprima di Knowledge Catalog Lineage in Looker:la funzionalità di anteprima Knowledge Catalog Lineage è disattivata per impostazione predefinita nella pagina Funzionalità di anteprima del pannello Amministrazione all'interno dell'istanza di Looker (Google Cloud core).
  3. Attiva l'API Data Lineage:devi attivare l'API Data Lineage (datalineage.googleapis.com) su tutti i progetti Google Cloud che ospitano l'istanza di Looker (Google Cloud core) e i dati BigQuery.

    Abilita l'API Data Lineage

  4. Attiva l'importazione della derivazione a livello di servizio: Ensure che l'integrazione della derivazione e di Looker (Google Cloud core) a livello di servizio sia attivata. La derivazione a livello di servizio rispetta i seguenti stati predefiniti:
    • Per evitare implicazioni future sui prezzi, l'importazione della derivazione del livello di servizio di Looker (Google Cloud core) è disabilitata per impostazione predefinita per i progetti che, alla data di rilascio dell'anteprima di questa funzionalità, avevano abilitato l'API Data Lineage e ospitavano almeno un'istanza di Looker (Google Cloud core).
    • L'importazione del lineage a livello di servizio è abilitata per impostazione predefinita per le istanze di Looker (Google Cloud core) create dopo la data di rilascio dell'anteprima di questa funzionalità nei progetti con l'API Data Lineage abilitata.

Per visualizzare la configurazione della tracciabilità per un progetto Google Cloud , consulta la documentazione Ottieni la configurazione attuale. Se l'integrazione con Looker (Google Cloud core) è disattivata, il comando restituirà un output simile al seguente:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

L'ID progetto nella risposta rifletterà l'ID nella tua richiesta. Il campo etag è un checksum generato dal server e basato sul valore attuale della configurazione.

Visualizzare la tracciabilità dei dati

Una volta attivata l'integrazione e completata la sincronizzazione iniziale (che potrebbe richiedere fino a 24 ore), puoi visualizzare la tracciabilità nella console Knowledge Catalog.

  1. Nella console Google Cloud , vai alla pagina Knowledge Catalog.

    Vai a Knowledge Catalog

  2. Fai clic su Ricerca nel riquadro di navigazione a sinistra.
  3. Cerca una tabella BigQuery o un asset Looker (Google Cloud core) (ad esempio una dashboard o un'esplorazione).
    • Puoi utilizzare il riquadro Filtri per filtrare per Sistema > Looker.
  4. Fai clic sul nome dell'asset per aprire la relativa pagina dei dettagli.
  5. Fai clic sulla scheda Lignaggio.

Il grafico della derivazione mostra l'asset come nodo centrale, con le origini upstream a sinistra e i consumer downstream a destra.

Interpretare il grafico della derivazione

Il grafico della derivazione è costituito da nodi e collegamenti:

  • Nodi:rappresentano gli asset di dati. Gli asset di Looker (Google Cloud core) supportati includono quanto segue:
    • Dashboard di Looker
    • Elemento della dashboard di Looker (riquadro)
    • Look di Looker
    • Esplorazione LookML
    • Visualizzazione LookML
  • Collegamenti:rappresentano il flusso di dati. Ad esempio, un link da una tabella BigQuery a una vista LookML indica che la vista seleziona i dati da quella tabella.

Identificare i proprietari degli asset

Per scoprire chi è il proprietario di un asset downstream che potrebbe essere interessato da una modifica:

  1. Nel grafico delle origini, fai clic sul nodo dell'asset (ad esempio, un dashboard Looker).
  2. Sul lato destro dello schermo si apre un riquadro informativo.
  3. Cerca la sezione Aspetti per trovare il Proprietario (indirizzo email).

Filtrare l'elenco della tracciabilità

Nella visualizzazione Elenco per la tracciabilità, puoi filtrare le entità in base al nome o al valore della proprietà. Ad esempio, i modelli LookML complessi possono generare grafici di derivazione di grandi dimensioni con molte entità intermedie. Per concentrarti sull'impatto sull'attività, puoi filtrare per tipo di entità seguendo questi passaggi:

  1. Nella scheda Tracciabilità, passa alla visualizzazione Elenco.
  2. Individua le opzioni Filtra nella barra degli strumenti.
  3. Nel filtro Entità, inserisci Dashboard Looker e Look Looker per filtrare i tipi intermedi come Visualizzazione LookML ed Esplorazione Looker.

L'elenco delle entità viene aggiornato in modo da mostrare solo i tipi di asset selezionati, semplificando l'identificazione dei contenuti rivolti agli utenti.

Limitazioni

L'integrazione di Lineage di Looker (Google Cloud core) presenta le seguenti limitazioni durante la release di anteprima:

  • Origini dati:nell'anteprima, la derivazione è supportata solo per le origini dati BigQuery.
  • Granularità:la derivazione viene fornita a livello di oggetto (tabella, visualizzazione, esplorazione, dashboard). La genealogia a livello di colonna non è supportata.
  • Latenza:i dati di derivazione non sono in tempo reale. Il processo di sincronizzazione in genere richiede quattro ore. Tuttavia, la sincronizzazione potrebbe richiedere fino a otto ore, a seconda della tempistica delle esportazioni dei metadati di Looker e del consumo dei dati di derivazione. Potrebbe essere necessario del tempo prima che le modifiche apportate in Looker o BigQuery vengano visualizzate nel grafico di tracciabilità.
  • SQL complesso:il codice LookML definito con SQL personalizzato complesso (ad esempio, modelli Liquid, tabelle derivate con join complessi) potrebbe non essere analizzato completamente, il che potrebbe comportare nodi disconnessi.

Prezzi

Durante la release di anteprima, non sono previsti costi per le funzionalità di derivazione dei dati utilizzate con questa integrazione.

Quando la tracciabilità dei dati sarà disponibile pubblicamente, verranno applicati i prezzi. Per evitare implicazioni future sui prezzi, l'importazione della derivazione di Looker (Google Cloud core) è disabilitata per impostazione predefinita per i progetti che, alla data di rilascio dell'anteprima di questa funzionalità, avevano l'API Data Lineage abilitata e ospitavano almeno un'istanza di Looker (Google Cloud core).

Per ulteriori informazioni, consulta la pagina dei prezzi di Knowledge Catalog.

Passaggi successivi