La derivazione dei dati ti aiuta a capire come i dati si spostano nei tuoi sistemi monitorando le relazioni tra gli asset di dati e i processi che li trasformano. Puoi visualizzare queste informazioni sulla derivazione sotto forma di grafici ed elenchi nella console Google Cloud .
Questo documento descrive la granularità della derivazione dei dati a livello di tabella e di colonna e fornisce istruzioni per l'utilizzo delle visualizzazioni elenco e grafico per esplorare la derivazione dei dati nella console Google Cloud .
Per i dettagli sul modello dei dati sottostante, consulta il modello di informazioni sulla derivazione dei dati.
Differenze tra la derivazione a livello di tabella e a livello di colonna
La derivazione dei dati ti consente di tracciare l'origine e il percorso di trasformazione dei dati sia a livello di tabella che di colonna.
Quando utilizzare la derivazione a livello di tabella
La derivazione a livello di tabella fornisce una panoramica generale delle pipeline di dati mostrando le relazioni tra intere tabelle. Utilizza la derivazione a livello di tabella per attività a livello macro, come le seguenti:
Rilevamento dei dati. Un analista che crea una nuova dashboard può utilizzare la derivazione a livello di tabella per risalire alle origini di una tabella di riepilogo e verificare che i dati provengano da un database autorevole.
Pianificazione della migrazione. Un amministratore di database che pianifica la migrazione di un database principale può utilizzare la derivazione a livello di tabella per identificare ogni report e dashboard downstream che dipende da questo database.
Controllo e governance. Un data governor può utilizzare la derivazione a livello di tabella e di colonna per verificare in che modo i dati di una tabella contenente informazioni che consentono l'identificazione personale (PII) fluiscono attraverso una pipeline.
Quando utilizzare la derivazione a livello di colonna
La derivazione a livello di colonna fornisce una visualizzazione più granulare monitorando il flusso di dati tra le singole colonne. In questa visualizzazione, i link all'interno di un evento di derivazione rappresentano la relazione tra una colonna di origine e una colonna di destinazione. Ognuno di questi link a livello di colonna ha un tipo di dipendenza che descrive la trasformazione:
Exact copy: i valori vengono copiati tra le colonne.Other: altri tipi di dipendenze tra le colonne.
Utilizza la derivazione a livello di colonna per attività come le seguenti:
Analisi delle cause principali. Se un analista di dati trova un valore errato in una colonna, può utilizzare la derivazione a livello di colonna per risalire alle colonne di origine e trovare la causa principale.
Analisi dell'impatto. Prima di ritirare una colonna, un data engineer può utilizzare la derivazione a livello di colonna per trovare ogni colonna downstream che dipende da questa.
Verifica dell'origine dati per le metriche. Un analista di dati può utilizzare la derivazione a livello di colonna per identificare le colonne di origine utilizzate per calcolare una metrica senza decifrare una query SQL complessa.
La derivazione a livello di colonna viene raccolta automaticamente per i seguenti tipi di job BigQuery:
Per i job Managed Service for Apache Spark, il supporto dipende dal tipo e dalla versione della dipendenza Open Lineage utilizzata da Managed Service for Apache Spark. La versione minima supportata è la 1.34. Di seguito sono riportate le versioni minime supportate delle immagini dei cluster Managed Service for Apache Spark:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Di seguito sono riportate le versioni minime supportate del runtime di Managed Service for Apache Spark:
- 3.0.3
- 2.3.20
Visualizzazioni della derivazione nella console Google Cloud
La derivazione dei dati nella console Google Cloud ti consente di interagire con le informazioni sulla derivazione in due modi: puoi esplorare il grafico della derivazione in più regioni disponibili o utilizzare il riquadro Esplora derivazione per ottenere una visualizzazione più mirata all'interno di una regione specifica. Puoi anche passare dalla visualizzazione Grafico alla visualizzazione Elenco per analizzare il flusso di dati a diversi livelli di dettaglio.
Le visualizzazioni della derivazione sono disponibili solo per le voci di Knowledge Catalog (precedentemente Dataplex Universal Catalog), gli asset BigQuery e le risorse Vertex AI (modelli, set di dati, visualizzazioni di Feature Store e gruppi di caratteristiche).
Per visualizzare le diverse visualizzazioni descritte in questo documento, consulta Utilizza la derivazione dei dati con i sistemi Google Cloud .
Visualizzazione del grafico di derivazione
La visualizzazione Grafico mostra il flusso e le relazioni degli asset di dati tra sistemi e regioni, aiutandoti a comprendere l'architettura dei dati, a tracciare origini e destinazioni e a identificare i pattern. Questi grafici di derivazione, generati dal servizio API Data Lineage per una voce specifica di Knowledge Catalog, mostrano come i dati vengono trasformati nel tempo, visualizzando i flussi upstream, downstream o entrambi a partire da una voce principale selezionata.
L'API Data Lineage riceve automaticamente le informazioni sugli asset dai sistemi supportati e tramite chiamate API per le origini personalizzate.
Gli elementi chiave del grafico sono i seguenti:
Nodi. I nodi rappresentano le entità di dati. In una visualizzazione a livello di tabella, un nodo mostra il nome della tabella e le relative colonne. In una visualizzazione a livello di colonna, ogni nodo rappresenta una tabella e una colonna specifiche.
Bordi Gli archi sono le linee che collegano i nodi e rappresentano i processi che si verificano tra di essi. L'aspetto di un arco dipende dalla visualizzazione della derivazione:
- Nella visualizzazione a livello di tabella, i bordi hanno icone per indicare le trasformazioni dei dati.
- Nella visualizzazione a livello di colonna, i bordi hanno etichette per indicare le trasformazioni dei dati. Ad esempio, un'etichetta di un arco potrebbe indicare
Exact copyper descrivere come una colonna di origine è stata copiata in una colonna di destinazione.
Icone ed etichette dei processi. Le icone e le etichette dei processi vengono visualizzate sui bordi per fornire ulteriori informazioni sulla trasformazione.
- Icone Le icone rappresentano il processo di trasformazione. Quando esplori manualmente il grafico, le icone sugli archi rappresentano il sistema di origine del processo (ad esempio BigQuery o Vertex AI). Se sono coinvolti più processi, viene visualizzata un'icona "più processi". Se il sistema di origine del processo è sconosciuto, viene utilizzata un'icona a forma di ingranaggio. Quando applichi i filtri, viene utilizzata un'icona a forma di ingranaggio per tutti i processi.
- Etichette. Nella visualizzazione della derivazione a livello di colonna, un'etichetta descrive il tipo di dipendenza tra le colonne:
Exact copyoOther.
Esplora il grafico di derivazione
Quando apri la scheda Tracciabilità, viene visualizzata la vista Grafico predefinita. La visualizzazione predefinita fornisce una panoramica di alto livello di sistemi e regioni, con espansione manuale e incrementale del grafico che può caricare cinque nodi alla volta. Le icone dei processi sui bordi rappresentano il sistema di origine o indicano più processi.
Filtra ed evidenzia le visualizzazioni della derivazione dei dati
Per grafici di derivazione grandi e complessi, puoi applicare filtri o evidenziazioni per ridurre il rumore visivo e concentrarti sull'esplorazione della derivazione all'interno di una regione specifica. Utilizza il riquadro Esplora derivazioni per impostare i criteri. Quando vengono applicati i filtri, nella parte superiore delle visualizzazioni Grafico ed Elenco viene visualizzata una barra dei filtri che mostra i filtri attivi sotto forma di chip.
Per perfezionare la visualizzazione della derivazione, puoi scegliere una delle seguenti modalità:
Evidenzia: i nodi corrispondenti vengono enfatizzati visivamente con colori e bordi, mentre l'intero grafico rimane visibile. In questo modo è possibile individuare asset specifici senza perdere il contesto generale del grafico di derivazione.
Filtra: i nodi non corrispondenti vengono nascosti e il grafico viene semplificato per mostrare solo i nodi corrispondenti e i percorsi tra di loro. Tutti gli asset non corrispondenti che fanno parte di un percorso tra nodi corrispondenti vengono raggruppati in nodi compressi. Questa modalità è utile per ridurre la complessità e concentrarsi solo sugli asset pertinenti e sulle loro relazioni dirette.
Per filtrare o evidenziare la derivazione, utilizza i seguenti criteri:
- Progetto: filtra in base all'ID progetto Google Cloud .
- Sistema: filtra in base al sistema in cui si trova l'asset di dati (ad esempio, BigQuery o Cloud Storage).
- Nome entità: filtra in base al nome dell'asset. Puoi utilizzare
*per le ricerche con caratteri jolly (solo prefisso e suffisso, ad esempio*tableotest*). - Sottotipo: filtra in base al sottotipo di asset (ad esempio
dashboardomodel). - Nome colonna: filtra la derivazione per nome colonna per visualizzare i dettagli a livello di colonna.
- Direzione: mostra la derivazione upstream o downstream o entrambe.
- Intervallo di tempo: filtra la derivazione in base a un'ora di inizio o di fine specifica.
- Tipo di dipendenza: filtra la derivazione a livello di colonna in base al tipo di dipendenza.
Esempi di opzioni disponibili includono
AlloExact copy.
Per ridurre ulteriormente il disordine, puoi selezionare Nascondi tabelle BigQuery temporanee per nascondere gli asset temporanei creati da BigQuery, come le tabelle nei set di dati con nomi che iniziano con _script.
La visualizzazione mirata nella scheda di visualizzazione Grafico espande automaticamente il grafico fino a tre livelli, caricando tutta la derivazione corrispondente ai criteri di filtro. Esplora derivazione recupera fino a 10 livelli del grafico di derivazione, ma per impostazione predefinita vengono espansi solo i primi tre livelli. Puoi espandere il grafico per visualizzare i livelli rimanenti facendo clic sulle frecce.
La visualizzazione mirata supporta la derivazione sia a livello di tabella che di colonna, inclusa la visualizzazione del percorso da qualsiasi nodo selezionato fino alla radice. In questa visualizzazione mirata, viene utilizzata un'icona a forma di ingranaggio generica per tutti i processi.
Per visualizzare la derivazione a livello di colonna, utilizza uno dei seguenti metodi:
In una visualizzazione Grafico mirata, fai clic sull'icona della colonna in una tabella per passare alla derivazione a livello di colonna.
Icona delle colonne Nella visualizzazione Grafico predefinita o nella visualizzazione Grafico con stato attivo, applica un nome di colonna nel riquadro Esplora derivazioni.
Per rimuovere tutti i filtri e tornare alla visualizzazione predefinita, fai clic su Reimposta.
Per passare dalla modalità di evidenziazione a quella di filtro e viceversa, consulta Perfeziona la visualizzazione della derivazione.
Visualizza i dettagli del nodo di derivazione
Per visualizzare i dettagli di un nodo, fai clic sul nodo. Viene visualizzato un riquadro laterale con informazioni dettagliate sull'asset di dati selezionato. Ad esempio, in una visualizzazione della derivazione a livello di tabella, se fai clic su un nodo vengono visualizzate informazioni come il nome completo, il tipo e altri attributi pertinenti dell'asset.
Visualizza la cronologia delle esecuzioni della derivazione
Un grafico di derivazione completo è il risultato delle esecuzioni di molti job diversi. Ogni job crea un link specifico nel grafico. Le esecuzioni multiple vengono registrate come nuove esecuzioni, ma non modificano l'aspetto statico del grafico.
Per visualizzare i dettagli di queste singole esecuzioni, fai clic su un arco con un processo nel grafico. Nel riquadro Query visualizzato, fai clic sulla scheda Esecuzioni.
Ispeziona la logica di trasformazione dei dati
Per comprendere la logica di business di una trasformazione senza cercare il codice, puoi visualizzare la query SQL esatta che è stata eseguita. Per visualizzare il codice SQL, fai clic su un arco con un processo nel grafico. Nel riquadro laterale visualizzato, fai clic sulla scheda Dettagli.
Visualizza un percorso di derivazione dei dati
La visualizzazione del percorso di derivazione ti aiuta a tracciare il percorso da qualsiasi nodo selezionato nel grafico fino alla voce principale. Quando selezioni un nodo e fai clic su Visualizza percorso, il grafico evidenzia solo i nodi e i processi che formano il percorso di derivazione diretto alla voce principale.
Per visualizzare il percorso di derivazione, nel riquadro Esplora derivazione, applica un filtro per creare una visualizzazione Grafico mirata. Poi, nella visualizzazione Grafico attiva, seleziona un nodo. Nel riquadro dei dettagli del nodo selezionato, fai clic su Visualizza percorso.
La visualizzazione del percorso di derivazione è disponibile per la derivazione a livello di tabella e di colonna. Puoi anche utilizzare la visualizzazione del percorso di derivazione nella visualizzazione Elenco.
Visualizzazione elenco di derivazione
La visualizzazione Elenco offre una rappresentazione tabulare e strutturata della derivazione, sincronizzata con la visualizzazione Grafico. Ti aiuta a ordinare, filtrare e scaricare gli asset di dati. Questa visualizzazione è ideale per analizzare le relazioni tra origine e destinazione, fornire dettagli sugli asset coinvolti ed esportare i dati di derivazione.
La visualizzazione Elenco è disponibile per la derivazione sia a livello di tabella che di colonna. Puoi passare da una visualizzazione elenco dettagliata a una semplificata e viceversa:
Visualizzazione elenco semplificata: questa visualizzazione è utile per ottenere un elenco condensato e univoco di tutti gli asset coinvolti nella derivazione. Le colonne come Sistema, Progetto, Entità, FQN (nome completo), Direzione e Profondità ti aiutano a visualizzare tutti gli asset di dati nella derivazione, dove si trovano, la loro origine e la loro distanza dall'asset centrale in fase di analisi. È ideale per una panoramica generale di tutte le entità che partecipano al flusso di dati. È la visualizzazione predefinita.
Visualizzazione elenco dettagliata: questa visualizzazione è progettata per analizzare le singole relazioni tra origine e destinazione. Fornendo colonne separate per Origine e Target, puoi visualizzare ogni link di trasformazione dei dati specifico. Questa visualizzazione è ideale per le attività che richiedono una comprensione approfondita del modo in cui i dati si spostano tra coppie specifiche di asset, ad esempio l'audit dei singoli flussi di dati, la comprensione delle dipendenze tra le tabelle o l'esportazione di record di derivazione dettagliati per ogni connessione.
Visualizzazione elenco della derivazione a livello di tabella
Questa visualizzazione mostra le relazioni tra le tabelle nel loro complesso. Utilizza i filtri forniti per selezionare le colonne richieste.
Espandi le sezioni seguenti per visualizzare le colonne disponibili nelle visualizzazioni elenco a livello di tabella.
Colonne disponibili nella visualizzazione elenco semplificata a livello di tabella
- Sistema: il sistema in cui si trova l'asset di dati. Alcuni esempi sono [BigQuery](/bigquery/docs).
- Progetto: l'ID progetto Google Cloud contenente l'asset di dati.
- Entità: il nome dell'asset di dati. Gli esempi includono un nome di tabella.
- FQN: il nome completo (FQN) dell'entità o della colonna di origine originale.
- Direzione: indica se l'asset elencato è upstream (origine) o downstream (destinazione) nel flusso di derivazione.
- Profondità: il numero di passaggi di derivazione dall'asset centrale analizzato.
Colonne disponibili nella visualizzazione elenco dettagliata a livello di tabella
- Sistema di origine: il sistema in cui si trova l'asset di dati di origine. Alcuni esempi sono BigQuery.
- Progetto di origine: l'ID progetto Google Cloud contenente l'asset di dati di origine.
- Origine: il nome dell'asset di dati di origine. Gli esempi includono un nome di tabella.
- FQN di origine: il nome completo dell'entità di origine.
- Sistema di destinazione: il sistema in cui si trova l'asset di dati di destinazione. Alcuni esempi sono BigQuery.
- Progetto di destinazione: l'ID progetto Google Cloud contenente l'asset di dati di destinazione.
- Target: il nome dell'asset di dati di destinazione. Gli esempi includono il nome di una tabella.
- Target FQN: il nome completo dell'entità di destinazione.
- Direzione: indica se l'asset elencato è upstream (origine) o downstream (destinazione) nel flusso di derivazione.
- Profondità: il numero di passaggi di derivazione dall'asset centrale analizzato.
Visualizzazione elenco della derivazione a livello di colonna
Questa visualizzazione mostra le relazioni tra le singole colonne delle tabelle di origine e di destinazione. Utilizza i filtri forniti per selezionare le colonne necessarie.
Espandi le sezioni seguenti per visualizzare le colonne disponibili nelle visualizzazioni elenco a livello di colonna.
Colonne disponibili nella visualizzazione elenco semplificata a livello di colonna
- Sistema: il sistema in cui si trova l'asset di dati. Alcuni esempi sono BigQuery.
- Progetto: l'ID progetto Google Cloud contenente l'asset di dati.
- Entità: il nome dell'asset di dati. Gli esempi includono un nome di tabella.
- Colonna: la colonna specifica scelta nel riquadro Esplora derivazioni all'interno dell'entità.
- FQN: il nome completo (FQN) dell'entità o della colonna di origine originale.
- Direzione: indica se l'asset elencato è upstream (origine) o downstream (destinazione) nel flusso di derivazione.
- Profondità: il numero di passaggi di derivazione dall'asset centrale analizzato.
Colonne disponibili nella visualizzazione elenco dettagliata a livello di colonna
- Sistema di origine: il sistema in cui si trova l'asset di dati di origine.
- Progetto di origine: l'ID progetto Google Cloud contenente l'asset di dati di origine.
- FQN di origine: il nome completo della colonna di origine.
- Sistema di destinazione: il sistema in cui si trova l'asset di dati di destinazione.
- Progetto di destinazione: l'ID progetto Google Cloud contenente l'asset di dati di destinazione.
- FQN di destinazione: il nome completo della colonna di destinazione.
- Direzione: indica se il flusso di dati è upstream o downstream.
- Tipi di dipendenza: descrive la natura della relazione tra le colonne.
- Profondità: il numero di passaggi di derivazione dall'asset centrale analizzato.
Passaggi successivi
Scopri di più sulle origini della derivazione.
Scopri come monitorare la derivazione dei dati per i job di copia e query delle tabelle BigQuery.
Scopri come utilizzare la derivazione dei dati con i sistemi Google Cloud .