Informazioni sulla derivazione dei dati

La derivazione dei dati è una mappa visiva che monitora l'intero ciclo di vita dei dati. Mostra la provenienza dei dati (l'origine), dove vengono trasferiti (le destinazioni) e tutte le modifiche o trasformazioni che avvengono lungo il percorso.

Puoi visualizzare questa mappa completa del percorso dei tuoi dati direttamente nella consoleGoogle Cloud per gli asset creati in prodotti come Knowledge Catalog (in precedenza Dataplex Universal Catalog), BigQuery (incluse le tabelle esterne create per Iceberg REST Catalog) e Vertex AI. Poiché i workflow spesso si estendono su più regioni, Knowledge Catalog supporta la tracciabilità multiregionale, che fornisce una visualizzazione unificata del percorso dei dati nell'ecosistema globale Google Cloud . Gli utenti avanzati possono recuperare queste informazioni anche utilizzando l' API Data Lineage.

Perché hai bisogno della derivazione dei dati

Le aziende moderne spostano e modificano costantemente grandi quantità di dati. Ad esempio, trasformando gli acquisti non elaborati dei clienti in report, dashboard e modelli di machine learning. Questa complessità crea sfide critiche per il tuo team:

  • Fiducia e verifica. Gli utenti dei dati spesso hanno difficoltà a confermare che i report e i numeri che vedono siano accurati e provengano da una fonte attendibile.

  • Risoluzione dei problemi. Quando si verifica un errore in un report finale, i team di dati potrebbero avere difficoltà e impiegare molto tempo per risalire alla causa principale del problema attraverso ogni passaggio.

  • Gestione dei cambiamenti. Prima di modificare o eliminare un dato (ad esempio una colonna di una tabella), i team devono conoscere ogni singolo report o modello downstream che si basa su quel dato per evitare di interrompere i sistemi critici.

  • Conformità. I leader hanno bisogno di visibilità su come i dati sensibili (come le informazioni sui clienti o finanziarie) vengono utilizzati nell'organizzazione per soddisfare i requisiti normativi.

La derivazione dei dati risolve questi problemi fornendo un percorso chiaro, visivo e documentato dei dati. In questo modo puoi comprendere le origini dati, tracciare gli errori, valutare l'impatto delle modifiche e mantenere la conformità.

Come funziona la derivazione dei dati

Il flusso di lavoro della derivazione dei dati include i seguenti passaggi:

  1. Origini dati e importazione: le informazioni sulla derivazione provenienti dalle origini dati avviano l'intero processo.

    • Google Cloud servizi: quando l'API Data Lineage è abilitata, i servizi supportati come BigQuery e Dataflow segnalano automaticamente gli eventi di derivazione ogni volta che i dati vengono spostati o trasformati.

    • Origini personalizzate: per tutti i sistemi non supportati automaticamente dalle integrazioni diGoogle Cloud , puoi utilizzare l'API Data Lineage per registrare manualmente le informazioni sulla derivazione. Ti consigliamo di importare gli eventi formattati in base allo standard OpenLineage.

  2. Piattaforma di derivazione: questa piattaforma centrale acquisisce, modella e archivia tutti i dati di derivazione.

    • API Data Lineage: questa API funge da unico punto di accesso per tutte le informazioni sulla derivazione in entrata. Utilizza un modello dei dati gerarchico composto da tre concetti fondamentali: processo, esecuzione ed evento.

    • Elaborazione e archiviazione: la piattaforma elabora i dati in entrata e li archivia in database affidabili e ottimizzati per le query.

  3. Esperienza utente: puoi interagire con le informazioni sulla derivazione archiviate in due modi principali:

    • Esplorazione visiva: nella console Google Cloud , un servizio di frontend recupera ed esegue il rendering dei dati di derivazione sotto forma di grafico o elenco interattivo. Questa funzionalità è supportata per Knowledge Catalog, BigQuery, Lakehouse (per le tabelle del catalogo REST Iceberg), il livello fisico (Cloud Storage) e Vertex AI (per modelli, set di dati, tramite pipeline, viste Feature Store e gruppi di caratteristiche). Questa opzione è ideale per esplorare visivamente il percorso dei dati.

    • Accesso programmatico: utilizzando un client API, puoi comunicare direttamente con l'API Data Lineage per automatizzare la gestione della derivazione. In questo modo puoi scrivere informazioni sulla derivazione da origini personalizzate. Inoltre, ti consente di leggere ed eseguire query sui dati di derivazione archiviati per utilizzarli in altre applicazioni o per creare report personalizzati.

Quale metodo devo utilizzare per la derivazione dei dati?

Per eseguire ricerche immediate a livello singolo, utilizza il metodo SearchLinks. Per creare un grafico di derivazione completo o eseguire un'analisi di impatto approfondita (fino a 100 livelli), utilizza il metodo SearchLineageStreaming.

A seconda del caso d'uso, seleziona il metodo più appropriato:

Funzionalità SearchLinks SearchLineageStreaming
Profondità 1 livello (vicini immediati) Fino a 100 livelli
Esecuzione Sincrona Flussi di dati in tempo reale
Caso d'uso Ricerche semplici di origini o destinazioni dirette Creazione di un grafico di derivazione completo o esecuzione di un'analisi d'impatto

Identifica la direzione

  • Upstream (origini):
    • In SearchLinks, imposta il campo target sul nome completo dell'asset.
    • In SearchLineageStreaming, imposta direction su UPSTREAM.
  • Downstream (destinazioni):
    • In SearchLinks, imposta il campo source sul nome completo dell'asset.
    • In SearchLineageStreaming, imposta direction su DOWNSTREAM.

Modello di informazioni sulla derivazione dei dati

La derivazione è un record di dati che vengono trasformati dalle origini alle destinazioni. L'API Data Lineage raccoglie queste informazioni e le organizza in un modello dei dati gerarchico che utilizza i concetti di processi, esecuzioni ed eventi.

Concetto Descrizione
Processo Una definizione di trasformazione dei dati.
Esegui L'esecuzione di un processo.
Evento Un record del movimento dei dati durante un'esecuzione.

Che cos'è un processo di derivazione?

Un processo è la definizione di un'operazione di trasformazione dei dati per un sistema specifico. Per la tracciabilità di BigQuery, un processo è un job di un tipo di prestazione supportato. Tutte le esecuzioni della stessa query SQL sono collegate a un singolo processo, il che ti consente di monitorare ogni istanza in cui viene utilizzata una logica di trasformazione specifica.

Ad esempio, la seguente query SQL è un processo. Questa query crea una tabella contando il numero totale di corse per ogni fornitore da due tabelle di origine. 

  CREATE TABLE `dataplex-docs.data_lineage_demo.total_green_trips_22_21`
  AS
  SELECT
      vendor_id,
      COUNT(*) AS number_of_trips
  FROM
      (
          SELECT vendor_id
          FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2022`
          UNION ALL
          SELECT vendor_id
          FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2021`
      )
  GROUP BY
      vendor_id;

Il formato del nome della risorsa REST per un processo è projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID.

Ad esempio: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6

Per saperne di più sulla risorsa process, consulta il riferimento alla risorsa Process.

Che cos'è un'esecuzione della derivazione?

Per esecuzione si intende la singola esecuzione di un processo. I processi possono avere più esecuzioni.

Ogni esecuzione è un'operazione univoca caratterizzata da un startTime, un endTime e uno stato finale, ad esempio COMPLETED, FAILED o ABORTED.

Ad esempio, l'esecuzione della query SQL dalla sezione Elabora alle 09:00 crea un'esecuzione specifica. L'esecuzione della stessa query alle 10:00 crea una nuova esecuzione distinta. Entrambe le esecuzioni sono collegate allo stesso processo principale.

Il formato del nome della risorsa REST per un'esecuzione mostra che è un elemento secondario di un processo: projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID/runs/RUN_ID.

Ad esempio: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6/runs/83dd03a51cd2ac80f465c9e267a950b1

Per ulteriori informazioni sulla risorsa run, consulta il Riferimento della risorsa Run.

Che cos'è un evento di derivazione?

Un evento rappresenta un momento nel tempo in cui una trasformazione dei dati sposta i dati tra un'entità di origine e una di destinazione. Un evento è un record granulare di un movimento di dati specifico che collega le tabelle di origine e di destinazione per un'esecuzione specifica. Un evento può anche avere più origini e destinazioni.

Ad esempio, se l'esecuzione esegue la query SQL discussa nella sezione Processo, un evento di derivazione registra che le tabelle di origine nyc_green_trips_2021 e nyc_green_trips_2022 vengono utilizzate per creare la tabella di destinazione total_green_trips_22_21.

Un evento di derivazione contiene un elenco di link che definiscono l'origine e la destinazione. Gli eventi vengono utilizzati per creare grafici di derivazione. Sebbene la console Google Cloud presenti questi grafici di derivazione, non mostra direttamente i singoli eventi. Puoi creare, leggere ed eliminare, ma non aggiornare gli eventi utilizzando l'API Data Lineage.

Ogni link all'interno di un evento definisce un singolo percorso del flusso di dati da un'entità di origine a un'entità di destinazione. Un'entità è un riferimento a un asset di dati, ad esempio una tabella BigQuery, ed è identificata dal suo nome completo (FQN). Un singolo evento può contenere più link, il che è comune in operazioni come i join di tabelle in cui più origini contribuiscono a un target.

Per informazioni dettagliate su come gli eventi supportano la derivazione a livello di colonna, consulta Derivazione a livello di colonna.

Quali origini dati sono supportate per la derivazione dei dati?

Puoi compilare le informazioni sulla derivazione in Knowledge Catalog nei seguenti modi:

  • Automaticamente dai servizi Google Cloud integrati
  • Manualmente, utilizzando l'API Data Lineage per le origini personalizzate
  • Importando gli eventi da OpenLineage

BigQuery

Quando attivi la derivazione dei dati nel tuo progetto BigQuery, Knowledge Catalog registra automaticamente le informazioni sulla derivazione per:

I job di copia, query e caricamento di BigQuery sono rappresentati come processi.

Per visualizzare i dettagli del processo, fai clic sull'icona Dettagli processo Dettagli del processo. nel grafico di derivazione.

Ogni processo contiene l'job_id di BigQuery nell'elenco attributes per il job BigQuery più recente.

Altri servizi

La derivazione dei dati supporta l'integrazione con i seguenti serviziGoogle Cloud :

  • Cloud Data Fusion

    Non puoi limitare il monitoraggio della derivazione solo a Cloud Data Fusion quando l'API Data Lineage è abilitata in un progetto.

  • Dataflow

    Puoi acquisire gli eventi di derivazione con i job Dataflow e pubblicarli nell'API Data Lineage.

  • Lakehouse per le tabelle del catalogo REST Iceberg

  • Looker (Google Cloud core) (anteprima)

    È supportata la visualizzazione dei metadati di Looker (Google Cloud core) dalle origini BigQuery utilizzando la derivazione dei dati. La derivazione dei dati deve essere abilitata a livello di risorsa Looker (Google Cloud core) e a livello di servizio di derivazione dei dati.

  • Managed Service for Apache Airflow

    Managed Airflow utilizza il controllo dell'integrazione della derivazione dei dati a livello di ambiente. La derivazione dei dati viene attivata automaticamente per tutti i nuovi ambienti Managed Airflow che soddisfano i requisiti. Per gli ambienti esistenti, utilizza le impostazioni dell'ambiente per attivare o disattivare l'integrazione della derivazione dei dati. Puoi configurare l'importazione della derivazione dei dati per Managed Airflow per attivare o disattivare l'importazione automatica della derivazione dei dati.

  • Managed Service for Apache Spark: cluster Apache Hive

    Puoi acquisire gli eventi di derivazione con i job Hive di Managed Service for Apache Spark e pubblicarli nell'API Data Lineage. Puoi configurare l'importazione della derivazione dei dati per Managed Service for Apache Spark in modo da attivare o disattivare l'importazione automatica della derivazione dei dati.

  • Managed Service for Apache Spark: cluster Apache Spark

    Puoi acquisire gli eventi di derivazione con i job Spark di Managed Service for Apache Spark e pubblicarli nell'API Data Lineage. Puoi configurare l'importazione della derivazione dei dati per Managed Service for Apache Spark in modo da attivare o disattivare l'importazione automatica della derivazione dei dati.

  • Managed Service for Apache Spark: deployment serverless

    Puoi acquisire gli eventi di derivazione con i job serverless di Managed Service for Apache Spark e pubblicarli nell'API Data Lineage. Puoi configurare l'importazione della derivazione dei dati per Managed Service for Apache Spark per attivare o disattivare l'importazione automatica della derivazione dei dati.

  • Vertex AI Feature Store

    La derivazione dei dati monitora i metadati per le visualizzazioni e i gruppi di caratteristiche di Feature Store.

  • Vertex AI Pipelines

    La derivazione dei dati viene attivata automaticamente per le pipeline di Vertex AI Pipelines, monitorando gli artefatti di input e i parametri di esecuzione (come modelli, set di dati e componenti), nonché gli asset derivati a valle.

Derivazione dei dati per origini dati personalizzate

Puoi utilizzare l'API Data Lineage per registrare manualmente le informazioni sulla derivazione per qualsiasi origine dati non supportata dai sistemi integrati, ad esempio database esterni o pipeline on-premise. Knowledge Catalog può creare grafici di derivazione per la derivazione registrata manualmente se utilizzi un fullyQualifiedName che corrisponde ai nomi completi delle voci di Knowledge Catalog esistenti. Se vuoi registrare la derivazione per un'origine dati personalizzata, devi prima creare una voce personalizzata.

Ogni processo per un'origine dati personalizzata può contenere una chiave sql nell'elenco degli attributi. Il valore di questa chiave viene utilizzato per eseguire il rendering di un'evidenziazione del codice nel riquadro dei dettagli del grafico di derivazione dei dati. L'istruzione SQL viene visualizzata così come è stata fornita. Sei responsabile del filtraggio delle informazioni sensibili. Il nome della chiave sql è sensibile alle maiuscole.

Ad esempio, un payload della risorsa di processo con un attributo sql personalizzato:

{
  "displayName": "custom-sql-query",
  "attributes": {
    "sql": "SELECT user_id, SUM(amount) FROM `project.dataset.purchases` GROUP BY user_id"
  }
}

Per saperne di più, consulta Monitora le informazioni sulla derivazione dei sistemi esterni.

OpenLineage

Se utilizzi già OpenLineage per raccogliere informazioni sulla derivazione da altre origini dati, puoi importare gli eventi OpenLineage in Knowledge Catalog e visualizzarli nella console Google Cloud . Per saperne di più, consulta Integrazione con OpenLineage.

Tracciamento automatico della derivazione dei dati

Quando abiliti l'API Data Lineage,i sistemi Google Cloud che supportano la derivazione dei dati iniziano a segnalare lo spostamento dei dati. Ogni sistema integrato può inviare informazioni sulla derivazione per una gamma diversa di origini dati.

Controlla l'importazione della derivazione

Il controllo della generazione dei dati di derivazione ti aiuta a gestire i costi e le policy di governance. Ad esempio, puoi disattivare la raccolta della derivazione per i progetti di sviluppo o i workload con volumi elevati che non richiedono il monitoraggio della derivazione.

Per informazioni su come configurare e controllare l'importazione della derivazione, consulta Controlla l'importazione della derivazione per un servizio.

Derivazione dei dati multiregionale

La derivazione dei dati è un servizio intrinsecamente regionalizzato. I metadati di derivazione, inclusi link, processi ed eventi, vengono registrati e isolati in modo sicuro all'interno della posizione geografica specifica in cui avviene la trasformazione dei dati o la modifica degli asset sottostanti.

Man mano che le moderne architetture di dati aziendali scalano, i flussi di lavoro delle pipeline spesso superano i confini dei progetti e delle regioni. Ad esempio, una pipeline di trasformazione BigQuery in esecuzione in us-central1 potrebbe leggere una tabella di origine in us-east1 e generare metriche aggregate in un bucket Cloud Storage situato in europe-west1.

Per stabilire una visualizzazione completa e end-to-end del ciclo di vita dei dati in questi spazi geografici indipendenti, utilizza un metodo di ricerca della derivazione multiregionale.

Per saperne di più, consulta Informazioni sulla ricerca della derivazione multiregionale.

Considerazioni e limitazioni relative alla derivazione dei dati

Quando pianifichi la tua strategia di governance dei dati, tieni presente le seguenti integrazioni di derivazione, i parametri di conformità e le limitazioni dei servizi.

Controlli di derivazione a livello di prodotto

Quando l'API Data Lineage è abilitata, i sistemi supportati segnalano la derivazione in base ai controlli a livello di prodotto. Per un elenco completo dei sistemi supportati e dei relativi controlli, consulta Sistemi supportati per la derivazione dei dati.

Conformità della derivazione dei dati

  • La derivazione dei dati registra i metadati relativi allo spostamento dei dati, ma non acquisisce i dati stessi. Per informazioni dettagliate sui campi inclusi nei metadati, consulta il modello di informazioni sulla derivazione dei dati e il riferimento API Data Lineage.
  • La derivazione dei dati nell'ambito di Knowledge Catalog offre il supporto di VPC-SC.
  • Knowledge Catalog non offre la possibilità di utilizzare chiavi di crittografia gestite dal cliente (CMEK) per proteggere i metadati di derivazione raccolti.

Limitazioni della derivazione dei dati

La derivazione dei dati presenta le seguenti limitazioni:

  • Tutte le informazioni sulla derivazione vengono conservate nel sistema solo per 30 giorni.

  • Le informazioni sulla derivazione rimangono anche dopo l'eliminazione dell'origine dati correlata. Ad esempio, se elimini una tabella BigQuery, puoi comunque visualizzarne la derivazione tramite l'API e la console per un massimo di 30 giorni.

  • La derivazione dei dati non registra automaticamente le informazioni sulla derivazione diretta per le routine BigQuery. Se una routine viene utilizzata in una query, la derivazione dei dati registra la derivazione tra le tabelle che la routine legge come dipendenze delle tabelle su cui la query scrive.

Quando selezioni un nodo nel grafico di derivazione, il riquadro laterale dei dettagli del nodo è vuoto nei seguenti casi:

  • La risorsa si trova in un'altra organizzazione.
  • L'utente non è un membro dell'organizzazione che ospita la risorsa.

Limitazioni della derivazione a livello di colonna

La derivazione a livello di colonna presenta le seguenti limitazioni aggiuntive:

  • Gli eventi OpenLineage personalizzati inviati utilizzando l'API Data Lineage non supportano la derivazione a livello di colonna.

  • La derivazione a livello di colonna non viene raccolta per i job di caricamento o le routine di BigQuery. Sono inclusi gli script con più istruzioni e le tabelle incrementali di Dataform, che vengono compilati in stored procedure temporanee.

  • La derivazione a livello di colonna non viene raccolta per le query le cui tabelle di origine si trovano interamente in set di dati temporanei.

  • La derivazione a livello di colonna upstream non viene raccolta per le tabelle esterne.

  • La derivazione a livello di colonna non viene raccolta se un job crea più di 1500 link a livello di colonna. In questi casi, viene raccolta solo la derivazione a livello di tabella.

  • La derivazione a livello di colonna non viene trasferita o conservata quando si rinominano le tabelle utilizzando le operazioni ALTER TABLE RENAME (comunemente utilizzate nei pattern ETL di scambio di tabelle).

  • La derivazione a livello di colonna è supportata solo per le colonne di primo livello nelle tabelle BigQuery. I campi nidificati all'interno di tipi complessi (come STRUCT o JSON) non sono supportati.

  • La funzionalità di ricerca con il parametro del campo funziona solo sui link che definiscono esplicitamente le relazioni tra colonne. Non restituisce risultati né attraversa link definiti solo a livello di tabella. Non è supportata la ricerca tra link a livello di tabella e link a livello di colonna (ad esempio, la ricerca di tutte le colonne correlate a un link a livello di tabella o viceversa). L'API restituisce solo i link in cui sia l'origine che la destinazione specificano un campo.

  • Il supporto per le tabelle partizionate è limitato, perché le colonne di partizionamento come _PARTITIONDATE e _PARTITIONTIME non vengono riconosciute nel grafico della derivazione.

  • Limitazioni della console:

    • L'esplorazione del grafico di derivazione è limitata a una profondità di 20 livelli e 10.000 link in ogni direzione.

Prezzi

Knowledge Catalog utilizza lo SKU di elaborazione premium (misurato in unità di calcolo dei dati o DCU) per addebitare i costi della derivazione dei dati. Per i dettagli sulle tariffe, consulta i prezzi di Knowledge Catalog o utilizza il Calcolatore prezzi diGoogle Cloud .

Fattori di costo e impatto sulla fatturazione

Quando pianifichi l'implementazione della derivazione dei dati, tieni presente i seguenti fattori di costo:

  • Abilitazione per progetto. L'API Data Lineage viene eseguita in base al progetto. Esamina l'impatto sulla fatturazione prima di abilitarlo sui flussi di lavoro dei progetti con un volume di dati elevato.
  • Archiviazione e ricerca dei metadati. I metadati di derivazione (processi, esecuzioni, eventi e link) archiviati durante la finestra di conservazione di 30 giorni vengono fatturati in base allo SKU di archiviazione dei metadati. La visualizzazione della derivazione nella console Google Cloud non comporta addebiti per query o scansioni di BigQuery.
  • BigQuery Omni. L'elaborazione della derivazione è distribuita in regioni specifiche e i costi dipendono dalle regioni in cui viene eseguita l'elaborazione.
  • Set di dati multiregionali BigQuery. Se utilizzi set di dati multiregionali (ad esempio, la regione multipla US), BigQuery instrada dinamicamente le query tra le zone dei data center fisici. La derivazione dei dati viene eseguita insieme all'esecuzione delle query nella posizione fisica in cui è stato eseguito il job (ad esempio, us-east1). Di conseguenza, nella fattura di fatturazione Cloud vengono visualizzate voci SKU DCU di derivazione regionali.
  • Tipi di origine personalizzata. Se chiami l'API Data Lineage Origin sourceType con un valore diverso da CUSTOM, vengono generati costi aggiuntivi.

Monitora e controlla i costi

  • Limitazione delle metriche di Cloud Monitoring. Il consumo di DCU per la derivazione dei dati viene eseguito su serverless computing e non genera metriche delle serie temporali in tempo reale in dataplex.googleapis.com/* per Cloud Monitoring.
  • Filtra e attribuisci gli addebiti nella fatturazione Cloud. Per separare e attribuire gli addebiti per la derivazione dei dati da altri addebiti nello SKU di elaborazione premium di Knowledge Catalog, nel report sulla fatturazione Cloud o nell'esportazione della fatturazione Cloud in BigQuery, utilizza l'etichetta goog-dataplex-workload-type con il valore LINEAGE. Per esempi di query dettagliati, consulta Monitora e attribuisci i costi delle DCU di Knowledge Catalog con l'esportazione della fatturazione Cloud.
  • Disattiva nei progetti di sviluppo. Per evitare costi di elaborazione non necessari, abilita l'API Data Lineage solo nei progetti in cui è richiesto il tracciamento della derivazione.
  • Interrompi gli addebiti. L'API Data Lineage prevede addebiti separati rispetto all'API Dataplex. La disabilitazione dell'API Dataplex non disabilita l'API Data Lineage né interrompe i relativi addebiti. Per evitare che ti vengano addebitati costi per la derivazione dei dati, devi disattivare la derivazione dei dati disabilitando l'API Data Lineage.

Passaggi successivi