Quando pianifichi la tua strategia di governance dei dati, comprendere il funzionamento della derivazione dei dati in Knowledge Catalog può aiutarti a prendere decisioni architetturali migliori. Tieni presente le seguenti considerazioni:
- Attivazione a livello di progetto: quando abiliti l'API Data Lineage, il monitoraggio della derivazione dei dati è attivo per impostazione predefinita in tutto il progetto, segnalando automaticamente le informazioni per più sistemi a seconda dei controlli a livello di prodotto. Puoi anche controllare l'importazione della derivazione in modo gerarchico per servizi specifici.
- Conformità legale: hai una visibilità chiara dello spostamento dei dati e comprendi esattamente quali metadati vengono registrati e come vengono protetti.
- Gestione dei costi: puoi rivedere e gestire in modo proattivo l'impatto sulla fatturazione della tracciabilità della derivazione nei tuoi progetti.
Controlli della tracciabilità a livello di prodotto
Quando l'API Data Lineage è abilitata, i sistemi supportati segnalano la derivazione in base ai controlli a livello di prodotto:
| Sistema | Controlli della tracciabilità disponibili |
|---|---|
| BigQuery, Cloud Data Fusion |
Non puoi limitare il monitoraggio della derivazione solo a Cloud Data Fusion o BigQuery quando l'API Data Lineage è abilitata in un progetto. Puoi configurare l'acquisizione della tracciabilità dei dati per BigQuery per attivare o disattivare l'acquisizione automatica della tracciabilità dei dati. |
| Managed Service for Apache Airflow | Managed Airflow utilizza il controllo dell'integrazione della tracciabilità dei dati a livello di ambiente. La derivazione dei dati viene attivata automaticamente per tutti i nuovi ambienti Managed Airflow che soddisfano i requisiti. Per ulteriori informazioni, consulta Tracciabilità dei dati con Managed Airflow. Per gli ambienti esistenti, utilizza le impostazioni dell'ambiente per attivare o disabilitare l'integrazione della tracciabilità dei dati. Puoi configurare l'importazione della tracciabilità dei dati per Managed Airflow per attivare o disattivare l'importazione automatica della tracciabilità dei dati. |
| Dataflow | Puoi acquisire gli eventi di derivazione con i job Dataflow e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Utilizzare la derivazione dei dati in Dataflow. |
| Managed Service for Apache Spark | Puoi acquisire gli eventi di derivazione con i job Managed Service for Apache Spark e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Utilizzare la tracciabilità dei dati di Spark. Puoi configurare l'importazione della tracciabilità dei dati per Managed Service for Apache Spark per attivare o disattivare l'importazione automatica della tracciabilità dei dati. |
| Looker (Google Cloud core) (anteprima) | È supportata la visualizzazione dei metadati di Looker (Google Cloud core) dalle origini BigQuery utilizzando la derivazione dei dati. La derivazione dei dati deve essere abilitata a livello di risorsa Looker (Google Cloud core) e a livello di servizio di derivazione dei dati. Per ulteriori informazioni, consulta Monitorare la tracciabilità dei dati con Knowledge Catalog. |
| Vertex AI | La tracciabilità dei dati viene attivata automaticamente per le Vertex AI Pipelines, monitorando gli artefatti di input e i parametri di esecuzione (come modelli, set di dati e componenti), nonché gli asset derivati downstream. Per ulteriori informazioni, consulta Monitorare la tracciabilità degli artefatti della pipeline. |
Impatto sulla fatturazione
Quando abiliti l'API Data Lineage in un progetto, esamina l'impatto sugli addebiti di fatturazione, perché l'API Data Lineage è abilitata per progetto (per maggiori dettagli, consulta la sezione precedente). Per ulteriori informazioni su come viene addebitata la derivazione dei dati, consulta Prezzi di Knowledge Catalog.
Per BigQuery Omni, l'elaborazione della tracciabilità viene distribuita a regioni specifiche e i costi dipendono dalle regioni in cui viene eseguita l'elaborazione.
Conformità della tracciabilità dei dati
- La derivazione dei dati registra i metadati relativi allo spostamento dei dati, ma non acquisisce i dati stessi. Per informazioni dettagliate sui campi inclusi nei metadati, consulta Modello di informazioni sulla derivazione dei dati e Riferimento all'API Data Lineage.
- La derivazione dei dati come parte di Knowledge Catalog offre il supporto di VPC-SC.
- Knowledge Catalog non offre la possibilità di utilizzare le chiavi di crittografia gestite dal cliente per proteggere i metadati della derivazione raccolti.
Limitazioni della tracciabilità dei dati
Quando selezioni un nodo nel grafico della derivazione, il riquadro laterale dei dettagli del nodo sarà vuoto nei seguenti casi:
- La risorsa si trova in un'altra organizzazione.
- L'utente non è membro dell'organizzazione che ospita la risorsa.