Questo documento fornisce informazioni sulla conformità e sulle limitazioni della derivazione dei dati. La derivazione dei dati è abilitata per progetto, non per sistema. Ciò significa che, dopo aver abilitato l'API Data Lineage, le informazioni sulla derivazione possono essere segnalate automaticamente per più sistemi nel progetto, a seconda del controllo della derivazione a livello di prodotto di ciascun sistema.
Il monitoraggio automatico della derivazione è supportato per i seguenti sistemi:
| Sistema | Controlli della derivazione disponibili |
|---|---|
| BigQuery, Cloud Data Fusion |
Non è possibile configurare la limitazione del monitoraggio della derivazione solo a Cloud Data Fusion o BigQuery quando l'API Data Lineage è abilitata in un progetto. |
| Cloud Composer | Cloud Composer utilizza il controllo dell'integrazione della derivazione dei dati a livello di ambiente. La derivazione dei dati viene abilitata automaticamente abilitata per tutti i nuovi ambienti Cloud Composer, a condizione che soddisfino i requisiti. Per ulteriori informazioni, consulta Derivazione dei dati con Knowledge Catalog (in precedenza Dataplex Universal Catalog) Per gli ambienti esistenti, puoi abilitare o disabilitare l'integrazione della derivazione dei dati nelle impostazioni dell'ambiente. |
| Dataflow | I job Dataflow possono acquisire eventi di derivazione e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Utilizzare la derivazione dei dati in Dataflow. |
| Managed Service for Apache Spark | I job Spark di Managed Service for Apache Spark possono acquisire eventi di derivazione e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Integrazione della derivazione dei dati di Managed Service for Apache Spark. |
| Looker (Google Cloud core) (anteprima) | I metadati di Looker (Google Cloud core) provenienti da origini BigQuery possono essere visualizzati utilizzando la derivazione dei dati. La derivazione dei dati deve essere abilitata a livello di risorsa Looker (Google Cloud core) e a livello di servizio di derivazione dei dati. Per ulteriori informazioni, consulta Monitorare la derivazione dei dati con Knowledge Catalog. |
| Vertex AI | La derivazione dei dati viene abilitata automaticamente per gli artefatti e i parametri di Vertex AI, come modelli, set di dati, modelli di pipeline e componenti. La derivazione di una pipeline include i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati derivati in seguito. Per ulteriori informazioni, consulta Monitorare la derivazione degli artefatti della pipeline. |
Impatto sulla fatturazione
Quando abiliti l'API Data Lineage in un progetto, esamina l'impatto sugli addebiti di fatturazione, perché l'API Data Lineage è abilitata per progetto (per i dettagli, consulta la sezione precedente). Per ulteriori informazioni su come vengono addebitati i costi della derivazione dei dati, consulta Prezzi di Knowledge Catalog.
Per BigQuery Omni, l'elaborazione della derivazione viene distribuita a regioni specifiche e i costi dipendono dalle regioni in cui viene eseguita l'elaborazione.
Conformità della derivazione dei dati
- La derivazione dei dati registra i metadati relativi allo spostamento dei dati, ma non acquisisce i dati stessi. Per i dettagli sui campi inclusi nei metadati, consulta Modello di informazioni sulla derivazione dei dati e Riferimento all'API Data Lineage.
- La derivazione dei dati come parte di Knowledge Catalog offre il supporto di VPC-SC.
- Knowledge Catalog non offre la possibilità di utilizzare le chiavi di crittografia gestite dal cliente per proteggere i metadati di derivazione raccolti.
Limitazioni della derivazione dei dati
Quando selezioni un nodo nel grafico di derivazione, il riquadro laterale dei dettagli del nodo sarà vuoto quando:
- le risorse si trovano in un'altra organizzazione oppure
- l'utente non è membro dell'organizzazione che ospita la risorsa.