Informazioni sul controllo dell'importazione della derivazione dei dati

Per gestire i costi e le policy di governance, puoi attivare o disattivare l'importazione della derivazione dei dati per servizi Google Cloud specifici. Ad esempio, puoi disattivare la raccolta della derivazione per i progetti di sviluppo o i workload con volumi elevati che non richiedono il monitoraggio della derivazione.

Integrazioni dei servizi supportate

La tabella seguente elenca le integrazioni che supportano il controllo dell'importazione della derivazione dei dati:

Nome integrazione Assistenza per il controllo dell'importazione Valore predefinito Dettagli dell'integrazione
Managed Service for Apache Spark: cluster Apache Spark Sì Abilitato Utilizzo della derivazione dei dati di Spark
Managed Service for Apache Spark: cluster Apache Hive Sì Abilitato Abilita la derivazione dei dati di Hive
Managed Service for Apache Spark: deployment serverless Sì Abilitato Utilizza la derivazione dei dati con Managed Service for Apache Spark
BigQuery Sì Abilitato Traccia la derivazione di una tabella BigQuery
Managed Service for Apache Airflow Sì Abilitato Derivazione dei dati con Knowledge Catalog
Looker (Google Cloud core) Sì (anteprima) Abilitato Lineage dei dati di Looker Core
Cloud Data Fusion No Abilitato Visualizza la derivazione in Knowledge Catalog
Dataflow No Disattivato dal lato Dataflow Utilizza la derivazione dei dati in Dataflow
Vertex AI Pipelines No Abilitato Traccia la derivazione degli artefatti della pipeline

Come funziona il controllo dell'importazione della derivazione dei dati

Puoi controllare l'importazione dati a livello di organizzazione, cartella e progetto e combinare queste impostazioni con configurazioni specifiche per i servizi per ottenere un controllo granulare sull'acquisizione della derivazione dei dati.

Knowledge Catalog valuta la gerarchia delle risorse partendo da un progetto, poi dalle cartelle e infine dall'organizzazione per determinare la configurazione effettiva. La prima configurazione impostata esplicitamente a qualsiasi livello in questo attraversamento verso l'alto diventa effettiva.

  • Se imposti una configurazione a livello di progetto, Knowledge Catalog la utilizza.
  • Se non è impostata alcuna configurazione a livello di progetto, Knowledge Catalog utilizza la configurazione della cartella principale più vicina con una configurazione esplicita.
  • Se non è impostata alcuna configurazione a livello di progetto o cartella, Knowledge Catalog utilizza la configurazione a livello di organizzazione.
  • Se non viene impostata alcuna configurazione a nessuno di questi livelli, Knowledge Catalog utilizza l'impostazione predefinita del sistema per l'integrazione.

Per gestire il controllo dell'importazione in blocco, abilita l'API Data Lineage per tutti i progetti all'interno di una cartella o di un'organizzazione seguendo le regole di attivazione gerarchica dei servizi. Dopo aver abilitato l'API Data Lineage, puoi controllare in modo granulare l'importazione della derivazione dei dati per l'integrazione dei servizi per un'organizzazione, una cartella o un progetto.

Come funziona la configurazione dell'importazione dati per le integrazioni con un singolo servizio

Il seguente scenario illustra in che modo Knowledge Catalog risolve la configurazione di importazione della derivazione per un singolo servizio nella gerarchia delle risorse.

Considera un'organizzazione test-org con le seguenti configurazioni di derivazione di Managed Service for Apache Spark:

  • Organizzazione test-org: abilitata
    • Cartella folder-a: Disattivata
      • Progetto project-a: nessuna configurazione impostata
    • Cartella folder-b: Abilitata
      • Progetto project-b: disattivato

In questo scenario, si applicano le seguenti impostazioni:

  • Per project-a, l'importazione della derivazione è disabilitata. Knowledge Catalog inizia la valutazione da project-a, non trova alcuna configurazione, passa a folder-a e applica la configurazione Disabilitata da folder-a.
  • Per project-b, l'importazione della derivazione è disattivata. Knowledge Catalog inizia la valutazione da project-b e applica la configurazione Disattivato, eseguendo l'override delle impostazioni in folder-b e test-org.

Come funziona la configurazione dell'importazione dati per le integrazioni multiservizio

Lo scenario seguente illustra in che modo Knowledge Catalog risolve in modo indipendente le configurazioni per più servizi nella gerarchia delle risorse.

Considera un'organizzazione test-org con le seguenti configurazioni di derivazione tra più integrazioni di servizi:

  • Organizzazione test-org
    • Managed Service for Apache Spark: Abilitato
    • Cartella folder-a
      • BigQuery: abilitato
      • Progetto project-a
        • BigQuery: Disabilitato
        • Managed Service for Apache Airflow: Abilitato
      • Progetto project-b: nessuna configurazione impostata

In questo scenario, Knowledge Catalog valuta ogni integrazione di servizio in modo indipendente nella gerarchia delle risorse:

  • Per project-a:
    • L'importazione della derivazione di Managed Service for Apache Spark è Abilitata. Knowledge Catalog inizia la valutazione da project-a, non trova alcuna configurazione per Managed Service for Apache Spark, passa a folder-a (nessuna configurazione impostata) e applica la configurazione Abilitato da test-org.
    • L'importazione della derivazione di BigQuery è disabilitata. Knowledge Catalog applica la configurazione esplicita a livello di progetto, che sostituisce la configurazione Abilitata impostata in folder-a.
    • L'importazione della derivazione di Managed Service for Apache Airflow è Abilitata. Knowledge Catalog applica la configurazione esplicita a livello di progetto.
  • Per project-b:
    • L'importazione della derivazione di Managed Service for Apache Spark è Abilitata (ereditata da test-org).
    • L'importazione della derivazione BigQuery è Abilitata (ereditata da folder-a).
    • L'importazione della derivazione di Managed Service for Apache Airflow utilizza l'impostazione predefinita del sistema (Abilitata per impostazione predefinita se l'API Data Lineage è attiva), perché non è impostata alcuna configurazione esplicita a nessun livello della gerarchia.

Passaggi successivi