Informazioni sulla ricerca della derivazione in più regioni

Quando gestisci i dati in un'organizzazione complessa, comprendere la loro derivazione è essenziale per una buona governance dei dati e una gestione efficace dei dati cloud. Questa guida spiega come utilizzare la ricerca multiregionale in Knowledge Catalog (in precedenza Dataplex Universal Catalog) per monitorare i dati oltre i confini geografici.

Per impostazione predefinita, la derivazione dei dati in Knowledge Catalog è un servizio regionale. Ogni volta che i tuoi dati vengono spostati o trasformati, i dati di tracciabilità risultanti, come link, processi ed eventi, vengono archiviati nella regione specifica in cui si è verificata l'azione.

Tuttavia, le pipeline di dati reali spesso si estendono su più Google Cloud progetti e regioni. Ad esempio, potresti avere una tabella BigQuery in us-central1 che copia i dati in un bucket di archiviazione in europe-west1. Per tracciare gli asset di dati oltre questi confini e creare grafici di tracciabilità completi, devi eseguire una ricerca multiregionale.

Knowledge Catalog offre due modi per scoprire e collegare questi grafici di derivazione cross-regionale:

  • Il metodo di automazione lato server che utilizza l'API searchLineageStreaming (anteprima) - Consigliato
  • Il metodo di fan-out lato client che utilizza l'API searchLinks

Per comprendere la tracciabilità multiregionale, è utile capire come il sistema gestisce l'attraversamento del grafo:

  • Criteri radice: il punto di partenza della ricerca della derivazione, definito da uno o più nomi di asset (ad esempio una tabella BigQuery o un argomento Pub/Sub) o campi di colonne granulari.

  • Direzione: l'orientamento dell'attraversamento del grafico rispetto ai criteri radice. Puoi eseguire ricerche a monte (per vedere da dove provengono i dati) o a valle (per vedere dove vanno i dati).

  • Ricerca in ampiezza: il meccanismo architetturale utilizzato per trovare i nodi collegati. La ricerca attraversa il grafico della derivazione livello per livello, calcolando con precisione la profondità di esecuzione di ogni asset collegato oltre i confini regionali.

Come si confrontano i metodi di ricerca multiregionale?

Sebbene entrambi i metodi consentano di ricostruire una visualizzazione interregionale dei dati, gestiscono il lavoro pesante in modo diverso:

Funzionalità Automazione lato server
API searchLineageStreaming		 Fan-out lato client
API searchLinks
Modello di esecuzione Automazione lato server: il motore di routing Google Cloud attraversa più regioni in modo nativo. Orchestrazione lato client: lo script dell'applicazione deve eseguire un ciclo manualmente e gestire le richieste.
Overhead della richiesta Singola richiesta API: una singola chiamata HTTP POST avvia la ricerca multiregionale. Più richieste API: richiede una chiamata HTTP separata per ogni regione e ogni livello del grafico.
Gestione delle risposte Stream in tempo reale: i risultati vengono inviati al client man mano che vengono trovati, evitando timeout. Payload statici: i singoli array JSON devono essere ricevuti, raccolti e uniti manualmente.
Grafici profondi (più di 2 livelli) Gestisce automaticamente grafici di tracciabilità nidificati e profondi fino a 100 livelli. Soffre del problema della query N+1; richiede round trip iterativi e lenti dal client.

Scegliere il metodo di ricerca multiregionale giusto

Esamina gli scenari seguenti per determinare quale metodo di ricerca multiregionale è più adatto al tuo workload.

Scegli il metodo API di streaming per i seguenti casi d'uso:

  • Trace grafici complessi o profondi: i dati si spostano attraverso più tabelle, bucket o pipeline intermedi in diverse regioni, richiedendo un attraversamento multilivello (maxDepth maggiore di 2).

  • Monitora la tracciabilità a livello di colonna: vuoi monitorare i campi in diverse regioni o sfruttare le ricerche con caratteri jolly (*) per estrarre tutte le dipendenze delle colonne contemporaneamente.

  • Mantenere un codice leggero: preferisci effettuare una singola chiamata API e lasciare che Google Cloud gestisca il routing, la deduplicazione e l'assemblaggio del grafico.

  • Richiedi metadati della pipeline: vuoi recuperare facoltativamente i dettagli strutturali sui processi che eseguono le pipeline nello stesso payload della richiesta.

Scegli il metodo di fan-out lato client per i seguenti scenari:

  • Tracci solo la tracciabilità superficiale a un solo passaggio: il grafico della tracciabilità non è complesso e devi solo cercare i link diretti ai genitori o ai figli (maxDepth uguale a 1) in un numero ridotto e fisso di regioni note.

  • Lavori all'interno di sistemi legacy rigorosi: hai un'applicazione di governance dei dati esistente basata in gran parte sull'endpoint SearchLinks e vuoi mantenere la compatibilità strutturale con le versioni precedenti senza implementare consumer di risposte in streaming.

Passaggi successivi