Informazioni sulla ricerca della derivazione in più regioni

La ricerca della derivazione multiregionale in Knowledge Catalog (in precedenza Dataplex Universal Catalog) ti consente di tracciare gli asset di dati in Google Cloud progetti e regioni per creare grafici di derivazione completi. Questa visualizzazione unificata ti aiuta a mantenere la governance dei dati e ad analizzare le dipendenze all'interno della tua organizzazione quando le pipeline superano i confini geografici. Puoi scoprire e connettere grafi tra regioni utilizzando l'automazione lato server consigliata con l'API searchLineageStreaming (anteprima) o il fan-out lato client con l'API searchLinks. Per istruzioni sull'utilizzo dell'API di streaming, consulta Cerca la derivazione multiregionale utilizzando l'automazione lato server.

Per impostazione predefinita, la derivazione dei dati in Knowledge Catalog è un servizio regionale. Ogni volta che i tuoi dati vengono spostati o trasformati, i dati di derivazione risultanti, come link, processi ed eventi, vengono archiviati nella regione specifica in cui si è verificata l'azione. Tuttavia, le pipeline di dati reali spesso si estendono su più progetti e regioniGoogle Cloud . Ad esempio, potresti avere una tabella BigQuery in us-central1 che copia i dati in un bucket di archiviazione in europe-west1, il che richiede una ricerca multiregionale per tracciare i tuoi asset di dati attraverso questi confini.

Per comprendere il rilevamento della derivazione multiregionale, è utile capire come Knowledge Catalog gestisce l'esplorazione dei grafi:

  • Criteri principali: il punto di partenza della ricerca della derivazione, definito da uno o più nomi di asset (ad esempio una tabella BigQuery o un argomento Pub/Sub) o campi di colonna granulari.

  • Direzione: l'orientamento dell'esplorazione del grafico rispetto ai criteri principali. Puoi eseguire ricerche a monte (per vedere da dove provengono i dati) o a valle (per vedere dove vanno i dati).

  • Ricerca in ampiezza: il meccanismo architetturale utilizzato per trovare i nodi connessi. La ricerca attraversa il grafico della derivazione livello per livello, calcolando con precisione la profondità di esecuzione di ogni asset collegato oltre i confini regionali.

Confronto tra i metodi di ricerca multiregionale

Sebbene entrambi i metodi consentano di creare una visualizzazione interregionale dei dati, gestiscono le operazioni più complesse in modo diverso:

Funzionalità Automazione lato server
API searchLineageStreaming		 Fan-out lato client
API searchLinks
Modello di esecuzione Automazione lato server: il motore di routing Google Cloud attraversa più regioni in modo nativo. Orchestrazione lato client: lo script dell'applicazione deve eseguire manualmente il loop e gestire le richieste.
Overhead della richiesta Singola richiesta API: una singola chiamata HTTP POST avvia la ricerca multiregionale. Più richieste API: richiede una chiamata HTTP separata per ogni regione e ogni livello del grafico.
Gestione delle risposte Stream in tempo reale: i risultati vengono inviati al client man mano che vengono trovati, evitando timeout. Payload statici: i singoli array JSON devono essere ricevuti, raccolti e uniti manualmente.
Grafi profondi (più di 2 livelli) Gestisce automaticamente grafici di derivazione nidificati e profondi fino a 100 livelli. Soffre del problema delle query N+1; richiede round trip lenti e iterativi dal client.

Scegli il metodo di ricerca multiregionale giusto

Esamina i seguenti scenari per determinare quale metodo di ricerca multiregionale è più adatto al tuo workload.

Scegli il metodo API di streaming per i seguenti casi d'uso:

  • Trace grafici complessi o profondi: i tuoi dati si spostano attraverso più tabelle, bucket o pipeline intermedi in diverse regioni, richiedendo un attraversamento multilivello (maxDepth maggiore di 2).

  • Monitorare la derivazione a livello di colonna: vuoi monitorare i campi in più regioni o sfruttare le ricerche con caratteri jolly (*) per estrarre tutte le dipendenze delle colonne contemporaneamente.

  • Mantenere il codice leggero: preferisci effettuare una singola chiamata API e lasciare cheGoogle Cloud gestisca il routing, la deduplicazione e l'assemblaggio del grafo.

  • Richiedi i metadati della pipeline: vuoi recuperare facoltativamente i dettagli strutturali dei processi che eseguono le pipeline nello stesso payload della richiesta.

Scegli il metodo di fan-out lato client per i seguenti scenari:

  • Tracci solo la derivazione superficiale a singolo hop: il grafico della derivazione non è complesso e devi solo cercare i link diretti principali o secondari (maxDepth è uguale a 1) in un numero ridotto e fisso di regioni note.

  • Lavori con sistemi legacy rigidi: hai un'applicazione di governance dei dati esistente basata principalmente sull'endpoint SearchLinks standard e vuoi mantenere la compatibilità con le versioni precedenti senza implementare consumer di risposte in streaming.

Passaggi successivi