Introduzione al framework di risoluzione delle entità BigQuery
La risoluzione delle entità BigQuery consente di abbinare i record in set di dati condivisi che non hanno un identificatore comune. Puoi anche utilizzare un identity provider di un Google Cloud partner per arricchire i dati condivisi con attributi aggiuntivi. Ad esempio, puoi collegare i record dei clienti in diversi set di dati per creare profili unificati dei clienti, rilevare frodi finanziarie o analizzare le supply chain.
Prima di contribuire con i dati a una data clean room, puoi utilizzare la risoluzione delle entità per preparare e abbinare i tuoi record. La risoluzione delle entità è disponibile nei modelli di prezzi on demand e di capacità in tutte le versioni di BigQuery. Per ulteriori informazioni sull'implementazione, vedi Configurare e utilizzare la risoluzione delle entità in BigQuery.
Vantaggi della risoluzione delle entità
La risoluzione delle entità offre vantaggi operativi e di condivisione dei dati sia per gli utenti finali che per i provider di identità.
Vantaggi per l'utente finale
Quando risolvi le entità in BigQuery, ottieni i seguenti vantaggi per l'utente finale:
- Risoluzione in loco: risolvi le entità in loco senza costi di trasferimento dei dati. Un identity provider associa i tuoi dati al proprio grafico delle identità e scrive i risultati della risoluzione delle entità in un set di dati nel tuo progetto Google Cloud .
- Operazioni semplificate: eviti di gestire pipeline di estrazione, trasformazione e caricamento (ETL) o workflow di replica dei dati personalizzati.
Vantaggi del provider di identità
Quando offri servizi di identità in BigQuery, ottieni i seguenti vantaggi del fornitore di identità:
- Integrazione di Marketplace: puoi offrire la risoluzione delle entità come prodotto Software as a Service (SaaS) gestito su Google Cloud Marketplace.
- Protezione della proprietà intellettuale: utilizzi i tuoi grafici dell'identità e la logica di corrispondenza proprietari senza rivelarli agli utenti finali. Questa architettura contribuisce a proteggere la tua proprietà intellettuale.
Architettura della risoluzione delle entità
BigQuery implementa la risoluzione delle entità chiamando funzioni remote che eseguono processi di corrispondenza nell'ambiente di un provider di identità. BigQuery non copia né sposta i tuoi dati durante questa procedura.
Il seguente diagramma illustra il flusso di lavoro di risoluzione delle entità tra un progetto Google Cloud dell'utente finale e un progetto Google Cloud del provider di identità:
Il flusso di lavoro di risoluzione delle entità prevede i seguenti passaggi:
- Concedi all'account di servizio del provider di identità l'accesso in lettura al set di dati di input e l'accesso in scrittura al set di dati di output.
- Chiami la funzione remota per abbinare i dati di input ai dati del grafico delle identità del provider di identità. La funzione remota passa i parametri di corrispondenza al provider di identità.
- L'account di servizio del provider di identità legge ed elabora il set di dati di input.
- Il account di servizio del provider di identità scrive i risultati della risoluzione delle entità nel set di dati di output.
Per eseguire questo flusso di lavoro, la risoluzione delle entità si basa su componenti sia del tuo ambiente sia di quello del provider di identità.
Componenti per gli utenti finali
Il tuo Google Cloud progetto contiene i seguenti componenti per gli utenti finali:
- Chiamata di funzione remota: una chiamata che esegue una procedura definita e implementata dal provider di identità. Questa chiamata avvia il processo di risoluzione delle entità.
- Set di dati di input: il set di dati di origine che contiene i dati che vuoi corrispondere. Facoltativamente, il set di dati di input può contenere una tabella di metadati con parametri aggiuntivi. I provider di identità specificano i requisiti dello schema per i set di dati di input.
- Set di dati di output: il set di dati di destinazione in cui il provider di identità scrive i risultati corrispondenti come tabella di output. Facoltativamente, il provider di identità può scrivere una tabella di stato del job con i dettagli del job in questo set di dati. Il set di dati di output può essere lo stesso del set di dati di input.
Componenti del provider di identità
L'ambiente del provider di identità contiene i seguenti componenti:
- Piano di controllo: contiene una funzione remota BigQuery che orchestra il processo di corrispondenza. Il provider di identità può implementare questa funzione come job Cloud Run o funzione Cloud Run. Il control plane può contenere anche servizi di autenticazione e autorizzazione.
- Data plane: contiene il set di dati del grafico delle identità e la stored procedure che esegue la logica di corrispondenza. Un grafico delle identità è un database di riferimento di identificatori e attributi di entità noti. Il provider di identità può implementare la stored procedure come stored procedure SQL o come stored procedure Apache Spark. Il set di dati del grafico delle identità contiene le tabelle che il fornitore di identità confronta con i tuoi dati.
Considerazioni
Quando pianifichi l'implementazione della risoluzione delle identità, considera i seguenti fattori:
- Coordinamento del provider di identità: prima di eseguire i job di corrispondenza, devi coordinarti con un provider di identità supportato per ottenere le credenziali dell'account di servizio e la firma della funzione remota.
- Database esterni: i provider di identità in genere ospitano i grafici delle identità in BigQuery, ma possono anche archiviarli in database esterni.
Passaggi successivi
- Scopri come configurare e utilizzare la risoluzione delle entità.
- Scopri come utilizzare le funzioni remote.
- Scopri come utilizzare le stored procedure SQL.
- Scopri come condividere dati sensibili con le data clean room.