Questa pagina descrive le best practice per i casi d'uso in cui:
- Gli utenti hanno una tabella esistente in BigQuery e devono replicare i dati utilizzando l'acquisizione delle modifiche ai dati (CDC) nella stessa tabella BigQuery.
- Gli utenti devono copiare i dati in una tabella BigQuery esistente senza utilizzare la funzionalità di backfill di Datastream, a causa del tempo necessario o delle limitazioni del prodotto.
Problema
Una tabella BigQuery compilata utilizzando l'API BigQuery Storage Write non consente le normali operazioni di Data Manipulation Language (DML). Ciò significa che una volta che un flusso CDC inizia a scrivere in una tabella BigQuery, non è possibile aggiungere dati storici che non sono già stati precompilati nella tabella.
Tieni presente il seguente scenario:
- TIMESTAMP 1: viene avviata l'operazione di copia della tabella.
- TIMESTAMP 2: durante la copia della tabella, le operazioni DML nell'origine comportano modifiche ai dati (righe aggiunte, aggiornate o rimosse).
- TIMESTAMP 3: viene avviato CDC, le modifiche apportate in TIMESTAMP 2 non vengono acquisite, il che comporta una discrepanza dei dati.
Soluzione
Per garantire l'integrità dei dati, il processo CDC deve acquisire tutte le modifiche apportate all'origine a partire dal momento immediatamente successivo all'ultimo aggiornamento eseguito che è stato copiato nella tabella BigQuery.
La soluzione che segue ti consente di assicurarti che il processo CDC acquisisca tutte le modifiche a partire da TIMESTAMP 2, senza bloccare l'operazione di copia dalla scrittura dei dati nella tabella BigQuery.
Prerequisiti
- La tabella di destinazione in BigQuery deve avere esattamente lo stesso schema e la stessa configurazione di una tabella creata da Datastream. Per farlo, puoi utilizzare il toolkit di migrazione BigQuery di Datastream.
- Per le origini MySQL e Oracle, l'utente deve essere in grado di identificare la posizione del log al momento dell'avvio dell'operazione di copia.
- Il database deve disporre di spazio di archiviazione e policy di conservazione dei log sufficienti per consentire il completamento del processo di copia della tabella.
Origini MySQL e Oracle
- Crea, ma non avvia lo stream che intendi utilizzare per la replica CDC continua. Il flusso deve essere in stato CREATO.
- Quando è tutto pronto per avviare l'operazione di copia della tabella, identifica la posizione corrente del log del database:
- Per MySQL, consulta la documentazione di MySQL per scoprire come ottenere le coordinate del log binario di replica. Una volta identificata la posizione del log, chiudi la sessione per rilasciare i blocchi sul database.
- Per Oracle, esegui la query seguente:
SELECT current_scn FROM V$DATABASE
- Copia la tabella dal database di origine in BigQuery.
- Una volta completata l'operazione di copia, segui i passaggi descritti nella pagina Gestire i flussi per avviare lo stream dalla posizione del log che hai identificato in precedenza.
Origini PostgreSQL
- Quando è tutto pronto per iniziare a copiare la tabella, crea lo slot di replica. Per ulteriori informazioni, consulta Configurare un database PostgreSQL di origine.
- Copia la tabella dal database di origine in BigQuery.
- Una volta completata l'operazione di copia, crea e avvia lo stream.