Configura una destinazione BigQuery

Questa pagina descrive come configurare Datastream in modo da poter scrivere i dati nei set di dati BigQuery.

Autorizzazioni obbligatorie

Datastream utilizza il supporto integrato di BigQuery per gli aggiornamenti di Change Data Capture (CDC). Datastream aggiorna le tabelle BigQuery elaborando e applicando le modifiche trasmesse in streaming utilizzando l'API BigQuery Storage Write (gRPC).

Le autorizzazioni necessarie per utilizzare l'API e importare i dati in BigQuery vengono concesse al ruolo Agente di servizio Datastream.

Configurare BigQuery come destinazione

Per configurare Datastream per lo streaming in BigQuery, procedi come segue:

  1. Assicurati che l'API BigQuery sia abilitata nel tuo Google Cloud progetto.
  2. Se vuoi utilizzare l'opzione Unico set di dati per tutti gli schemi, crea un set di dati in BigQuery.
  3. Configura il set di dati di destinazione per il flusso.
  4. Configura la modalità di scrittura.
  5. Specifica il limite massimo di inattività dei dati per il tuo flusso.

Configurare i set di dati di destinazione

I set di dati sono contenitori di primo livello utilizzati per organizzare e controllare l'accesso alle tabelle BigQuery.

Quando configuri i set di dati per la destinazione BigQuery utilizzando Datastream, puoi selezionare una delle seguenti opzioni:

  • Set di dati per ogni schema: il set di dati viene selezionato o creato automaticamente da Datastream nella località BigQuery specificata, in base al nome dello schema dell'origine. Di conseguenza, ogni schema nell'origine ha un set di dati corrispondente in BigQuery. Ad esempio, se hai un'origine MySQL e questa origine ha un database mydb e una tabella employees all'interno del database, Datastream crea il set di dati mydb e la tabella employees in BigQuery.

    Datastream crea set di dati nel progetto che selezioni. Per impostazione predefinita, viene selezionato il progetto attuale. L'elenco dei set di dati mostra i set di dati disponibili nel progetto selezionato. Sebbene non sia necessario creare i set di dati nella stessa regione del flusso, ti consigliamo di mantenere tutte le risorse per il flusso, nonché i set di dati, nella stessa regione per l'ottimizzazione dei costi e delle prestazioni.

  • Unico set di dati per tutti gli schemi: seleziona un set di dati BigQuery per il flusso. Datastream trasmette in streaming tutti i dati in questo set di dati. Per il set di dati selezionato, Datastream crea tutte le tabelle come <schema>_<table>.

    Ad esempio, se hai un'origine MySQL e questa origine ha un mydb database e una tabella employees all'interno del database, Datastream crea la tabella mydb_employees nel set di dati che selezioni.

    Puoi selezionare un set di dati da qualsiasi Google Cloud progetto. Per impostazione predefinita, vengono visualizzati i set di dati del progetto attuale. Puoi anche creare un nuovo set di dati nel progetto selezionato.

Configurare la modalità di scrittura

Esistono due modalità che puoi utilizzare per definire come vuoi che i dati vengano scritti in BigQuery:

  • Unione: questa è la modalità di scrittura predefinita. Quando è selezionata, BigQuery riflette il modo in cui i dati vengono archiviati nel database di origine. Ciò significa che Datastream scrive tutte le modifiche ai dati in BigQuery, che poi consolida le modifiche con i dati esistenti, creando così tabelle finali che sono repliche delle tabelle di origine. Con la modalità di unione, non viene conservato alcun record storico degli eventi di modifica. Ad esempio, se inserisci e poi aggiorni una riga, BigQuery conserva solo i dati aggiornati. Se poi elimini la riga dalla tabella di origine, BigQuery non conserva più alcun record di quella riga.

  • Solo aggiunta: la modalità di scrittura di sola aggiunta consente di aggiungere dati a BigQuery come flusso di modifiche (INSERT, UPDATE-INSERT, UPDATE-DELETE e DELETE eventi). Utilizza questa modalità quando devi conservare lo stato storico dei dati.

    Per comprendere meglio la modalità di scrittura di sola aggiunta, considera i seguenti scenari:

    • Backfill iniziale: dopo il backfill iniziale, tutti gli eventi vengono scritti in BigQuery come eventi di tipo INSERT, con lo stesso timestamp, identificatore univoco universale (UUID) e numero di sequenza di modifica.
    • Aggiornamento della chiave primaria: quando una chiave primaria cambia, vengono scritte due righe in BigQuery:
      • Una riga UPDATE-DELETE con la chiave primaria originale
      • Una riga UPDATE-INSERT con la nuova chiave primaria
    • Aggiornamento della riga: quando aggiorni una riga, viene scritta una singola riga UPDATE-INSERT in BigQuery
    • Eliminazione della riga: quando elimini una riga, viene scritta una singola riga DELETE in BigQuery

Specificare il limite di inattività dei dati

BigQuery applica le modifiche all'origine in background su base continuativa o al momento dell'esecuzione delle query, secondo il limite di inattività dei dati configurato. Quando Datastream crea una nuova tabella in BigQuery, l'opzione max_staleness della tabella viene impostata in base al valore corrente del limite di inattività dei dati per il flusso. In questo modo, la tabella non supera mai il limite di inattività applicato. Il limite di inattività dei dati non influisce sulla frequenza dei job di unione di BigQuery.

Per ulteriori informazioni sull'utilizzo delle tabelle BigQuery con l'opzione max_staleness, consulta Inattività della tabella.