Crea uno stream Spanner utilizzando il flusso automatizzato

Questa pagina descrive come creare uno stream Spanner utilizzando il flusso di configurazione automatizzato.

La configurazione automatizzata dello stream semplifica il processo di spostamento dei dati dai database Spanner a destinazioni come BigQuery riducendo il numero di passaggi da eseguire. Il flusso consente di creare uno stream direttamente dalla pagina di panoramica dell'istanza o del database Spanner. Datastream automatizza la protezione della connessione tra lo stream e il database di origine, creando configurazioni di database e risorse di connessione dello stream.

Livello senza costi

Datastream consente di eseguire lo streaming da Spanner a BigQuery utilizzando il Livello senza costi, fornendo fino a 100 GiB di dati di Change Data Capture (CDC) senza costi ogni mese. Per ulteriori informazioni, consulta i prezzi di Datastream.

Prima di iniziare

Prima di configurare uno stream Datastream per Spanner, verifica che il tuo ambiente soddisfi i seguenti prerequisiti:

  1. Abilita le API richieste nel Google Cloud progetto:
    • API Datastream (datastream.googleapis.com)
    • API Cloud Spanner (spanner.googleapis.com)
    • API BigQuery (bigquery.googleapis.com).
  2. Assicurati di disporre delle autorizzazioni di Identity and Access Management (IAM) necessarie per creare e gestire le risorse Datastream. Per ulteriori informazioni, consulta Autorizzazioni obbligatorie.

  3. Esamina le limitazioni dell'origine Spanner:

    • Le colonne dei tipi di dati PROTO e ENUM non sono supportate.
    • Gli array di tipi di dati DATE o TIMESTAMP non sono supportati.
    • Assicurati di aver configurato correttamente la finestra di conservazione dello stream di modifiche. Se Datastream rimane indietro rispetto alla finestra di conservazione, potresti perdere dati e lo stream potrebbe non riuscire.

Autorizzazioni obbligatorie

Per utilizzare il flusso di creazione automatizzata dello stream, assicurati che l'utente o il service account che configura lo stream disponga dei seguenti ruoli o autorizzazioni IAM:

  • Amministratore Datastream (roles/datastream.admin) o Editor Datastream (roles/datastream.editor) per creare e gestire lo stream e i profili di connessione.
  • Lettore database Spanner (roles/spanner.databaseReader) o Amministratore Spanner (roles/spanner.admin) nel database di origine per accedere ai dati e monitorare le modifiche.
  • Editor dati BigQuery nel set di dati di destinazione.

Creare e avviare lo stream

Per creare e avviare uno stream utilizzando il flusso automatizzato:

Console

  1. Nella Google Cloud console, vai alla pagina Istanze Spanner.

Vai a Istanze Spanner

  1. Seleziona l'istanza e il database Spanner da cui vuoi eseguire lo streaming dei dati.

  2. Crea e avvia automaticamente lo stream in uno dei seguenti modi:

    • Nella pagina di panoramica delle istanze, fai clic su Avvia stream in Replica dei dati in BigQuery.
    • Nella pagina di panoramica del database, nella scheda Integrazioni, fai clic su Crea stream in Replica dei dati in BigQuery.

  3. Si apre il riquadro Avvia stream per replicare i dati.

  4. In Impostazioni dello stream, esamina le impostazioni predefinite per lo stream che crei.

  5. Se crei lo stream dalla pagina di panoramica delle istanze, puoi modificare il database di origine espandendo il menu a discesa corrispondente e selezionando un valore diverso.

  6. Puoi modificare uno stream espandendo il menu a discesa Modifica stream e selezionando un valore diverso.

  7. Quando è tutto pronto per creare e avviare lo stream, fai clic su Avvia stream.

Monitorare lo stream

Per monitorare i dettagli di base dello stream dalla pagina di panoramica del database Spanner di origine nella console, fai clic sulla scheda **Modifiche in tempo reale**, quindi fai clic sullo stream che vuoi visualizzare. Google Cloud

Eliminare lo stream

Quando elimini uno stream creato utilizzando il flusso automatizzato, Datastream elimina l'oggetto stream e i profili di connessione associati creati per lo stream.

Tuttavia, devi eliminare manualmente tutti gli stream di modifiche in tempo reale Spanner o le risorse di destinazione create in modo indipendente, se non sono più necessari.

Passaggi successivi