Crea un flusso utilizzando il flusso automatizzato

Questa pagina descrive come creare uno stream utilizzando il flusso di configurazione automatizzato.

Nota :il flusso di configurazione dello stream automatizzato è disponibile durante la replica in BigQuery da Google Cloud origini Cloud SQL gestite come Cloud SQL per PostgreSQL, Cloud SQL per MySQL e Cloud SQL per SQL Server. Le istanze devono avere l'accesso privato ai servizi abilitato e devono utilizzare il tipo di connettività interfacce Private Service Connect. Per ulteriori informazioni sui requisiti delle fonti, consulta la sezione Prima di iniziare.

La configurazione automatica dello stream semplifica il processo di spostamento dei dati dai database gestitiGoogle Cloud a BigQuery riducendo il numero di passaggi da eseguire. Il flusso consente di creare uno stream direttamente dalla pagina di panoramica delle istanze Cloud SQL. Datastream automatizza la protezione della connessione VPC tra lo stream e il database di origine, creando configurazioni del database e risorse di connessione dello stream.

Prima di iniziare

1. Abilita le API Datastream, Connettività di rete e Compute Engine.
2. Assicurati di disporre delle autorizzazioni Identity and Access Management (IAM) necessarie per creare e gestire le risorse Datastream. Per ulteriori dettagli, vedi la sezione successiva.
3. Crea e configura un database Cloud SQL di origine per la replica. Per saperne di più, consulta Configura le origini.
4. Assicurati che il database di origine sia configurato per utilizzare l'accesso privato ai servizi.

5. Per le istanze Cloud SQL per PostgreSQL: ti consigliamo di abilitare la replica logica per l'istanza prima di creare lo stream. Se non abiliti la replica logica, Datastream la abilita per te, riavviando l'istanza di origine.

   Nota: per informazioni su come attivare la replica logica per un'istanza Cloud SQL per PostgreSQL, consulta Configurare un database Cloud SQL per PostgreSQL per CDC.

6. Per le istanze Cloud SQL per MySQL: abilita il recupero point-in-time per la tua istanza Cloud SQL per MySQL e assicurati che la versione del database sia 8.0.14 o successiva.

   Nota: Datastream utilizza la replica basata su GTID quando utilizza il flusso di configurazione automatica dello stream.

7. Per le istanze Cloud SQL per SQL Server: assicurati che Datastream supporti la versione di SQL Server utilizzata dalla tua istanza.

Autorizzazioni obbligatorie

Per utilizzare il flusso di creazione automatica dello stream, devi disporre dei seguenti ruoli o autorizzazioni IAM (Identity and Access Management):

• serviceusage.services.enable, compute.networkAdmin per abilitare le API richieste ed eseguire le attività di configurazione di rete.
• cloudsql.admin per le attività di configurazione dell'istanza.
• datastream.admin per le attività di amministrazione che Datastream esegue per tuo conto.

Autorizzazioni aggiuntive richieste per Cloud SQL per PostgreSQL

• Per le istanze Cloud SQL per PostgreSQL, l'utente amministratore del database deve disporre anche delle autorizzazioni GRANT per lo schema che vuoi replicare. Connettiti al database di origine ed esegui il seguente comando:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;

  Nota: per creare la pubblicazione per tutte le tabelle nell'istanza del database, devi disporre del ruolo cloudsqlsuperuser.

• Le tabelle future vengono aggiunte automaticamente al flusso solo se create dall'utente di cui fornisci i dettagli dell'account per l'autenticazione durante il flusso automatizzato. Se una tabella futura viene creata da un altro utente, quest'ultimo deve concedere esplicitamente all'utente Datastream Reader l'autorizzazione SELECT per la tabella.

Crea e avvia lo stream

Per creare e avviare uno stream, segui questi passaggi:

Console

Inizia

1. Vai alla pagina di riepilogo dell'istanza del database Cloud SQL di origine.

   Vai a Istanze Cloud SQL

2. Nella sezione Trasmetti flussi di dati in BigQuery, fai clic su Crea stream.

3. Nella pagina Inizia, fornisci il nome dello stream nel campo Nome stream. Un identificatore univoco viene compilato automaticamente.

4. Nella sezione Fornisci i dettagli dell'account utente dell'istanza, seleziona il metodo di autenticazione:

   • Autenticazione IAM dei database: questa opzione è disponibile se all'utente è assegnata l'identità dell'entità Identity and Access Management (IAM). Per saperne di più, consulta Entità IAM. Se selezioni questa opzione, devi concedere manualmente all'utente il ruolo cloudsqlsuperuser e l'autorizzazione CREATEROLE:

     1. Nella console Google Cloud , vai alla pagina Istanze Cloud SQL.

     Vai a Istanze Cloud SQL

     1. Seleziona l'istanza Cloud SQL.
     2. Nel menu di navigazione, fai clic su Cloud SQL Studio e accedi.
     3. Nel riquadro Explorer, esegui la seguente query per il tuo utente:

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autenticazione del database integrata: fornisci il nome utente e la password di un utente con il ruolo cloudsqlsuperuser. Se selezioni questa opzione, assicurati che l'utente disponga delle autorizzazioni GRANT sulle tabelle che vuole replicare.

5. Esamina ulteriori dettagli dello stream, come regione, crittografia ed etichette. Espandi la sezione Dettagli aggiuntivi del flusso per applicare le modifiche, se necessario.

6. Fai clic su Continua.

Configura origine

1. Nella pagina Configura origine stream, seleziona il database da cui vuoi replicare i dati.
2. L'elenco Oggetti da includere seleziona per impostazione predefinita tutti gli oggetti disponibili. Gli oggetti nell'elenco sono quelli per cui disponi delle autorizzazioni necessarie per lo streaming. Per modificare gli oggetti selezionati, modifica le selezioni nell'elenco.
3. Esamina le configurazioni avanzate del flusso, come la modalità di backfill e il numero massimo di connessioni di backfill simultanee. Espandi la sezione Configurazioni avanzate dello stream per applicare le modifiche, se necessario.
4. Fai clic su Continua.

Configura destinazione

1. Nella pagina Configura destinazione, modifica le impostazioni della destinazione BigQuery, se necessario. Per saperne di più, consulta Configura le informazioni sulla destinazione dello stream.

Crea e avvia lo stream

1. Fai clic su Crea e avvia più tardi per creare il flusso e avviarlo in un secondo momento in Datastream oppure su Avvia per creare e avviare subito il flusso.

   Importante: se fai clic su Avvia, l'istanza Cloud SQL per PostgreSQL viene riavviata. Se la decodifica logica non è attivata per la tua istanza, Datastream la attiva per te.

2. Riceverai una notifica per le attività eseguite automaticamente per te:

   • Datastream crea le risorse Virtual Private Cloud richieste, come l'intervallo di indirizzi IP interni, la subnet e il collegamento di rete.
   • Datastream configura le tabelle per CDC, imposta gli slot di replica, imposta una pubblicazione per tutte le tabelle del database e crea un utente Datastream dedicato.
   • Datastream crea una configurazione di connettività privata e profili di connessione di origine e destinazione.

3. Conferma di voler creare o creare e avviare lo stream.

Monitorare lo stream

Puoi monitorare i dettagli di base del flusso dalla pagina di panoramica dell'istanza di origine nella console Google Cloud . La pagina mostra informazioni come lo stato dello stream, il nome dello stream, il set di dati BigQuery di destinazione e l'identificatore del progetto di destinazione.

Dalla pagina di panoramica puoi anche eseguire azioni come avviare, interrompere o mettere in pausa lo stream. Per informazioni di monitoraggio più granulari, fai clic sul nome dello stream per passare a Datastream.

Elimina lo stream

Quando elimini un flusso creato utilizzando il flusso automatizzato, alcune risorse, come lo slot di replica PostgreSQL, vengono eliminate automaticamente. Tuttavia, ci sono risorse che devi eliminare manualmente:

• La pubblicazione. La pubblicazione viene creata utilizzando l'utente amministratore del database e può essere eliminata solo dal proprietario, quindi per impostazione predefinita dall'utente che l'ha creata.
• L'utente Datastream Reader.
• Profili di connessione di origine e destinazione Datastream
• Le risorse di connettività privata.
• Tutte le risorse di rete create durante il flusso automatizzato, come la subnet e il collegamento di rete.

Passaggi successivi

• Scopri come creare un flusso manualmente.
• Scopri di più su come monitorare i flussi.