Crea uno stream AlloyDB utilizzando il flusso automatizzato

Questa pagina descrive come creare uno stream AlloyDB per PostgreSQL utilizzando il flusso di configurazione automatica.

La configurazione automatica dello stream semplifica il processo di spostamento dei dati dai cluster AlloyDB per PostgreSQL a BigQuery riducendo il numero di passaggi da eseguire. Il flusso consente di creare uno stream direttamente dalla pagina di panoramica del cluster AlloyDB per PostgreSQL.

Un deployment di AlloyDB per PostgreSQL è costituito da un cluster primario, che contiene un'istanza principale. Può includere anche cluster secondari e istanze secondarie. Datastream crea sempre lo stream dall'istanza principale nel cluster primario.

Datastream automatizza la protezione della connessione VPC tra lo stream e il cluster di origine, creando configurazioni di database e risorse di connessione dello stream.

Prima di iniziare

  1. Abilita le API Datastream, Connettività di rete e Compute Engine.
  2. Assicurati di disporre delle autorizzazioni IAM (Identity and Access Management) necessarie per creare e gestire le risorse Datastream. Per maggiori dettagli, consulta la sezione che segue.
  3. Crea e configura un cluster AlloyDB per PostgreSQL di origine per la replica. Per saperne di più, consulta Configurare un database AlloyDB per PostgreSQL per CDC.

  4. Ti consigliamo di abilitare la replica logica per il cluster prima di creare lo stream. Se non abiliti la replica logica, Datastream la abilita per te, il che riavvia l'istanza di origine.

    Per informazioni su come abilitare la replica logica per un cluster AlloyDB per PostgreSQL, consulta Configurare un database AlloyDB per PostgreSQL per CDC.

  5. Assicurati che il cluster di origine sia configurato per utilizzare l'accesso privato ai servizi.

Autorizzazioni obbligatorie

Per utilizzare il flusso di creazione automatica dello stream, devi disporre dei seguenti ruoli o autorizzazioni IAM (Identity and Access Management):

  • serviceusage.services.enable, compute.networkAdmin per abilitare le API richieste ed eseguire le attività di configurazione della rete.
  • alloydb.admin per le attività di configurazione di cluster e istanze.
  • datastream.admin per le attività di amministrazione che Datastream esegue per tuo conto.

Se scegli di personalizzare le impostazioni dello stream, l'utente amministratore del database deve disporre anche delle autorizzazioni GRANT per lo schema che vuoi replicare e di alcune autorizzazioni aggiuntive per le attività amministrative e strutturali all'interno del database di origine. Connettiti al database di origine ed esegui quanto segue:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

Tabelle future

Le tabelle future vengono aggiunte automaticamente allo stream solo se vengono create dall'utente di cui fornisci i dettagli dell'account per l'autenticazione durante il flusso automatico. Se una tabella futura viene creata da un altro utente, quest'ultimo deve concedere esplicitamente all'utente Datastream Reader l'autorizzazione SELECT sulla tabella.

Crea e avvia lo stream

Per creare e avviare uno stream:

Console

  1. Vai alla pagina di panoramica dei cluster AlloyDB per PostgreSQL di origine.

    Vai ad AlloyDB per PostgreSQL

  2. Fai clic sul cluster primario da cui vuoi eseguire lo streaming dei dati.

  3. Crea e avvia automaticamente lo stream in uno dei seguenti modi:

    1. Nella pagina Dettagli cluster, in Replica dei dati, fai clic su Avvia stream.
    2. Nella sezione Integrazioni, fai clic su Avvia stream in Replica i dati in BigQuery.
    3. Nella scheda Launchpad, in Integra facilmente con altri Google Cloud prodotti, fai clic su Replica i dati in BigQuery.

  4. Si apre il riquadro Avvia stream per replicare i dati.

  5. In Impostazioni dello stream, esamina le impostazioni predefinite dello stream che crei.

  6. Puoi modificare il database di origine espandendo il menu a discesa corrispondente e selezionando un valore diverso.

  7. Quando è tutto pronto per creare e avviare lo stream, fai clic su Avvia stream.

Se devi modificare le impostazioni dello stream, fai clic su Personalizza.

Personalizza le impostazioni del flusso

Quando fai clic su Personalizza, viene visualizzata la pagina Personalizza le impostazioni dello stream. Assicurati di disporre delle autorizzazioni necessarie per personalizzare le impostazioni dello stream.

Inizia

  1. Nella pagina Inizia, fornisci il nome dello stream nel campo Nome stream. Il campo ID stream viene compilato automaticamente.

  2. Nella sezione Fornisci i dettagli dell'account utente dell'istanza, seleziona il metodo di autenticazione:

    • Autenticazione database IAM: questa opzione è disponibile se al tuo utente è assegnata l'identità dell'entità IAM (Identity and Access Management) . Per saperne di più, consulta Entità IAM. Se selezioni questa opzione, devi concedere manualmente il ruolo alloydbsuperuser e l'autorizzazione CREATEROLE al tuo utente:

      1. Nella Google Cloud console, vai alla pagina Cluster AlloyDB per PostgreSQL.

      Vai ad AlloyDB per PostgreSQL

      1. Seleziona il cluster AlloyDB per PostgreSQL.
      2. Nel menu di navigazione, fai clic su AlloyDB per PostgreSQL Studio ed esegui l'accesso.
      3. Nel riquadro Explorer, esegui la seguente query per il tuo utente:
    GRANT alloydbsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Autenticazione database integrata: fornisci il nome utente e la password di un utente con il ruolo alloydbsuperuser. Se il tuo utente non ha il ruolo alloydbsuperuser, segui i passaggi descritti nella sezione Autenticazione database IAM per concederlo manualmente. Se selezioni l'autenticazione database integrata, assicurati anche che l'utente disponga delle autorizzazioni GRANT sulle tabelle che vuole replicare.

  3. Esamina i dettagli aggiuntivi dello stream, come regione, crittografia ed etichette. Espandi la sezione Dettagli aggiuntivi dello stream per applicare le modifiche, se necessario.

  4. Fai clic su Continua.

Configura origine

  1. Nella pagina Configura origine, seleziona il database da cui vuoi replicare i dati.

  2. L'elenco Oggetti selezionati seleziona per impostazione predefinita tutti gli oggetti disponibili. Gli oggetti nell'elenco sono quelli per cui disponi delle autorizzazioni necessarie per lo streaming. Per modificare gli oggetti selezionati, modifica le selezioni nell'elenco.

  3. Esamina le configurazioni avanzate dello stream, come la modalità di backfill e il numero massimo di connessioni di backfill simultanee. Espandi la sezione Configurazioni avanzate dello stream per applicare le modifiche, se necessario.

  4. Fai clic su Continua.

Configura destinazione

  1. Nella pagina Configura destinazione, modifica le impostazioni della destinazione BigQuery, se necessario. Per saperne di più, consulta Configurare le informazioni sulla destinazione dello stream.

Crea e avvia lo stream

  1. Fai clic su Crea e avvia per creare e avviare lo stream oppure su Crea senza avviare per creare lo stream e avviarlo in un secondo momento in Datastream.

  2. Riceverai una notifica delle attività eseguite automaticamente per te:

    • Datastream crea le risorse Virtual Private Cloud richieste, come un intervallo di indirizzi IP interni, una subnet e un collegamento di rete.
    • Datastream configura le tabelle per CDC, configura gli slot di replica, configura una pubblicazione per tutte le tabelle nel database e crea un utente Datastream dedicato.
    • Datastream crea una configurazione di connettività privata e profili di connessione di origine e destinazione.

  3. Conferma di voler creare e avviare lo stream.

Monitora lo stream

Puoi monitorare i dettagli di base dello stream dalla pagina di panoramica dell'istanza di origine in the Google Cloud console. La pagina mostra informazioni come lo stato dello stream, il nome dello stream, il set di dati BigQuery di destinazione e l'identificatore del progetto di destinazione.

Dalla pagina di panoramica puoi anche eseguire azioni come avviare o mettere in pausa lo stream. Per informazioni di monitoraggio più granulari, fai clic sul nome dello stream per passare a Datastream.

Elimina lo stream

Quando elimini uno stream creato utilizzando il flusso automatico, alcune risorse, come lo slot di replica PostgreSQL, vengono eliminate automaticamente. Tuttavia, ci sono risorse che devi eliminare manualmente:

  • La pubblicazione. La pubblicazione viene creata utilizzando l'utente amministratore del database e può essere eliminata solo dal suo proprietario, quindi per impostazione predefinita dall'utente che l'ha creata.
  • L'utente Datastream Reader.
  • I profili di connessione di origine e destinazione Datastream
  • Le risorse di connettività privata.
  • Tutte le risorse di rete create durante il flusso automatico, come la subnet e il collegamento di rete.

Passaggi successivi