Sincronizzare i dati BigQuery e Iceberg con AlloyDB

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Questa pagina descrive come utilizzare Lakehouse Federation per AlloyDB per PostgreSQL per sincronizzare i dati da tabelle native BigQuery, viste materializzate, viste BigQuery, tabelle esterne BigLake (ad esempio tabelle gestite Apache Iceberg) e tabelle esterne standard. Iceberg è un formato di tabella aperto per la gestione e lo scambio di dati.

Questa pagina presuppone che tu disponga di un cluster AlloyDB e di un'istanza principale e di un set di dati e tabelle BigQuery. Per saperne di più, vedi Creare set di dati e Creare e utilizzare tabelle.

Prima di iniziare

1. Assicurati che il flag bigquery_fdw.enabled sia configurato sull'istanza AlloyDB.
2. Familiarizza con i tipi di dati BigQuery e i mapping delle colonne supportati.
Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the AlloyDB, Compute Engine, Resource Manager, and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the AlloyDB, Compute Engine, Resource Manager, and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

3. Abilita le API Cloud necessarie per creare e connetterti ad AlloyDB per PostgreSQL.

   Abilita le API

4. Nel passaggio Conferma progetto, fai clic su Avanti per confermare il nome del progetto a cui apporterai le modifiche.

5. Nel passaggio Abilita API, fai clic su Abilita per abilitare quanto segue:

   • API AlloyDB
   • API Compute Engine
   • API Cloud Resource Manager
   • API Service Networking
   • API BigQuery Storage

   L'API Service Networking è necessaria se prevedi di configurare la connettività di rete ad AlloyDB utilizzando una rete VPC che si trova nello stesso progetto Google Cloud di AlloyDB.

   L'API Compute Engine e l'API Cloud Resource Manager sono necessarie se prevedi di configurare la connettività di rete ad AlloyDB utilizzando una rete VPC che si trova in un progetto Google Cloud diverso.

Ruoli obbligatori

Per concedere l'accesso in lettura al set di dati BigQuery all'account di servizio del cluster AlloyDB, devi disporre delle seguenti autorizzazioni:

• Visualizzatore dati BigQuery (roles/bigquery.dataViewer) o qualsiasi ruolo personalizzato con le autorizzazioni bigquery.tables.get e bigquery.tables.getData. Se concesso per una tabella o una vista, questo ruolo fornisce le autorizzazioni per leggere i dati e i metadati della tabella o della vista.
• Utente sessione di lettura BigQuery (roles/bigquery.readSessionUser) o qualsiasi ruolo personalizzato con le autorizzazioni bigquery.readsessions.create e bigquery.readsessions.getData. Fornisce la possibilità di creare e utilizzare sessioni di lettura.

Concedi l'accesso ad AlloyDB al set di dati BigQuery

Dopo aver attivato la funzionalità di federazione Lakehouse sul tuo cluster AlloyDB, concedi all'account di servizio del cluster AlloyDB l'accesso al set di dati BigQuery.

Per utilizzare gcloud CLI, puoi installare e inizializzare Google Cloud CLI oppure puoi utilizzare Cloud Shell.

1. Apri gcloud CLI. Se non hai installato gcloud CLI, installala e inizializzala o utilizza Cloud Shell.

2. Esegui il comando gcloud beta alloydb clusters describe:

   gcloud beta alloydb clusters describe CLUSTER --region=REGION

   Sostituisci quanto segue:

   • CLUSTER: l'ID cluster AlloyDB.
   • REGION: la posizione del cluster AlloyDB, ad esempio asia-east1, us-east1. Consulta l'elenco completo delle regioni in Gestire le posizioni delle istanze.

   L'output contiene un campo serviceAccountEmail, che è l'account di servizio per questo cluster. Puoi trovare il account di servizio anche nella pagina Dettagli cluster.

3. Concedi le autorizzazioni richieste. Per saperne di più, consulta Controllare l'accesso alle risorse con IAM.

   Se il account di servizio del cluster non dispone delle autorizzazioni richieste, vengono visualizzati i seguenti errori quando viene eseguita una query sulla tabella BigQuery:

   • The user does not have bigquery.readsessions.create permissions
   • Permission bigquery.tables.get denied on table
   • Permission bigquery.tables.getData denied on table
   Nota: se bigquery.readsessions.getData non viene fornito, vengono restituiti risultati vuoti senza errori.

Configurare l'estensione

1. Crea l'estensione.

   1. Connettiti all'istanza AlloyDB utilizzando il client psql seguendo le istruzioni riportate in Connettere un client psql a un'istanza. In alternativa, puoi utilizzare AlloyDB Studio. Per ulteriori informazioni, consulta Gestisci i tuoi dati utilizzando la console Google Cloud .

   2. Esegui questo comando:

      CREATE EXTENSION bigquery_fdw;
      

      Nota: devi creare questa estensione in tutti i database in cui è necessario accedere ai set di dati BigQuery.

2. Crea un server esterno per definire i parametri di connessione per il set di dati BigQuery remoto.

   CREATE SERVER BIGQUERY_SERVER_NAME FOREIGN DATA WRAPPER bigquery_fdw;
   

   Sostituisci quanto segue:

   • BIGQUERY_SERVER_NAME: identificatore univoco per il server esterno. Definisci questa impostazione una sola volta in un determinato database. Puoi sostituire BIGQUERY_SERVER_NAME con il nome del tuo server.

3. Crea la mappatura utente eseguendo il comando CREATE USER MAPPING, che specifica le credenziali da utilizzare quando ti connetti al server esterno.

   CREATE USER MAPPING FOR USERNAME SERVER BIGQUERY_SERVER_NAME ;
   

   Sostituisci quanto segue:

   • USERNAME: un nome utente del database o un utente IAM che accede alla tabella esterna.
   • BIGQUERY_SERVER_NAME: identificatore univoco per il server esterno che hai creato.

4. Definisci le tabelle esterne che corrispondono alle tabelle a cui vuoi accedere in BigQuery utilizzando il comando CREATE FOREIGN TABLE. Questo comando consente di definire la struttura di una tabella remota. La tabella esterna può contenere tutte o un sottoinsieme delle colonne della tabella di origine in BigQuery.

   Nota :assicurati che il tipo di dati che utilizzi sia mappato ai tipi di dati supportati. Per ulteriori informazioni, vedi Tipi di dati BigQuery supportati e mappature delle colonne.

   CREATE FOREIGN TABLE TABLENAME (
   COLUMNX_NAME DATA_TYPE,
   COLUMNX_NAME DATA_TYPE,
   ...
   ) SERVER  BIGQUERY_SERVER_NAME OPTIONS (project BIGQUERY_PROJECT_ID, dataset  BIGQUERY_DATASET_NAME, table  BIGQUERY_TABLE_NAME [, mode EXECUTION_MODE]);
   

   Sostituisci quanto segue:

   • TABLENAME: il nome della tabella esterna nel database locale.
   • COLUMNX_NAME: il nome della colonna AlloyDB. Il nome della colonna deve corrispondere esattamente al nome della colonna corrispondente nella tabella di origine BigQuery. X indica che la tabella può essere creata con più colonne. Il nome deve corrispondere anche al case esatto della colonna BigQuery. Se il nome della colonna BigQuery contiene lettere maiuscole, ad esempio employeeID, l'identificatore AlloyDB deve essere racchiuso tra virgolette doppie, ad esempio "employeeID", per conservare le lettere maiuscole o miste.
   • DATA_TYPE: il tipo di dati della colonna.
   • BIGQUERY_SERVER_NAME: identificatore univoco per il server esterno che hai creato.
   • BIGQUERY_PROJECT_ID: l'ID del progetto in cui si trova il set di dati BigQuery.
   • BIGQUERY_DATASET_NAME: nome del set di dati BigQuery per la tabella.
   • BIGQUERY_TABLE_NAME: nome della tabella BigQuery.

   • EXECUTION_MODE: (Facoltativo) L'opzione mode supporta le seguenti impostazioni:

     • query: utilizza l'API BigQuery per query complesse.
     • storage: utilizza l'API BigQuery Storage per letture collettive più rapide.
     • auto: scegli automaticamente tra le modalità. Questa è l'impostazione predefinita.

     Per ulteriori informazioni, vedi Modalità di esecuzione del wrapper di dati esterni di BigQuery.

   Una volta creata la tabella esterna, puoi eseguire query su questa tabella nello stesso modo in cui esegui query su qualsiasi tabella in AlloyDB.

Sincronizzare i dati

Per sincronizzare i dati BigQuery o BigLake Iceberg con AlloyDB:

1. Identifica un'origine dati esistente o crea una tabella BigQuery nativa o una nuova tabella Iceberg gestita.

2. Utilizza psql per creare local_table eseguendo il seguente comando:

   CREATE TABLE local_table AS (SELECT * from foreign_table);
   

   Questo comando crea una copia della tabella BigQuery in una tabella AlloyDB locale nativa.
   A seconda del flusso di lavoro dell'applicazione, puoi configurare l'estensione PostgreSQL pg_cron per aggiornare la tabella AlloyDB a intervalli periodici.

Configura una pianificazione per sincronizzare i dati con AlloyDB

Per configurare una pianificazione per sincronizzare i dati BigQuery o BigLake Iceberg con AlloyDB:

1. Configura l'estensione bigquery_fdw.
2. Attiva l'estensione pg_cron sull'istanza AlloyDB. Per ulteriori informazioni, vedi Estensioni di database supportate.
   1. Imposta il flag alloydb.enable_pg_cron su on. Per saperne di più, consulta alloydb.enable_pg_cron.
   2. Imposta il flag cron.database_name sul nome del database in cui hai installato l'estensione bigquery_fdw e in cui vuoi eseguire le query SQL per la sincronizzazione. Per ulteriori informazioni, vedi Flag di database supportati.

3. Per aggiornare periodicamente una copia locale della tabella esterna, esegui i seguenti comandi nel database in cui hai installato l'estensione bigquery_fdw:

   CREATE EXTENSION pg_cron;
   SELECT cron.schedule(JOB_NAME, SCHEDULE, 'CREATE TABLE IF NOT EXISTS local_table_copy AS (SELECT * FROM foreign_table); DROP TABLE IF EXISTS local_table; ALTER TABLE local_table_copy RENAME TO local_table;');
   

   Sostituisci quanto segue:

   • JOB_NAME: il nome del job.
   • SCHEDULE: la pianificazione del job.

   Per saperne di più, vedi Che cos'è pg_cron?.

Passaggi successivi

• Scopri di più sui casi d'uso per l'accesso ai dati BigQuery da AlloyDB.
• Accedi ai dati BigQuery da AlloyDB.
• Scopri di più sui tipi di dati BigQuery supportati e sui mapping delle colonne.