Para replicar datos de una base de datos de AlloyDB para PostgreSQL en un destino compatible, como BigQuery o Cloud Storage, primero debes preparar tu instancia de origen para Datastream. Configurar un proxy TCP, habilitar la decodificación lógica, crear una ranura de publicación y replicación, y configurar un usuario de Datastream te permiten capturar los cambios continuos en la base de datos.
Configura la conectividad entre Datastream y AlloyDB
Para permitir que DataStream se conecte a la instancia de AlloyDB, debes configurar un proxy TCP en el proyecto del consumidor. La imagen de proxy TCP está disponible de forma pública para todos los clientes.
Inicia el contenedor del proxy:
- Activa Cloud Shell en el proyecto del consumidor.
- Ejecuta la siguiente secuencia de comandos para crear una VM de Container-Optimized OS que ejecute el contenedor de proxy TCP en la red host:
gcloud compute instances create VM_NAME \ --zone=REGION_ID \ --image-family=cos-stable \ --image-project=cos-cloud \ --tags=dms-tcp-proxy \ --can-ip-forward \ --network=SOURCE_AND_DEST_VPC \ --machine-type=VM_TIER \ --metadata=google-logging-enabled=true,startup-script='#! /bin/bash iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT docker rm -f dms-tcp-proxy 2>/dev/null docker run -d --name=dms-tcp-proxy --restart=always --network=host \ -e SOURCE_CONFIG=ALLOYDB_IP:ALLOYDB_PORT \ gcr.io/dms-images/tcp-proxy'Reemplaza lo siguiente:
- REGION_ID: Es la región en la que deseas crear el proxy TCP.
- VM_NAME: Es el nombre de la máquina virtual.
- ALLOYDB_IP: Es la dirección IP de la instancia de AlloyDB para PostgreSQL.
- ALLOYDB_PORT: Es el número de puerto de la instancia de AlloyDB para PostgreSQL.
- SOURCE_AND_DEST_VPC: Es la red de VPC a la que están conectados el origen y el destino.
- VM_TIER: Es el tipo de máquina virtual.
Un comando de ejemplo con parámetros actualizados:
gcloud compute instances create ds-tcp-proxy \ --zone=us-central1-c \ --image-family=cos-stable \ --image-project=cos-cloud \ --tags=ds-tcp-proxy \ --can-ip-forward \ --network=default \ --machine-type=e2-micro \ --metadata=google-logging-enabled=true,startup-script='#! /bin/bash iptables -w -A INPUT -p tcp --dport 5432 -j ACCEPT docker rm -f dms-tcp-proxy 2>/dev/null docker run -d --name=dms-tcp-proxy --restart=always --network=host \ -e SOURCE_CONFIG=10.16.0.5:5432 \ gcr.io/dms-images/tcp-proxy'Ejecuta la secuencia de comandos para imprimir la dirección IP del proxy TCP con las siguientes entradas:
gcloud compute instances describe VM_NAME \ --format="yaml(networkInterfaces[].networkIP)" \ --zone=REGION_IDReemplaza lo siguiente:
- VM_NAME: Es el nombre de tu máquina virtual.
- REGION_ID: Es la región en la que creaste el proxy TCP.
(Opcional) Crea una regla de firewall para limitar el tráfico de entrada al proxy de TCP:
gcloud compute firewall-rules create FIREWALL_RULE_NAME \ --direction=INGRESS \ --priority=1000 \ --target-tags=dms-tcp-proxy \ --network=SOURCE_VPC \ --action=ALLOW \ --rules=tcp:ALLOYDB_PORT \ --source-ranges=IP_RANGEReemplaza lo siguiente:
- FIREWALL_RULE_NAME: Es el nombre de la regla de firewall.
- SOURCE_VPC: Es la red de VPC a la que está conectada tu fuente.
- ALLOYDB_PORT: Es el número de puerto de la instancia de AlloyDB para PostgreSQL.
- IP_RANGE: Es el rango de direcciones IP al que deseas limitar el tráfico de entrada.
Un comando de ejemplo para permitir el tráfico de entrada desde todas las direcciones IP:
gcloud compute firewall-rules create ds-proxy1 \ --direction=INGRESS \ --priority=1000 \ --target-tags=ds-tcp-proxy \ --network=default \ --action=ALLOW \ --rules=tcp:5432
Configura AlloyDB para la replicación
Habilita la decodificación lógica para la instancia principal de AlloyDB. En Google Cloud, establece el valor de la marca
alloydb.logical_decodingen ON. Para obtener información sobre cómo actualizar las marcas de base de datos, consulta Configura las marcas de base de datos de una instancia.Conéctate a la instancia de AlloyDB con la dirección IP del proxy TCP. Para ello, ejecuta el siguiente comando desde cualquier VM en la misma VPC:
psql -h PROXY_IP \ -U DB_USER \ -d DB_NAMEReemplaza lo siguiente:
- PROXY_IP: Es la dirección IP del proxy de TCP.
- DB_USER: Es el nombre de usuario de la base de datos de AlloyDB.
- DB_NAME: Es el nombre de la base de datos de AlloyDB.
Ejecuta el siguiente comando para otorgar privilegios de replicación al usuario de la base de datos:
ALTER USER DB_USER WITH REPLICATION;
Crea una publicación. Te recomendamos que crees una publicación solo para las tablas que quieras replicar. Esto permite que Datastream lea solo los datos relevantes y disminuye la carga en la base de datos y Datastream:
CREATE PUBLICATION PUBLICATION_NAME FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;
Reemplaza lo siguiente:
- PUBLICATION_NAME: Es el nombre de tu publicación. Deberás proporcionar este nombre cuando crees una transmisión en el asistente de creación de transmisiones de Datastream.
- SCHEMA: Es el nombre del esquema que contiene la tabla.
- TABLE: Es el nombre de la tabla que deseas replicar.
También puedes crear una publicación para todas las tablas de tu base de datos. Ten en cuenta que este enfoque aumenta la carga en la base de datos de origen y en Datastream:
CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
Crea una ranura de replicación mediante la ejecución del siguiente comando.
SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');Reemplaza lo siguiente:
- REPLICATION_SLOT_NAME: Es el nombre de tu ranura de replicación. Deberás proporcionar este nombre cuando crees una transmisión en el asistente de creación de transmisiones de Datastream.
Crea un usuario de Datastream
Para crear un usuario de Datastream, ingresa el siguiente comando de PostgreSQL:
CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';
Reemplaza lo siguiente:
- USER_NAME: Es el nombre del usuario de Datastream que deseas crear.
- USER_PASSWORD: Es la contraseña de acceso del usuario de Datastream que quieres crear.
Otorga los siguientes privilegios al usuario que creaste:
GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME; GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME; ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME GRANT SELECT ON TABLES TO USER_NAME;
Reemplaza lo siguiente:
- SCHEMA_NAME: Es el nombre del esquema al que deseas otorgar los privilegios.
- USER_NAME: Es el usuario al que deseas otorgar los privilegios.
¿Qué sigue?
- Obtén más información sobre cómo funciona Datastream con las fuentes de PostgreSQL.