Crea una transmisión de AlloyDB con el flujo automatizado

En esta página, se describe cómo crear una transmisión de AlloyDB para PostgreSQL con el flujo de configuración automatizado.

Nota: Para usar el flujo de configuración de transmisión automatizada cuando realices la replicación desde un clúster de AlloyDB para PostgreSQL, tu instancia principal debe tener habilitado el acceso privado a servicios y debe usar el tipo de conectividad de interfaces de Private Service Connect.

La configuración automatizada de la transmisión simplifica el proceso de transferencia de datos desde clústeres de AlloyDB para PostgreSQL a BigQuery, ya que reduce la cantidad de pasos que debes realizar. El flujo te permite crear una transmisión directamente desde la página de descripción general de tu clúster de AlloyDB para PostgreSQL.

Una implementación de AlloyDB para PostgreSQL consta de un clúster principal, que contiene una instancia principal. También puede incluir clústeres secundarios e instancias secundarias. Datastream siempre crea la transmisión desde la instancia principal del clúster principal.

Datastream automatiza la protección de la conexión de VPC entre la transmisión y el clúster de origen, y crea configuraciones de bases de datos y recursos de conexión de transmisión.

Nivel gratuito

Datastream te permite transmitir datos desde AlloyDB para PostgreSQL a BigQuery con el nivel gratuito, que proporciona hasta 100 GiB de datos de captura de datos modificados sin costo todos los meses. Para obtener más información, consulta los precios de Datastream.

Antes de comenzar

1. Habilita las APIs de Datastream, Conectividad de red y Compute Engine.
2. Asegúrate de tener los permisos de Identity and Access Management (IAM) necesarios para crear y administrar recursos de Datastream. Consulta la siguiente sección para obtener más detalles.
3. Crea y configura un clúster de origen de AlloyDB para PostgreSQL para la replicación. Para obtener más información, consulta Configura una base de datos de AlloyDB para PostgreSQL para CDC.

4. Te recomendamos que habilites la replicación lógica para tu clúster antes de crear el flujo. Si no habilitas la replicación lógica, Datastream la habilitará por ti, lo que reiniciará tu instancia de origen.

   Para obtener información sobre cómo habilitar la replicación lógica en un clúster de AlloyDB para PostgreSQL, consulta Configura una base de datos de AlloyDB para PostgreSQL para la CDC.

5. Asegúrate de que tu clúster de origen esté configurado para usar el acceso privado a servicios.

Permisos necesarios

Para usar el flujo de creación de transmisiones automatizado, necesitas los siguientes roles o permisos de Identity and Access Management (IAM):

• serviceusage.services.enable y compute.networkAdmin para habilitar las APIs requeridas y realizar tareas de configuración de red
• alloydb.admin para tareas de configuración de clústeres y de instancias
• datastream.admin para las tareas de administración que Datastream realiza en tu nombre.

Asegúrate de que todos los esquemas y las tablas de la base de datos seleccionada se otorguen al rol postgres o alloydbsuperuser. Dado que el flujo automatizado incluye todos los esquemas y las tablas de la base de datos de forma predeterminada, la creación de la transmisión falla si el usuario creado automáticamente no tiene permisos en ningún esquema o tabla.

Si eliges personalizar la configuración de la transmisión, tu usuario administrador de la base de datos también necesita permisos de GRANT para el esquema que deseas replicar y algunos permisos adicionales para las tareas administrativas y estructurales dentro de la base de datos de origen. Conéctate a tu base de datos de origen y ejecuta lo siguiente:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

Nota: Se requiere el rol de alloydbsuperuser para que Datastream cree la publicación de todas las tablas en la instancia de tu base de datos.

Tablas futuras

Las tablas futuras se agregan automáticamente a la transmisión solo si las crea el usuario cuyos detalles de la cuenta proporcionas para autenticarte durante el flujo automatizado. Si otro usuario crea una tabla futura, debe otorgarle explícitamente al usuario lector de Datastream el permiso SELECT en la tabla.

Crea e inicia la transmisión

Para crear y comenzar una transmisión, sigue estos pasos:

Console

1. Ve a la página de descripción general de tus clústeres de AlloyDB para PostgreSQL de origen.

   Ir a AlloyDB para PostgreSQL

2. Haz clic en el clúster principal desde el que deseas transmitir datos.

3. Crea e inicia tu transmisión automáticamente de una de las siguientes maneras:

   1. En la página Detalles del clúster, en Replicación de datos, haz clic en Iniciar transmisión.
   2. En la sección Integraciones, haz clic en Iniciar transmisión en Replicar datos en BigQuery.
   3. En la pestaña Launchpad, en Integrate seamlessly with otherGoogle Cloud products, haz clic en Replicate data to BigQuery.

4. Se abrirá el panel Iniciar transmisión para replicar datos.

5. En Configuración de la transmisión, revisa la configuración predeterminada de la transmisión que crees.

   Nota: Si la marca alloydb.logical_decoding no está habilitada, verás una notificación correspondiente en la parte superior del panel.

6. Para cambiar la base de datos de origen, expande el menú desplegable correspondiente y selecciona un valor diferente.

7. Si ya tienes todo listo para crear y comenzar tu transmisión, haz clic en Iniciar transmisión.

   Nota: Si no necesitas personalizar la configuración, Datastream usa las credenciales del usuario que accedió a su cuenta para todas las configuraciones de la base de datos. No es necesario que proporciones más detalles de autenticación de IAM o de la base de datos integrada. Cuando se usa este flujo, Datastream crea un usuario de la base de datos con los roles alloydbsuperuser y postgres. Asegúrate de haber otorgado permisos de acceso a todos los esquemas y las tablas de la base de datos seleccionada al rol postgres o alloydbsuperuser.

Si necesitas cambiar la configuración de la transmisión, haz clic en Personalizar.

Personalizar la configuración de la transmisión

Cuando haces clic en Personalizar, aparece la página Personalizar la configuración de la transmisión. Asegúrate de tener los permisos necesarios para personalizar la configuración de la transmisión.

Comenzar

1. En la página Comenzar, proporciona el nombre de tu transmisión en el campo Nombre de la transmisión. El campo ID de transmisión se completa automáticamente.

2. En la sección Proporciona los detalles de la cuenta de usuario de la instancia, selecciona el método de autenticación:

   • Autenticación de la base de datos de IAM: Esta opción está disponible si tu usuario tiene asignada la identidad principal de Identity and Access Management (IAM). Para obtener más información, consulta Principales de IAM. Si seleccionas esta opción, debes otorgar manualmente el rol alloydbsuperuser y el permiso CREATEROLE a tu usuario:

     1. En la Google Cloud consola, ve a la página Clústeres de AlloyDB para PostgreSQL.

     Ir a AlloyDB para PostgreSQL

     1. Selecciona tu clúster de AlloyDB para PostgreSQL.
     2. En el menú de navegación, haz clic en AlloyDB Studio para PostgreSQL y accede.
     3. En el panel Explorador, ejecuta la siguiente consulta para tu usuario:

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autenticación de base de datos integrada: Proporciona el nombre de usuario y la contraseña de un usuario con el rol alloydbsuperuser. Si tu usuario no tiene el rol alloydbsuperuser, sigue los pasos que se describen en la sección de autenticación de la base de datos de IAM para otorgarlo de forma manual. Si seleccionas la autenticación integrada de la base de datos, asegúrate también de que el usuario tenga permisos de GRANT en las tablas que desea replicar.

3. Revisa detalles adicionales de la transmisión, como la región, la encriptación y las etiquetas. Expande la sección Additional stream details para aplicar cambios, si es necesario.

4. Haz clic en Continuar.

Configura la fuente

1. En la página Configurar fuente, selecciona la base de datos desde la que deseas replicar los datos.

   Nota: Datastream solo muestra las bases de datos para las que tu usuario tiene los permisos necesarios. Si no ves una base de datos que quieras usar, es posible que a tu usuario le falten permisos. Además, Datastream no muestra las tablas del sistema porque no admite la replicación desde ellas.

2. En la lista Objetos seleccionados, se seleccionan todos los objetos disponibles de forma predeterminada. Los objetos de la lista son aquellos para los que tienes los permisos necesarios para la transmisión. Para cambiar los objetos seleccionados, modifica las selecciones en la lista.

3. Revisa la configuración avanzada de la transmisión, como el modo de reabastecimiento y la cantidad máxima de conexiones de reabastecimiento simultáneas. Expande la sección Configuración avanzada de transmisión para aplicar cambios, si es necesario.

4. Haz clic en Continuar.

Configura el destino

1. En la página Configurar destino, ajusta la configuración del destino de BigQuery, si es necesario. Para obtener más información, consulta Configura la información sobre el destino de la transmisión.

Crea e inicia la transmisión

1. Haz clic en Crear e iniciar para crear e iniciar tu flujo de datos, o en Crear sin iniciar para crear tu flujo de datos y, luego, iniciarlo en Datastream.

   Importante: Si haces clic en Crear y comenzar, se reiniciará tu instancia de AlloyDB para PostgreSQL. Si no tienes habilitada la decodificación lógica para tu instancia, Datastream la habilitará por ti.

2. Recibirás notificaciones sobre las tareas que se realizan automáticamente por ti:

   • Datastream crea los recursos de nube privada virtual necesarios, como un rango de direcciones IP internas, una subred y un adjunto de red.
   • Datastream configura las tablas para la CDC, establece ranuras de replicación, configura una publicación para todas las tablas de la base de datos y crea un usuario de Datastream dedicado.
   • Datastream crea una configuración de conectividad privada y perfiles de conexión de origen y destino.

3. Confirma que quieres crear e iniciar la transmisión.

Supervisa la transmisión

Puedes supervisar los detalles básicos de la transmisión desde la página de resumen de la instancia de origen en la consola de Google Cloud . En la página, se muestra información como el estado de la transmisión, el nombre de la transmisión, el conjunto de datos de BigQuery de destino y el identificador del proyecto de destino.

En la página de descripción general, también puedes realizar acciones como iniciar o pausar la transmisión. Para obtener información de supervisión más detallada, haz clic en el nombre del flujo para navegar a Datastream.

Borra la transmisión

Cuando borras un flujo que creaste con el flujo automatizado, algunos recursos, como la ranura de replicación de PostgreSQL, se borran automáticamente. Sin embargo, hay recursos que debes borrar de forma manual:

• La publicación. La publicación se crea con el usuario administrador de la base de datos y solo la puede borrar su propietario, es decir, de forma predeterminada, el usuario que la creó.
• Es el usuario lector de Datastream.
• Los perfiles de conexión de origen y destino de Datastream
• Son los recursos de conectividad privada.
• Todos los recursos de red creados durante el flujo automatizado, como la subred y la vinculación de red.

¿Qué sigue?

• Obtén más información para crear un flujo de forma manual.
• Obtén más información para configurar una fuente de AlloyDB para PostgreSQL.
• Obtén más información para supervisar transmisiones.