Crea una transmisión de Cloud SQL con el flujo automatizado

El flujo de configuración de transmisión automatizada en Datastream te permite replicar datos de una instancia de Cloud SQL en BigQuery directamente desde la página de resumen de la instancia. Este flujo admite fuentes de Cloud SQL para PostgreSQL, Cloud SQL para MySQL y Cloud SQL para SQL Server. Datastream configura automáticamente la conexión de la nube privada virtual (VPC), los parámetros de configuración de la base de datos de origen y los recursos de transmisión.

Para usar el flujo automatizado, tu instancia de Cloud SQL de origen debe tener habilitado el acceso privado a servicios y usar interfaces de Private Service Connect. Para obtener más información sobre los requisitos de origen, consulta Antes de comenzar.

Antes de comenzar

  1. Habilita las APIs de Datastream, Conectividad de red y Compute Engine.
  2. Asegúrate de tener los permisos de Identity and Access Management (IAM) necesarios para crear y administrar recursos de Datastream. Consulta la sección que sigue para obtener más detalles.
  3. Crear y configurar una base de datos de Cloud SQL de origen para la replicación Para obtener más información, consulta Configura fuentes.
  4. Asegúrate de que tu base de datos de origen esté configurada para usar el acceso privado a servicios.

  5. En las instancias de Cloud SQL para PostgreSQL, te recomendamos que habilites la replicación lógica en tu instancia antes de crear la transmisión. Si no habilitas la replicación lógica, Datastream lo hará por ti, lo que reiniciará tu instancia de origen.

  6. En las instancias de Cloud SQL para MySQL, habilita la recuperación de un momento determinado para tu instancia de Cloud SQL para MySQL y asegúrate de que la versión de la base de datos sea 8.0.14 o posterior. Datastream solo admite la habilitación de la recuperación de un momento determinado en el nivel de copia de seguridad Estándar cuando se usa la configuración de transmisión automatizada.

  7. Para las instancias de Cloud SQL para SQL Server: Asegúrate de que Datastream admita la versión de SQL Server que usa tu instancia.

Permisos necesarios

Para usar el flujo de creación de transmisiones automatizado, necesitas los siguientes roles o permisos de Identity and Access Management (IAM):

  • serviceusage.services.enable y compute.networkAdmin para habilitar las APIs necesarias y realizar tareas de configuración de red.
  • cloudsql.admin para las tareas de configuración de instancias.
  • datastream.admin para las tareas de administración que Datastream realiza en tu nombre.

Permisos adicionales necesarios para Cloud SQL para PostgreSQL

  • Asegúrate de haber otorgado acceso a todos los esquemas y tablas de la base de datos seleccionada al rol postgres o cloudsqlsuperuser. Debido a que el flujo automatizado incluye todos los esquemas y tablas de la base de datos de forma predeterminada, la creación de la transmisión falla si el usuario de la base de datos creado automáticamente no tiene permisos en ningún esquema o tabla.

  • Si eliges personalizar la configuración de la transmisión, tu usuario administrador de la base de datos también necesita permisos GRANT para el esquema que deseas replicar y algunos permisos adicionales para las tareas administrativas y estructurales dentro de la base de datos de origen. Conéctate a tu base de datos de origen y ejecuta lo siguiente:

    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
ALTER DEFAULT PRIVILEGES
IN SCHEMA "SCHEMA_NAME"
GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  • Las tablas futuras se agregan automáticamente a la transmisión solo si las crea el usuario cuyos detalles de cuenta proporcionas para autenticarte durante el flujo automatizado. Si otro usuario crea una tabla futura, ese usuario debe otorgar de forma explícita el permiso SELECT al usuario lector de Datastream en la tabla.

Crea e inicia la transmisión

Para crear y, luego, iniciar una transmisión, sigue estos pasos:

Console

  1. Ve a la página de descripción general de la instancia de base de datos de Cloud SQL de origen.

    Ir a Instancias de Cloud SQL

  2. Selecciona la instancia desde la que quieres transmitir datos.

  3. En la sección Replicar datos en BigQuery, haz clic en Iniciar transmisión.

  4. Se abrirá el panel Iniciar transmisión para replicar datos.

  5. En el caso de las fuentes de Cloud SQL para PostgreSQL y Cloud SQL para MySQL, en Configuración de la transmisión, revisa la configuración predeterminada de la transmisión que creas. Para las fuentes de Cloud SQL para SQL Server, continúa con la sección Personaliza la configuración de la transmisión.

  6. Si todo está listo para crear y comenzar tu transmisión, haz clic en Iniciar transmisión.

Si necesitas cambiar la configuración de la transmisión, haz clic en Personalizar.

Personalizar la configuración de la transmisión

Cuando haces clic en Personalizar, aparece la página Personalizar la configuración de la transmisión. Asegúrate de tener los permisos necesarios para personalizar la configuración de la transmisión.

Comenzar

  1. En la página Comenzar, proporciona el nombre de tu transmisión en el campo Nombre de la transmisión. Se autocompleta un identificador único.

  2. En la sección Proporciona los detalles de la cuenta de usuario de la instancia, selecciona el método de autenticación:

    • Autenticación de la base de datos de IAM: Esta opción está disponible si tu usuario tiene asignada la identidad de principal de Identity and Access Management (IAM). Para obtener más información, consulta Principales de IAM. Si seleccionas esta opción, debes otorgar de forma manual el rol cloudsqlsuperuser y el permiso CREATEROLE a tu usuario:

      1. En la consola de Google Cloud , ve a la página Instancias de Cloud SQL.

      Ir a Instancias de Cloud SQL

      1. Selecciona tu instancia de Cloud SQL.
      2. En el menú de navegación, haz clic en Cloud SQL Studio y accede.
      3. En el panel Explorador, ejecuta la siguiente consulta para tu usuario:
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Autenticación de base de datos integrada: Proporciona el nombre de usuario y la contraseña de un usuario con el rol cloudsqlsuperuser. Si seleccionas esta opción, asegúrate de que el usuario tenga permisos GRANT en las tablas que desea replicar.

  3. Revisa los detalles adicionales de la transmisión, como la región, la encriptación y las etiquetas. Expande la sección Detalles adicionales de la transmisión para aplicar los cambios, si es necesario.

  4. Haz clic en Continuar.

Configura la fuente

  1. En la página Configura la fuente de transmisión, selecciona la base de datos de la que deseas replicar los datos.

  2. En la lista Objetos que se incluirán, se seleccionan todos los objetos disponibles de forma predeterminada. Los objetos de la lista son aquellos para los que tienes los permisos necesarios para transmitir. Para cambiar los objetos seleccionados, modifica las selecciones en la lista.

  3. Revisa la configuración avanzada de la transmisión, como el modo de reabastecimiento y la cantidad máxima de conexiones de reabastecimiento simultáneas. Expande la sección Configuración avanzada del flujo para aplicar cambios, si es necesario.

  4. Haz clic en Continuar.

Configura el destino

  1. En la página Configurar destino, ajusta la configuración de destino de BigQuery, si es necesario. Para obtener más información, consulta Configura la información sobre el destino de la transmisión.

Crea e inicia la transmisión

  1. Haz clic en Crear e iniciar más tarde para crear tu transmisión y, luego, iniciarla en Datastream, o en Iniciar para crearla y, luego, iniciarla de inmediato.

  2. Recibirás notificaciones sobre las tareas que se realizan automáticamente por ti:

    • Datastream crea los recursos de nube privada virtual necesarios, como el rango de direcciones IP internas, la subred y el adjunto de red.
    • Datastream configura las tablas para la CDC, establece ranuras de replicación, configura una publicación para todas las tablas de la base de datos y crea un usuario de Datastream dedicado.
    • Datastream crea una configuración de conectividad privada y perfiles de conexión de origen y destino.

  3. Confirma que quieres crear o crear e iniciar la transmisión.

Supervisa la transmisión

Puedes supervisar los detalles básicos de la transmisión desde la página de resumen de la instancia de origen en la consola de Google Cloud . En la página, se muestra información como el estado de la transmisión, el nombre de la transmisión, el conjunto de datos de BigQuery de destino y el identificador del proyecto de destino.

En la página de resumen, también puedes realizar acciones, como iniciar o pausar la transmisión. Para obtener información de supervisión más detallada, haz clic en el nombre de la transmisión para navegar a Datastream.

Borra la transmisión

Cuando borras una transmisión que creaste con el flujo automatizado, algunos recursos, como la ranura de replicación de PostgreSQL, se borran automáticamente. Sin embargo, hay recursos que debes borrar de forma manual:

  • La publicación La publicación se crea con el usuario administrador de la base de datos y solo la puede borrar su propietario, por lo que, de forma predeterminada, el usuario que la creó.
  • El usuario lector de Datastream.
  • Los perfiles de conexión de origen y destino de Datastream
  • Los recursos de conectividad privada.
  • Todos los recursos de red creados durante el flujo automatizado, como la subred y el adjunto de red.

¿Qué sigue?