Crea una transmisión con el flujo automatizado

En esta página, se describe cómo crear una transmisión con el flujo de configuración automática.

La configuración automatizada de la transmisión simplifica el proceso de transferencia de datos de las bases de datos administradas de Cloud SQL para PostgreSQL a BigQuery, ya que reduce la cantidad de pasos que debes realizar. El flujo te permite crear una transmisión directamente desde la página de descripción general de tu instancia de Cloud SQL para PostgreSQL. Datastream automatiza la protección de la conexión de VPC entre la transmisión y la base de datos de origen, y crea configuraciones de bases de datos y recursos de conexión de transmisión.

Antes de comenzar

  1. Habilita las APIs de Datastream, Conectividad de red y Compute Engine.
  2. Asegúrate de tener los permisos de Identity and Access Management (IAM) necesarios para crear y administrar recursos de Datastream. Consulta la siguiente sección para obtener más detalles.
  3. Crea y configura una base de datos de origen de Cloud SQL para PostgreSQL para la replicación. Para obtener más información, consulta Configura una base de datos de Cloud SQL para PostgreSQL para CDC.

  4. Te recomendamos que habilites la replicación lógica para tu instancia antes de crear el flujo. Si no habilitas la replicación lógica, Datastream la habilitará por ti, lo que reiniciará tu instancia de origen.

    Para obtener información sobre cómo habilitar la replicación lógica en una instancia de Cloud SQL para PostgreSQL, consulta Configura una base de datos de Cloud SQL para PostgreSQL para CDC.

  5. Asegúrate de que tu base de datos fuente esté configurada para usar el acceso privado a servicios.

Permisos necesarios

Para usar el flujo de creación de transmisiones automatizado, necesitas los siguientes roles o permisos de Identity and Access Management (IAM):

  • serviceusage.services.enable y compute.networkAdmin para habilitar las APIs requeridas y realizar tareas de configuración de red
  • cloudsql.admin para tareas de configuración de instancias
  • datastream.admin para tareas de administración que Datastream realiza en tu nombre.

Tu usuario administrador de la base de datos también necesita permisos de GRANT para el esquema que deseas replicar. Conéctate a tu base de datos de origen y ejecuta lo siguiente:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;

Crea e inicia la transmisión

Para crear y comenzar una transmisión, sigue estos pasos:

Console

Comenzar

  1. Ve a la página de descripción general de la instancia de base de datos de Cloud SQL para PostgreSQL de origen.

    Ir a Instancias de Cloud SQL

  2. En la sección Transmite datos a BigQuery, haz clic en Crear transmisión.

  3. En la página Comenzar, proporciona el nombre de tu transmisión en el campo Nombre de la transmisión. Se completará automáticamente un identificador único.

  4. En la sección Proporciona los detalles de la cuenta de usuario de la instancia, selecciona el método de autenticación:

    • Autenticación de la base de datos de IAM: Esta opción está disponible si tu usuario tiene asignada la identidad principal de Identity and Access Management (IAM). Para obtener más información, consulta Principales de IAM. Si seleccionas esta opción, debes otorgar manualmente el rol cloudsqlsuperuser y el permiso CREATEROLE a tu usuario:

      1. En la consola de Google Cloud , ve a la página Instancias de Cloud SQL.

      Ir a Instancias de Cloud SQL

      1. Selecciona tu instancia de Cloud SQL.
      2. En el menú de navegación, haz clic en Cloud SQL Studio y accede.
      3. En el panel Explorador, ejecuta la siguiente consulta para tu usuario:
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Autenticación de base de datos integrada: Proporciona el nombre de usuario y la contraseña de un usuario con el rol cloudsqlsuperuser. Si seleccionas esta opción, asegúrate de que el usuario tenga permisos de GRANT en las tablas que desea replicar.

  5. Revisa detalles adicionales de la transmisión, como la región, la encriptación y las etiquetas. Expande la sección Additional stream details para aplicar cambios, si es necesario.

  6. Haz clic en Continuar.

Configura la fuente

  1. En la página Configurar fuente de transmisión, selecciona la base de datos desde la que deseas replicar los datos.
  2. En la lista Objetos para incluir, se seleccionan todos los objetos disponibles de forma predeterminada. Los objetos de la lista son aquellos para los que tienes los permisos necesarios para transmitir. Para cambiar los objetos seleccionados, modifica las selecciones en la lista.
  3. Revisa la configuración avanzada de la transmisión, como el modo de reabastecimiento y la cantidad máxima de conexiones de reabastecimiento simultáneas. Expande la sección Configuración avanzada de transmisión para aplicar cambios, si es necesario.
  4. Haz clic en Continuar.

Configura el destino

  1. En la página Configurar destino, ajusta la configuración del destino de BigQuery, si es necesario. Para obtener más información, consulta Configura la información sobre el destino de la transmisión.

Crea e inicia la transmisión

  1. Haz clic en Crear e iniciar más tarde para crear tu transmisión e iniciarla más tarde en Datastream, o bien en Iniciar para crearla e iniciarla de inmediato.

  2. Recibirás notificaciones sobre las tareas que se realizan automáticamente por ti:

    • Datastream crea los recursos de nube privada virtual necesarios, como el rango de direcciones IP internas, la subred y el adjunto de red.
    • Datastream configura las tablas para la CDC, establece ranuras de replicación, configura una publicación para todas las tablas de la base de datos y crea un usuario de Datastream dedicado.
    • Datastream crea una configuración de conectividad privada y perfiles de conexión de origen y destino.

  3. Confirma que quieres crear o crear e iniciar tu transmisión.

Supervisa la transmisión

Puedes supervisar los detalles básicos de la transmisión desde la página de resumen de la instancia de origen en la consola de Google Cloud . En la página, se muestra información como el estado de la transmisión, el nombre de la transmisión, el conjunto de datos de BigQuery de destino y el identificador del proyecto de destino.

En la página de descripción general, también puedes realizar acciones como iniciar, detener o pausar la transmisión. Para obtener información de supervisión más detallada, haz clic en el nombre del flujo para navegar a Datastream.

Borra la transmisión

Cuando borras un flujo que creaste con el flujo automatizado, algunos recursos, como la ranura de replicación de PostgreSQL, se borran automáticamente. Sin embargo, hay recursos que debes borrar de forma manual:

  • Es la publicación. La publicación se crea con el usuario administrador de la base de datos y solo la puede borrar su propietario, es decir, de forma predeterminada, el usuario que la creó.
  • Es el usuario lector de Datastream.
  • Los perfiles de conexión de origen y destino de Datastream
  • Son los recursos de conectividad privada.
  • Todos los recursos de red creados durante el flujo automatizado, como la subred y la vinculación de red.

¿Qué sigue?