Crea una transmisión de Spanner con el flujo automatizado

En esta página, se describe cómo crear una transmisión de Spanner con el flujo de configuración automatizada.

La configuración automatizada de la transmisión simplifica el proceso de traslado de datos de bases de datos de Spanner a destinos como BigQuery, ya que reduce la cantidad de pasos que debes realizar. El flujo te permite crear una transmisión directamente desde la página de descripción general de tu instancia o base de datos de Spanner. Datastream automatiza la protección de la conexión entre la transmisión y la base de datos de origen, la creación de configuraciones de bases de datos y los recursos de conexión de transmisión.

Nivel gratuito

Datastream te permite transmitir datos de Spanner a BigQuery con el nivel gratuito, que proporciona hasta 100 GiB de datos de captura de datos modificados sin cargo por mes. Para obtener más información, consulta Precios de Datastream.

Antes de comenzar

Antes de configurar una transmisión de Datastream para Spanner, verifica que tu entorno cumpla con los siguientes requisitos previos:

  1. Habilita las APIs necesarias en tu Google Cloud proyecto:
    • API de Datastream (datastream.googleapis.com)
    • API de Cloud Spanner (spanner.googleapis.com)
    • API de BigQuery (bigquery.googleapis.com).
  2. Asegúrate de tener los permisos necesarios de Identity and Access Management (IAM) para crear y administrar recursos de Datastream. Para obtener más información, consulta Permisos necesarios.

  3. Revisa las limitaciones de la fuente de Spanner:

    • No se admiten las columnas de tipo de datos PROTO y ENUM.
    • No se admiten los arrays de tipos de datos DATE o TIMESTAMP.
    • Asegúrate de haber configurado correctamente el período de retención del flujo de cambios. Si Datastream se retrasa en el período de retención, es posible que pierdas datos y que la transmisión falle.

Permisos necesarios

Para usar el flujo de creación automatizada de transmisiones, asegúrate de que el usuario o la cuenta de servicio que configura la transmisión tenga los siguientes roles o permisos de IAM:

  • Administrador de Datastream (roles/datastream.admin) o Editor de Datastream (roles/datastream.editor) para crear y administrar la transmisión y los perfiles de conexión.
  • Lector de base de datos de Spanner (roles/spanner.databaseReader) o Administrador de Spanner (roles/spanner.admin) en la base de datos de origen para acceder a los datos y hacer un seguimiento de los cambios.
  • Editor de datos de BigQuery en el conjunto de datos de destino.

Crea e inicia la transmisión

Para crear e iniciar una transmisión con el flujo automatizado, sigue estos pasos:

Console

  1. En Google Cloud la consola de, ve a la página Instancias de Spanner.

Ir a Instancias de Spanner

  1. Selecciona la instancia y la base de datos de Spanner desde las que deseas transmitir datos.

  2. Crea e inicia tu transmisión automáticamente de una de las siguientes maneras:

    • En la página de descripción general de las instancias, haz clic en Iniciar transmisión en Replicación de datos a BigQuery.
    • En la página de descripción general de la base de datos, en la pestaña Integraciones, haz clic en Crear transmisión en Replicar datos en BigQuery.

  3. Se abrirá el panel Iniciar transmisión para replicar datos.

  4. En Configuración de la transmisión, revisa la configuración predeterminada de la transmisión que creas.

  5. Si creas tu transmisión desde la página de descripción general de las instancias, puedes cambiar la base de datos de origen. Para ello, expande el menú desplegable correspondiente y selecciona un valor diferente.

  6. Para cambiar una transmisión, expande el menú desplegable Cambiar transmisión y selecciona un valor diferente.

  7. Cuando tengas todo listo para crear e iniciar tu transmisión, haz clic en Iniciar transmisión.

Supervisa la transmisión

Para supervisar los detalles básicos de la transmisión desde la página de descripción general de la base de datos de Spanner de origen en la consola de Google Cloud , haz clic en la pestaña Flujos de cambios y, luego, en la transmisión que deseas ver.

Borra la transmisión

Cuando borras una transmisión creada con el flujo automatizado, Datastream borra el objeto de transmisión y los perfiles de conexión asociados creados para la transmisión.

Sin embargo, debes borrar de forma manual cualquier flujos de cambios de Spanner o recurso de destino que se haya creado de forma independiente si ya no es necesario.

¿Qué sigue?