Transmite datos desde fuentes de Spanner

Usar una base de datos de Spanner como fuente en Datastream te permite replicar datos históricos y eventos de flujos de cambios en tu destino para realizar análisis en tiempo real.

Para preparar tu fuente de Spanner en Datastream, revisa el comportamiento de replicación, las ediciones compatibles y las limitaciones conocidas.

Comportamiento

Spanner es un servicio de base de datos completamente administrado, escalable y con alta disponibilidad que puedes usar como fuente con Datastream. Datastream usa un flujo de cambios de Spanner para hacer un seguimiento de los cambios realizados en las bases de datos de Spanner. Los cambios incluidos en el flujo de cambios se replican en el destino para reproducir los eventos de origen.

Datastream no crea ni modifica flujos de cambios, por lo que los objetos de la base de datos que no se supervisan con el flujo de cambios de Spanner proporcionado no se pueden incluir en tu flujo de Datastream.

Para obtener más información sobre Spanner, consulta la documentación de Spanner.

Versiones

Datastream admite todas las ediciones de Spanner disponibles:

  • Edición Standard
  • Edición Enterprise
  • Edición Enterprise Plus

Para obtener una descripción general de cada versión, consulta Descripción general de las ediciones de Spanner.

Nivel gratuito

Datastream te permite transmitir datos de Spanner a BigQuery con el nivel gratuito, que proporciona hasta 100 GiB de datos de captura de datos modificados sin costo todos los meses. Para obtener más información, consulta Precios de Datastream.

Limitaciones conocidas

Estas son algunas de las limitaciones conocidas para usar una base de datos de Spanner como fuente:

  • Solo se admiten los flujos de cambios que usan los tipos de captura de valores NEW_ROW o NEW_ROW_AND_OLD_VALUES.
  • Datastream no admite las columnas de tipo de datos PROTO ni ENUM.
  • Datastream no admite arrays de tipos de datos DATE ni TIMESTAMP.
  • Los reabastecimientos de bases de datos de más de 3 tebibytes (TiB) pueden tardar más de 24 horas en completarse.
  • Los reabastecimientos crean epochs de instantáneas, un tipo de copia de seguridad creada para una marca de tiempo específica que conserva las versiones de los datos de esa marca de tiempo. Las épocas de instantáneas retrasan las compactaciones importantes hasta que se completa el reabastecimiento. Para obtener más información sobre las compactaciones, consulta Descripción general del motor de columnas de Spanner.
  • Es posible que Datastream tenga problemas para mantenerse al día con los flujos de cambios de Spanner que tienen más de 10,000 particiones. Esto significa que los eventos de cambio pueden llegar con retraso o que la transmisión puede fallar con el tiempo.
  • Es posible que Datastream tenga problemas para mantenerse al día con los flujos de cambios de Spanner con más de 60,000 actualizaciones por segundo. Esto significa que los eventos de cambio pueden llegar con retraso o que la transmisión puede fallar con el tiempo.
  • Es posible que Datastream tenga problemas para mantenerse al día con los flujos de cambios de Spanner con una capacidad de procesamiento de más de 60 mebibytes (MiB) por segundo. Esto significa que los eventos de cambio pueden llegar con retraso o que la transmisión puede fallar con el tiempo.
  • No se admite la replicación de datos con particionamiento geográfico porque los flujos de cambios de Spanner no admiten datos particionados.

¿Qué sigue?