Descripción general del flujo de datos

Datastream es un servicio de replicación y captura de datos modificados (CDC) sin servidores que te permite sincronizar datos en bases de datos y aplicaciones heterogéneas con una latencia mínima. Como Datastream no tiene servidores, se escala automáticamente sin que tengas que aprovisionar ni administrar recursos.

Puedes replicar datos en BigQuery para realizar análisis casi en tiempo real o escribir flujos de eventos de cambio en Cloud Storage para arquitecturas basadas en eventos. La integración en las plantillas de Pub/Sub y Dataflow te permite cargar datos en destinos como Cloud SQL y Spanner. Datastream también se integra en Knowledge Catalog para la administración centralizada de metadatos y linaje en Google Cloud.

Datastream admite fuentes de bases de datos, como MySQL, Oracle, PostgreSQL, AlloyDB para PostgreSQL, SQL Server, MongoDB y Spanner. También puedes transmitir datos de Salesforce y de fuentes en versión preliminar, como Salesforce Marketing Cloud, Microsoft Dataverse, ServiceNow y Workday. Las opciones de conectividad privada, los informes de estado y el manejo de cambios de esquema admiten la replicación confiable para migraciones y las implementaciones de nube híbrida.

Casos de uso

Las capacidades de transmisión de Datastream habilitan una variedad de casos de uso:

  • Replica y sincroniza datos en toda tu organización con una latencia mínima

    Puedes sincronizar datos entre bases de datos y aplicaciones heterogéneas de manera confiable, con baja latencia y con un impacto mínimo en el rendimiento de tu fuente. Aprovecha el poder de las transmisiones de datos para las estadísticas, la replicación de bases de datos, la migración a la nube y las arquitecturas basadas en eventos en entornos híbridos.

  • Aumenta o reduce la escala verticalmente sin interrupciones con una arquitectura sin servidores

    Ponte en marcha rápidamente con un servicio sin servidores y fácil de usar que escala sin problemas a medida que cambian tus volúmenes de datos. Enfócate en obtener estadísticas actualizadas de tus datos y responder a problemas de alta prioridad, en lugar de administrar la infraestructura, ajustar el rendimiento o aprovisionar recursos.

  • Realiza la integración con el paquete de integración de datos de Google Cloud

    Conecta los datos de toda tu organización con el paquete de productos de integración de datos de Google Cloud . Integra Datastream con plantillas de trabajos de Dataflow para leer datos de un bucket de Cloud Storage y cargarlos en una variedad de destinos, como BigQuery, Spanner y Cloud SQL.

Elementos de experiencia

Datastream tiene tres elementos principales:

  • La configuración de conectividad privada permite que Datastream se comunique con una fuente de datos a través de una red privada (de forma interna en Google Cloudo con fuentes externas conectadas a través de una VPN o Interconnect). Esta comunicación se realiza a través de una conexión de intercambio de tráfico de nube privada virtual (VPC).
  • Los perfiles de conexión representan la información de conectividad a un origen y un destino. Un flujo usará esta información.
  • Las transmisiones usan la información de los perfiles de conexión para transferir datos de CDC y de reabastecimiento desde el origen hasta el destino.

¿Qué sigue?