Panoramica di Datastream

Datastream è un servizio Change Data Capture (CDC) e di replica serverless che consente di sincronizzare i dati da database e applicazioni eterogenei con latenza minima. Poiché Datastream è serverless, scala automaticamente senza richiedere il provisioning o la gestione delle risorse.

Puoi replicare i dati in BigQuery per analisi quasi in tempo reale o scrivere stream di eventi di modifica in Cloud Storage per architetture basate su eventi. L'integrazione con i modelli Pub/Sub e Dataflow ti consente di caricare i dati in destinazioni come Cloud SQL e Spanner. Datastream si integra anche con Knowledge Catalog per la gestione centralizzata dei metadati e della derivazione in Google Cloud.

Datastream supporta origini di database tra cui MySQL, Oracle, PostgreSQL, AlloyDB per PostgreSQL, SQL Server, MongoDB e Spanner. Puoi anche trasmettere dati da Salesforce e da origini in Anteprima come Salesforce Marketing Cloud, Microsoft Dataverse, ServiceNow e Workday. Le opzioni di connettività privata, i report sullo stato e la gestione delle modifiche dello schema supportano una replica affidabile per le migrazioni e i deployment in cloud ibrido.

Casi d'uso

Le funzionalità di streaming di Datastream consentono una varietà di casi d'uso:

  • Replica e sincronizza i dati nell'organizzazione con una latenza minima

    Puoi sincronizzare i dati in diversi database e applicazioni in modo affidabile, a bassa latenza e con un impatto minimo sulle prestazioni dell'origine. Sfrutta la potenza degli stream di dati per l'analisi, la replica dei database, la migrazione al cloud e le architetture basate su eventi in ambienti ibridi.

  • Fai lo scale up o lo scale down con un'architettura serverless senza problemi

    Raggiungi la piena operatività in modo rapido con un servizio serverless e facile da utilizzare che consente di fare lo scale up o lo scale down in modo fluido in base alle variazioni dei volumi di dati. Concentrati sulla generazione di insight aggiornati dai tuoi dati e sulla risposta ai problemi ad alta priorità, anziché sulla gestione dell'infrastruttura, sull'ottimizzazione delle prestazioni o sul provisioning delle risorse.

  • Integrazione con la suite di integrazione dei dati Google Cloud

    Connetti i dati di tutta l'organizzazione con la suite di prodotti per l'integrazione dei dati di Google Cloud . Integra Datastream con i modelli di job Dataflow per leggere i dati da un bucket Cloud Storage e caricarli in una serie di destinazioni, come BigQuery, Spanner e Cloud SQL.

Elementi dell'esperienza

Datastream è composto da tre elementi principali:

  • Le configurazioni di connettività privata consentono a Datastream di comunicare con un'origine dati su una rete privata (internamente aGoogle Cloudo con origini esterne connesse tramite VPN o Interconnect). Questa comunicazione avviene tramite una connessione in peering Virtual Private Cloud (VPC).
  • I profili di connessione rappresentano le informazioni di connettività sia per un'origine sia per una destinazione. Queste informazioni verranno utilizzate da uno stream.
  • Gli stream utilizzano le informazioni nei profili di connessione per trasferire i dati CDC e di backfill dall'origine alla destinazione.

Passaggi successivi