Datastream – Übersicht

Datastream ist ein serverloser und nutzerfreundlicher Dienst für Change Data Capture (CDC) und Replikation, mit dem Sie Daten zuverlässig und mit minimaler Latenz synchronisieren können.

Datastream bietet eine nahtlose Replikation von Daten aus operativen Datenbanken zu BigQuery. Außerdem können Sie mit Datastream den Änderungsereignisstream in Cloud Storage schreiben und Dataflow-Vorlagen problemlos einbinden, um benutzerdefinierte Workflows zum Laden von Daten in eine Vielzahl von Zielen wie Cloud SQL und Spanner zu erstellen. Datastream ermöglicht es Ihnen auch, den Ereignisstream aus Cloud Storage direkt für ereignisgesteuerte Architekturen zu nutzen. Datastream unterstützt Oracle-, MySQL-, SQL Server-, PostgreSQL- (einschließlich AlloyDB for PostgreSQL), MongoDB-, Salesforce- und Spanner-Quellen.

Vorteile von Datastream:

  • Nahtlose Einrichtung von ELT-Pipelines (Extract, Load, Transform) für die Datenreplikation mit niedriger Latenz, um nahezu in Echtzeit Informationen in BigQuery zu erhalten.
  • Da es sich um einen serverlosen Dienst handelt, müssen keine Ressourcen bereitgestellt oder verwaltet werden, und der Dienst lässt sich bei Bedarf automatisch mit minimalen Ausfallzeiten hoch- und runterskalieren.
  • Nutzerfreundliche Einrichtung und Monitoring, die eine extrem schnelle Wertschöpfung ermöglichen.
  • Integration des besten Portfolios von Datendiensten für die Datenintegration in Datastream, Dataflow, Pub/Sub, BigQuery, Knowledge Catalog und mehr. Google Cloud
  • Zentrale Metadaten- und Lineage-Verwaltung mit Knowledge Catalog, mit der Sie Datastream Ressourcen im Kontext aller Ihrer Datenquellen in einsehen können Google Cloud.
  • Synchronisieren und Vereinheitlichen von Datenstreams in heterogenen Datenbanken und Anwendungen.
  • Sicherheit mit privaten Verbindungsoptionen und der Sicherheit, die Sie von Google Clouderwarten.
  • Präzise und zuverlässig, mit transparenten Statusberichten und robuster Verarbeitungsflexibilität bei Daten- und Schemaänderungen.
  • Unterstützung mehrerer Anwendungsfälle, einschließlich Analysen, Datenbankreplikation und Synchronisierung für Migrationen und Hybrid-Cloud-Konfigurationen sowie zum Erstellen ereignisgesteuerter Architekturen.

Anwendungsfälle

Die Streamingfunktionen von Datastream ermöglichen eine Vielzahl von Anwendungsfällen:

  • Daten mit minimaler Latenz in Ihrer Organisation replizieren und synchronisieren

    Sie können Daten aus heterogenen Datenbanken und Anwendungen zuverlässig mit niedriger Latenz und minimalen Auswirkungen auf die Leistung der Quelle synchronisieren. Nutzen Sie das Potenzial von Datenstreams für Analysen, Datenbankreplikation, Cloud-Migration und ereignisgesteuerte Architekturen in hybriden Umgebungen.

  • Mit einer serverlosen Architektur nahtlos hoch- oder runterskalieren

    Mit einem serverlosen und nutzerfreundlichen Dienst, der sich nahtlos entsprechend des Datenvolumens skalieren lässt, sind Sie schnell startklar. Konzentrieren Sie sich darauf, aktuelle Informationen aus Ihren Daten zu gewinnen und auf Probleme mit hoher Priorität zu reagieren, anstatt die Infrastruktur zu verwalten, die Leistung zu optimieren oder Ressourcen bereitzustellen.

  • In die Google Cloud Produktsuite für Datenintegration einbinden

    Mit der Google Cloud Daten integrationssuite können Sie Daten unternehmensweit verknüpfen. Binden Sie Datastream in Dataflow-Jobvorlagen ein, um Daten aus einem Cloud Storage-Bucket zu lesen und in eine Vielzahl von Zielen wie BigQuery, Spanner und Cloud SQL zu laden.

Experience-Elemente

Datastream besteht aus drei Hauptelementen:

  • Konfigurationen für private Verbindungen ermöglichen Datastream die Kommunikation mit einer Datenquelle über ein privates Netzwerk (intern in Google Cloud, oder mit externen Quellen, die über VPN oder Interconnect verbunden sind). Diese Kommunikation erfolgt über eine VPC-Peering-Verbindung (Virtual Private Cloud).
  • Verbindungsprofile enthalten Verbindungsinformationen für eine Quelle und ein Ziel. Diese Informationen werden von einem Stream verwendet.
  • Streams verwenden die Informationen in den Verbindungsprofilen, um CDC- und Backfill-Daten von der Quelle an das Ziel zu übertragen.

Nächste Schritte