Présentation de Datastream

Datastream est un service de réplication de données et de capture des données modifiées (CDC, Change Data Capture) sans serveur. Il vous permet de synchroniser les données sur des bases de données et des applications hétérogènes avec une latence minimale. Comme Datastream est sans serveur, il évolue automatiquement sans que vous ayez à provisionner ni à gérer des ressources.

Vous pouvez répliquer des données dans BigQuery pour des analyses en temps quasi réel ou écrire des flux d'événements de modification dans Cloud Storage pour des architectures basées sur des événements. L'intégration aux modèles Pub/Sub et Dataflow vous permet de charger des données dans des destinations telles que Cloud SQL et Spanner. Datastream s'intègre également à Knowledge Catalog pour la gestion centralisée des métadonnées et de la traçabilité dans Google Cloud.

Datastream est compatible avec les sources de bases de données, y compris MySQL, Oracle, PostgreSQL, AlloyDB pour PostgreSQL, SQL Server, MongoDB et Spanner. Vous pouvez également diffuser des données en streaming depuis Salesforce et depuis des sources en version preview telles que Salesforce Marketing Cloud, Microsoft Dataverse, ServiceNow et Workday. Les options de connectivité privée, les rapports d'état et la gestion des modifications de schéma permettent une réplication fiable pour les migrations et les déploiements de cloud hybride.

Cas d'utilisation

Les fonctionnalités de diffusion de données de Datastream permettent divers cas d'utilisation :

  • Répliquer et synchroniser des données dans votre organisation avec une latence minimale

    Vous pouvez synchroniser les données entre des bases de données et des applications hétérogènes de manière fiable, avec une faible latence et un impact minimal sur les performances de votre source. Exploitez tout le potentiel des flux de données pour l'analyse, la réplication de bases de données, la migration vers le cloud et les architectures basées sur des événements dans des environnements hybrides.

  • Effectuer facilement un scaling à la hausse ou à la baisse avec une architecture sans serveur

    Soyez opérationnel rapidement grâce à un service sans serveur et facile d'utilisation, qui s'adapte de manière fluide à l'évolution de vos volumes de données. Concentrez-vous sur l'extraction d'insights actualisés à partir de vos données et sur la résolution des problèmes hautement prioritaires, plutôt que sur la gestion de l'infrastructure, l'ajustement des performances ou le provisionnement des ressources.

  • Intégrer à la suite d'intégration de données Google Cloud

    Connectez les données de votre organisation à la suite de produits d'intégration de données Google Cloud . Intégrez Datastream à des modèles de job Dataflow pour lire les données d'un bucket Cloud Storage et les charger dans différentes destinations, telles que BigQuery, Spanner et Cloud SQL.

Éléments d'expérience

Datastream comporte trois éléments principaux :

  • Les configurations de connectivité privée permettent à Datastream de communiquer avec une source de données sur un réseau privé (en interne dansGoogle Cloud, ou avec des sources externes connectées via un VPN ou Interconnect). Cette communication s'effectue via une connexion d'appairage de cloud privé virtuel (VPC).
  • Les profils de connexion représentent les informations de connectivité à une source et à une destination. Ces informations seront utilisées par un flux.
  • Les flux utilisent les informations des profils de connexion pour transférer les données CDC et de backfill de la source vers la destination.

Étapes suivantes