Diffuser des données à partir de sources Spanner

Cette page contient des informations sur les points suivants :

  • Comportement de Datastream lors de la gestion des données extraites d'une base de données Spanner source.
  • Éditions de bases de données Spanner compatibles avec Datastream.
  • Limites connues de l'utilisation d'une base de données Spanner comme source.

Comportement

Spanner est un service de base de données entièrement géré, évolutif et disponibilité élevée que vous pouvez utiliser comme source avec Datastream. Datastream utilise un flux de modifications Spanner pour suivre les modifications apportées aux bases de données Spanner. Les modifications incluses dans le flux de modifications sont ensuite répliquées vers la destination pour reproduire les événements sources.

Datastream ne crée ni ne modifie les flux de modifications. Par conséquent, les objets de base de données qui ne sont pas suivis par le flux de modifications Spanner fourni ne peuvent pas être inclus dans votre flux Datastream.

Pour en savoir plus sur Spanner, consultez la documentation Spanner.

Versions

Datastream est compatible avec toutes les éditions Spanner disponibles :

  • Édition Standard
  • Édition Enterprise
  • Édition Enterprise Plus

Pour obtenir une présentation de chaque version, consultez la présentation des éditions Spanner.

Niveau sans frais

Datastream vous permet de diffuser des données de Spanner vers BigQuery à l'aide du niveau sans frais, qui fournit jusqu'à 100 Gio de données de capture des données modifiées par mois. Pour en savoir plus, consultez la page Tarifs de Datastream.

Limitations connues

Les limites connues d'utilisation d'une base de données Spanner en tant que source incluent les suivantes :

  • Seuls les flux de modifications utilisant le type de capture de valeur NEW_ROW sont acceptés.
  • Datastream n'est pas compatible avec les colonnes de type de données PROTO ni ENUM.
  • Datastream n'est pas compatible avec les tableaux de types de données DATE ni TIMESTAMP.
  • Les remplissages pour les bases de données de plus de 3 tébioctets (Tio) peuvent prendre plus de 24 heures.
  • Les remplissages créent des époques d'instantanés, un type de sauvegarde créé pour un code temporel spécifique qui conserve les versions des données pour ce code temporel. Les époques d'instantanés retardent les compactages majeurs jusqu'à la fin du remplissage. Pour en savoir plus sur les compactages, consultez la présentation du moteur de données en colonnes Spanner.
  • Datastream peut avoir des difficultés à suivre les flux de modifications Spanner comportant plus de 10 000 partitions. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut finir par échouer.
  • Datastream peut avoir des difficultés à suivre les flux de modifications Spanner comportant plus de 60 000 mises à jour par seconde. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut finir par échouer.
  • Datastream peut avoir des difficultés à suivre les flux de modifications Spanner dont le débit est supérieur à 60 mébioctets (Mio) par seconde. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut finir par échouer.
  • La réplication des données géopartitionnées n'est pas acceptée, car les flux de modifications Spanner ne sont pas compatibles avec les données partitionnées.

Étape suivante