Ingestion de la capture des données modifiées

L'ingestion de capture de données modifiées (CDC) vous permet de synchroniser vos bases de données sources avec des tables gérées Apache Iceberg (anciennement tables BigLake pour Apache Iceberg dans BigQuery) Lakehouse sans limites en temps réel. En capturant les modifications incrémentielles (insertions, mises à jour et suppressions, par exemple), la CDC garantit que votre lakehouse reflète l'état le plus récent de vos données opérationnelles sans nécessiter de rechargement complet des tables.

Les tables gérées Apache Iceberg utilisent les concepts et fonctionnalités de la CDC BigQuery pour traiter efficacement ces modifications et permettre des analyses à faible latence sur les données stockées dans des formats ouverts tels qu'Apache Iceberg. Cette approche réduit considérablement les frais de gestion associés aux processus ETL standards.

Limites

Les tables gérées Apache Iceberg sont compatibles avec l'ingestion de capture de données modifiées (CDC) et exploitent les mêmes concepts et fonctionnalités que l'ingestion CDC BigQuery standard. Toutefois, vous devez tenir compte de quelques limites supplémentaires :

  • Les suppressions désordonnées ne sont pas acceptées. Contrairement à l'ingestion CDC BigQuery, aucune période de conservation des suppressions n'est gérée pour les tables gérées Iceberg compatibles avec CDC. Si un événement DELETE arrive avant l'insertion de l'enregistrement correspondant, la suppression est ignorée par les jobs d'application en arrière-plan. Cela peut entraîner la présence d'enregistrements désordonnés dans votre table qui étaient censés être supprimés.
  • Toutes les limites indiquées dans Limites des tables gérées Apache Iceberg.
  • Toutes les limites indiquées dans Limites d'ingestion de la CDC BigQuery.

Étapes suivantes

Pour en savoir plus, consultez la documentation BigQuery suivante :