Mit der Change Data Capture-Aufnahme (CDC) können Sie Ihre Quelldatenbanken in Echtzeit mit grenzenlosen Lakehouse verwalteten Apache Iceberg-Tabellen (ehemals BigLake-Tabellen für Apache Iceberg in BigQuery) synchronisieren. Durch die Erfassung inkrementeller Änderungen wie Einfügungen, Aktualisierungen und Löschungen sorgt CDC dafür, dass Ihr Lakehouse den aktuellen Stand Ihrer Betriebsdaten widerspiegelt, ohne dass vollständige Tabellen neu geladen werden müssen.
Verwaltete Apache Iceberg-Tabellen verwenden BigQuery CDC-Konzepte und Funktionen, um diese Änderungen effizient zu verarbeiten und Analysen mit niedriger Latenz für Daten zu ermöglichen, die in offenen Formaten wie Apache Iceberg gespeichert sind. Dieser Ansatz reduziert den Verwaltungsaufwand, der mit typischen ETL-Prozessen verbunden ist, erheblich.
Beschränkungen
Verwaltete Apache Iceberg-Tabellen unterstützen die Change Data Capture-Aufnahme (CDC) und nutzen dieselben Konzepte und Funktionen wie die standardmäßige BigQuery CDC-Aufnahme. Es gibt jedoch einige zusätzliche Einschränkungen, die Sie beachten sollten:
- Löschvorgänge in falscher Reihenfolge werden nicht unterstützt. Im Gegensatz zur BigQuery CDC
Aufnahme wird für CDC-fähige
verwaltete Iceberg-Tabellen kein Aufbewahrungsfenster für Löschvorgänge beibehalten. Wenn ein
DELETE-Ereignis eingeht, bevor der entsprechende Datensatz eingefügt wird, wird der Löschvorgang von den Hintergrundjobs verworfen. Dies kann dazu führen, dass Datensätze in falscher Reihenfolge in der Tabelle verbleiben, die gelöscht werden sollten. - Alle Beschränkungen unter Beschränkungen für verwaltete Apache Iceberg-Tabellen.
- Alle Beschränkungen unter Beschränkungen für die BigQuery CDC-Aufnahme.
Nächste Schritte
Weitere Informationen finden Sie in der folgenden BigQuery-Dokumentation:
- Daten mit Change Data Capture streamen
- Daten mit der BigQuery Storage Write API (gRPC) streamen
- Transaktionsdatenbanken mit Datastream replizieren in BigLake-Tabellen.