Mit der Change Data Capture (CDC)-Aufnahme können Sie Ihre Quelldatenbanken in Echtzeit mit grenzenlosen Lakehouse-verwalteten Apache Iceberg-Tabellen (früher BigLake-Tabellen für Apache Iceberg in BigQuery) synchronisieren. Durch das Erfassen inkrementeller Änderungen wie Einfügungen, Aktualisierungen und Löschungen sorgt CDC dafür, dass Ihr Lakehouse den aktuellen Status Ihrer Betriebsdaten widerspiegelt, ohne dass vollständige Tabellen neu geladen werden müssen.
Von Apache Iceberg verwaltete Tabellen verwenden BigQuery-CDC-Konzepte und -Funktionen, um diese Änderungen effizient zu verarbeiten und Analysen mit niedriger Latenz für Daten zu ermöglichen, die in offenen Formaten wie Apache Iceberg gespeichert sind. Dieser Ansatz reduziert den Verwaltungsaufwand, der mit typischen ETL-Prozessen verbunden ist, erheblich.
Beschränkungen
Von Apache Iceberg verwaltete Tabellen unterstützen die Aufnahme von Change Data Capture (CDC) und nutzen dieselben Konzepte und Funktionen wie die standardmäßige BigQuery-CDC-Aufnahme. Es gibt jedoch einige zusätzliche Einschränkungen, die Sie beachten sollten:
- Löschungen in falscher Reihenfolge werden nicht unterstützt. Im Gegensatz zur BigQuery-CDC-Aufnahme wird für CDC-fähige verwaltete Iceberg-Tabellen kein Aufbewahrungsfenster für Löschvorgänge verwaltet. Wenn ein
DELETE-Ereignis eintrifft, bevor der entsprechende Eintrag eingefügt wurde, wird der Löschvorgang von den Hintergrundanwendungsjobs verworfen. Dies kann dazu führen, dass Datensätze, die gelöscht werden sollten, in der Tabelle verbleiben. - Alle Einschränkungen unter Einschränkungen für verwaltete Apache Iceberg-Tabellen.
- Alle Einschränkungen unter Einschränkungen für die BigQuery-CDC-Aufnahme.
Nächste Schritte
Weitere Informationen finden Sie in der folgenden BigQuery-Dokumentation:
- Daten mit Change Data Capture streamen
- Daten mit der BigQuery Storage Write API (gRPC) streamen
- Transaktionsdatenbanken mit Datastream in Apache Iceberg-Tabellen replizieren