Daten aus Cloud Spanner-Quellen streamen

Diese Seite enthält Informationen zu:

  • Der Umgang von Datastream mit Daten, die aus einer Spanner-Quelldatenbank abgerufen werden.
  • Die von Datastream unterstützten Versionen von Spanner-Datenbanken.
  • Bekannte Einschränkungen bei Verwendung einer Spanner-Datenbank als Quelle.

Verhalten

Spanner ist ein vollständig verwalteter, skalierbarer und hochverfügbarer Datenbankdienst, den Sie als Quelle mit Datastream verwenden können. Datastream verwendet einen Spanner-Änderungsstream, um Änderungen in Spanner-Datenbanken zu verfolgen. Die im Änderungsstream enthaltenen Änderungen werden dann zum Ziel repliziert, um die Quellereignisse zu reproduzieren.

Datastream erstellt oder ändert keine Änderungsstreams. Daher können die Datenbankobjekte, die nicht vom bereitgestellten Spanner-Änderungsstream verfolgt werden, nicht in Ihren Datastream-Stream aufgenommen werden.

Weitere Informationen zu Spanner finden Sie in der Spanner-Dokumentation.

Versionen

Datastream unterstützt alle verfügbaren Spanner-Versionen:

  • Standardversion
  • Enterprise-Version
  • Enterprise Plus-Version

Eine Übersicht über die einzelnen Versionen finden Sie unter Übersicht über Spanner-Versionen.

Kostenlose Stufe

Mit Datastream können Sie über die kostenlose Stufe Daten von Spanner zu BigQuery streamen. Dabei erhalten Sie jeden Monat bis zu 100 GiB an Change Data Capture-Daten kostenlos. Weitere Informationen finden Sie unter Datastream-Preise.

Bekannte Einschränkungen

Bekannte Einschränkungen bei Verwendung einer Spanner-Datenbank als Quelle:

  • Es werden nur Änderungsstreams mit dem Erfassungstyp NEW_ROW unterstützt.
  • Datastream unterstützt keine Spalten mit den Datentypen PROTO oder ENUM.
  • Datastream unterstützt keine Arrays mit den Datentypen DATE oder TIMESTAMP.
  • Backfills für Datenbanken mit einer Größe von mehr als 3 Tebibyte (TiB) können mehr als 24 Stunden dauern.
  • Bei Backfills werden Snapshot-Epochen erstellt. Das sind Sicherungen, die für einen bestimmten Zeitstempel erstellt werden und die Datenversionen für diesen Zeitstempel beibehalten. Snapshot-Epochen verzögern größere Komprimierungen, bis der Backfill abgeschlossen ist. Weitere Informationen zu Komprimierungen finden Sie unter Übersicht über die Spanner-spaltenbasierte Engine.
  • Datastream hat möglicherweise Probleme,mit Spanner-Änderungsstreams mit mehr als 10.000 Partitionen Schritt zu halten. Das bedeutet, dass die Änderungsereignisse möglicherweise verzögert eintreffen oder der Stream schließlich fehlschlägt.
  • Datastream hat möglicherweise Probleme,mit Spanner-Änderungsstreams mit mehr als 60.000 Aktualisierungen pro Sekunde Schritt zu halten. Das bedeutet, dass die Änderungsereignisse möglicherweise verzögert eintreffen oder der Stream schließlich fehlschlägt.
  • Datastream hat möglicherweise Probleme, mit Spanner-Änderungsstreams mit einem Durchsatz von mehr als 60 Mebibyte (MiB) pro Sekunde Schritt zu halten. Das bedeutet, dass die Änderungsereignisse möglicherweise verzögert eintreffen oder der Stream schließlich fehlschlägt.
  • Die Replikation von geopartitionierten Daten wird nicht unterstützt, da Spanner-Änderungsstreams keine partitionierten Daten unterstützen.

Nächste Schritte