Daten aus Cloud Spanner-Quellen streamen

Wenn Sie eine Spanner-Datenbank als Quelle in Datastream verwenden, können Sie Verlaufsdaten und Änderungsstream-Ereignisse in Ihr Ziel für Echtzeitanalysen replizieren.

Wenn Sie Ihre Spanner-Quelle in Datastream vorbereiten möchten, lesen Sie die Informationen zum Replikationsverhalten, zu den unterstützten Versionen und zu den bekannten Einschränkungen.

Verhalten

Spanner ist ein vollständig verwalteter, skalierbarer und hochverfügbarer Datenbankdienst, den Sie als Quelle mit Datastream verwenden können. Datastream verwendet einen Spanner-Änderungsstream, um Änderungen in Spanner-Datenbanken zu verfolgen. Die im Änderungsstream enthaltenen Änderungen werden dann auf das Ziel repliziert, um die Quellereignisse zu reproduzieren.

Datastream erstellt oder ändert keine Änderungsstreams. Daher können die Datenbankobjekte, die nicht vom bereitgestellten Spanner-Änderungsstream erfasst werden, nicht in Ihren Datastream-Stream aufgenommen werden.

Weitere Informationen zu Spanner finden Sie in der Spanner-Dokumentation.

Versionen

Datastream unterstützt alle verfügbaren Spanner-Versionen:

  • Standardversion
  • Enterprise-Version
  • Enterprise Plus-Version

Eine Übersicht über die einzelnen Versionen finden Sie unter Spanner-Versionen – Übersicht.

Kostenlose Stufe

Mit Datastream können Sie über die kostenlose Stufe von Spanner zu BigQuery streamen. Dabei werden jeden Monat bis zu 100 GiB an Change Data Capture-Daten kostenlos bereitgestellt. Weitere Informationen finden Sie unter Datastream-Preise.

Bekannte Einschränkungen

Bekannte Einschränkungen bei der Verwendung einer Spanner-Datenbank als Quelle:

  • Es werden nur Änderungsstreams mit den Werterfassungstypen NEW_ROW oder NEW_ROW_AND_OLD_VALUES unterstützt.
  • Datastream unterstützt die Datentypspalten PROTO und ENUM nicht.
  • Datastream unterstützt keine Arrays der Datentypen DATE oder TIMESTAMP.
  • Backfills für Datenbanken mit einer Größe von mehr als 3 Tebibyte (TiB) können mehr als 24 Stunden dauern.
  • Bei Backfills werden Snapshot-Epochen erstellt. Das ist eine Art von Sicherung, die für einen bestimmten Zeitstempel erstellt wird und die Datenversionen für diesen Zeitstempel beibehält. Snapshot-Epochen verzögern größere Kompaktierungen, bis der Backfill abgeschlossen ist. Weitere Informationen zu Komprimierungen finden Sie unter Spaltenbasierte Engine von Spanner – Übersicht.
  • Datastream kann möglicherweise nicht mit Spanner-Änderungsstreams mit mehr als 10.000 Partitionen Schritt halten. Das bedeutet, dass die Änderungsereignisse möglicherweise verzögert eintreffen oder der Stream schließlich fehlschlägt.
  • Datastream hat möglicherweise Probleme,mit Spanner-Änderungsstreams mit mehr als 60.000 Aktualisierungen pro Sekunde Schritt zu halten. Das bedeutet, dass die Änderungsereignisse möglicherweise verzögert eintreffen oder der Stream schließlich fehlschlägt.
  • Datastream hat möglicherweise Probleme, mit Spanner-Änderungsstreams mit einem Durchsatz von mehr als 60 Mebibyte (MiB) pro Sekunde Schritt zu halten. Das bedeutet, dass die Änderungsereignisse möglicherweise verzögert eintreffen oder der Stream schließlich fehlschlägt.
  • Das Replizieren von geopartitionierten Daten wird nicht unterstützt, da Spanner-Änderungsstreams keine partitionierten Daten unterstützen.

Nächste Schritte