将 Spanner 作为来源

本页面包含以下方面的信息:

  • Datastream 如何处理从来源 Spanner 数据库中拉取的数据的行为。
  • Datastream 支持的 Spanner 数据库版本。
  • 将 Spanner 数据库用作来源的已知限制。

行为

Spanner 是一项全代管式、可伸缩且高度可用的数据库服务,您可以将其用作 Datastream 的来源。 Datastream 使用 Spanner 变更数据流来跟踪 Spanner 数据库中所做的更改。然后,将更改流中包含的更改复制到目标,以重现源事件。

Datastream 不会创建或修改变更数据流,因此所提供的 Spanner 变更数据流未跟踪的数据库对象无法包含在 Datastream 数据流中。

如需详细了解 Spanner,请参阅 Spanner 文档

版本

Datastream 支持所有可用的 Spanner 版本:

  • 标准版
  • 企业版
  • 企业 Plus 版

如需大致了解每个版本,请参阅 Spanner 版本概览

已知限制

将 Spanner 数据库用作来源的已知限制包括:

  • 仅支持使用 NEW_ROW 值捕获类型的变更数据流。
  • Datastream 不支持 PROTOENUM 数据类型的列。
  • Datastream 不支持 DATETIMESTAMP 数据类型的数组。
  • 对于大小超过 3 tebibyte (TiB) 的数据库,回填可能需要 24 小时以上才能完成。
  • 回填会创建快照周期,这是一种为特定时间戳创建的备份,用于保留该时间戳的数据版本。快照周期会延迟主要压缩,直到回填完成。如需详细了解压缩,请参阅 Spanner 列式引擎概览
  • Datastream 可能无法及时处理分区数超过 10,000 的 Spanner 变更数据流。这意味着,更改事件可能会延迟到达,或者数据流最终可能会失败。
  • 如果 Spanner 变更数据流的更新速度超过每秒 60,000 次,Datastream 可能无法及时跟上。这意味着更改事件可能会延迟到达,或者数据流最终可能会失败。
  • 如果 Spanner 变更数据流的吞吐量超过每秒 60 mebibytes (MiB),Datastream 可能无法及时处理。这意味着更改事件可能会延迟到达,或者数据流最终可能会失败。
  • 不支持复制地理分区数据,因为 Spanner 变更数据流不支持分区数据。

后续步骤