從 Spanner 來源串流資料

在 Datastream 中使用 Spanner 資料庫做為來源,即可將歷來資料和變更串流事件複製到目的地,進行即時分析。

如要在 Datastream 中準備 Spanner 來源,請查看複製行為、支援的版本和已知限制。

行為

Spanner 是全代管、可擴充且高可用性的資料庫服務,可做為 Datastream 的來源。Datastream 會使用 Spanner 變更串流,追蹤 Spanner 資料庫中的變更。接著,變更串流中的變更會複製到目的地,重現來源事件。

Datastream 不會建立或修改變更串流,因此 Datastream 串流無法納入未由指定 Spanner 變更串流追蹤的資料庫物件。

如要進一步瞭解 Spanner,請參閱 Spanner 說明文件。

版本

Datastream 支援所有可用的 Spanner 版本:

  • Standard 版
  • Enterprise 版
  • Enterprise Plus 版

如要瞭解各版本的總覽,請參閱「Spanner 版本總覽」。

免費方案

Datastream 可讓您使用免費方案,將資料從 Spanner 串流至 BigQuery,每月最多可免費提供 100 GiB 的變更資料擷取資料。詳情請參閱 Datastream 定價。

已知限制

使用 Spanner 資料庫做為來源時,須遵守下列已知限制:

  • 僅支援使用 NEW_ROW 或 NEW_ROW_AND_OLD_VALUES 值擷取類型的變更串流。
  • Datastream 不支援 PROTO 或 ENUM 資料類型欄。
  • Datastream 不支援 DATE 或 TIMESTAMP 資料類型的陣列。
  • 如果資料庫大小超過 3 tebibyte (TiB),補充作業可能需要超過 24 小時才能完成。
  • 補充作業會建立快照 epoch,這是一種針對特定時間戳記建立的備份,可保留該時間戳記的資料版本。快照週期會延遲主要壓縮作業,直到補充作業完成。如要進一步瞭解壓縮,請參閱「Spanner 資料欄引擎總覽」。
  • 如果 Spanner 變更串流的分區超過 10,000 個,Datastream 可能無法跟上。這表示變更事件可能會延遲送達,或串流最終可能會失敗。
  • 如果 Spanner 變更串流每秒更新超過 60,000 次,Datastream 可能無法及時處理。這表示變更事件可能會延遲送達,或串流最終可能會失敗。
  • 如果 Spanner 變更串流的處理量超過每秒 60 MiB,Datastream 可能無法跟上。這表示變更事件可能會延遲送達,或串流最終可能會失敗。
  • Spanner 變更串流不支援分區資料,因此無法複製地理區域分區資料。

後續步驟