BigQuery 目的地

本頁面提供 BigQuery 目的地總覽。本文說明將資料複製到 BigQuery 時，Datastream 的寫入行為和已知限制。

寫入行為

  • 將資料串流至 BigQuery 時，事件大小上限為 20 MB。

  • 設定串流時，您可以選取 Datastream 將變更資料寫入 BigQuery 的方式。詳情請參閱「設定寫入模式」。

資料表中繼資料

Datastream 會在寫入 BigQuery 目的地的每個資料表中，附加名為 datastream_metadata 的 STRUCT 資料欄。

合併寫入模式

如果資料表在來源端有主鍵，則該資料欄會包含下列欄位：

  • UUID：這個欄位的資料類型為 STRING。
  • SOURCE_TIMESTAMP：這個欄位的資料類型為 INTEGER。

如果資料表沒有主鍵，則該資料欄會包含額外欄位：IS_DELETED。這個欄位的資料類型為 BOOLEAN，可指出 Datastream 串流至目的地的資料是否與來源的 DELETE 作業相關聯。沒有主鍵的資料表只能附加資料。

僅附加寫入模式

datastream_metadata 欄包含的欄位相同，無論資料表是否含有主鍵：

  • UUID：這個欄位的資料類型為 STRING。
  • SOURCE_TIMESTAMP：這個欄位的資料類型為 INTEGER。
  • CHANGE_SEQUENCE_NUMBER：這個欄位的資料類型為 STRING。這是 Datastream 用於每個變更事件的內部序號。
  • CHANGE_TYPE：這個欄位的資料類型為 STRING。表示變更事件的類型：INSERT、UPDATE-INSERT、UPDATE-DELETE 或 DELETE。
  • SORT_KEYS：這個欄位包含 STRING 值的陣列。您可以使用這些值來排序變更事件。

控管 BigQuery 費用

BigQuery 費用與 Datastream 費用分開計費。如要瞭解如何控管 BigQuery 費用，請參閱 BigQuery CDC 定價。

成本管理最佳做法

使用 Datastream 時，如果 BigQuery 是目的地，請考慮下列成本管理最佳做法：

  • 瞭解 BigQuery CDC 費用：使用 Datastream 時，如果目的地是 BigQuery，變更資料擷取 (CDC) 會涉及背景合併作業，這些作業會以分析 SKU 使用量計費。
  • 使用 BigQuery 預留項目：為管理及限制與 CDC 合併工作相關的費用，建議您購買 BigQuery 運算單元預留項目。這項服務會以固定價格提供固定容量，方便您預測成本。
  • 調整 max_staleness：BigQuery 中的 max_staleness 參數會直接影響資料更新間隔和成本。值越低代表合併作業越頻繁，成本也越高，但資料會越新。請將這個參數調整至符合業務資料即時性需求，且不會超出預算的層級。詳情請參閱管理資料表過時狀態。

已知限制

使用 BigQuery 做為目的地時，已知限制包括：

  • 根據預設，Datastream 不支援對已複製到 BigQuery 的資料表新增主鍵 (如果該資料表沒有主鍵)，也不支援從已複製到 BigQuery 的資料表移除主鍵。如需進行這類變更，請與 Google 支援團隊聯絡。如要瞭解如何變更已設有主鍵的來源資料表主鍵定義，請參閱「診斷問題」。

  • BigQuery 中的主鍵必須屬於下列資料類型：

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    如果資料表的主鍵含有不支援的資料類型，Datastream 就不會複製這類資料表。

  • BigQuery 不支援含有 .、$、/、@ 或 + 字元的資料表名稱。建立目的地資料表時，Datastream 會以底線取代這類字元。

    舉例來說，來源資料庫中的 table.name 會變成 BigQuery 中的 table_name。

    如要進一步瞭解 BigQuery 中的資料表名稱，請參閱資料表命名。

  • BigQuery 最多支援四個叢集資料欄。複製主鍵欄超過四個的資料表時，Datastream 會使用四個主鍵欄做為叢集欄。

  • Datastream 會將超出範圍的日期和時間常值 (例如 PostgreSQL 無限日期類型) 對應至下列值：

    • 正 DATE 到 9999-12-31 的值
    • 將 DATE 設為 0001-01-01 的負值
    • 正 TIMESTAMP 到 9999-12-31 23:59:59.999000 UTC 的值
    • 將 TIMESTAMP 設為 0001-01-01 00:00:00 UTC 的負值

  • BigQuery 不支援主鍵為 FLOAT 或 REAL 資料類型的串流資料表。這類資料表不會複製。 如要進一步瞭解 BigQuery 日期類型和範圍，請參閱「資料類型」。

  • 如果來源是 Salesforce，系統不支援「針對每個結構定義建立資料集」設定選項。

後續步驟