使用自動化流程建立 Spanner 串流

本頁說明如何使用自動設定流程建立 Spanner 資料流。

自動化串流設定可減少您需要執行的步驟，簡化將資料從 Spanner 資料庫移至 BigQuery 等目的地的程序。這個流程可讓您直接從 Spanner 執行個體或資料庫的總覽頁面建立串流。Datastream 會自動保護串流與來源資料庫之間的連線安全，並建立資料庫設定和串流連線資源。

免費方案

Datastream 可讓您使用免費方案，將資料從 Spanner 串流至 BigQuery，每個月最多可免費擷取 100 GiB 的變更資料擷取資料。詳情請參閱「Datastream 定價」。

事前準備

為 Spanner 設定 Datastream 串流前，請確認您的環境符合下列必要條件：

  1. 在 Google Cloud 專案中啟用必要的 API：
    • Datastream API (datastream.googleapis.com)
    • Cloud Spanner API (spanner.googleapis.com)
    • BigQuery API (bigquery.googleapis.com)。
  2. 確認您具備必要的 Identity and Access Management (IAM) 權限，可以建立及管理 Datastream 資源。詳情請參閱「必要權限」。

  3. 查看 Spanner 來源限制：

    • 系統不支援 PROTO 和 ENUM 資料類型資料欄。
    • 不支援 DATE 或 TIMESTAMP 資料類型的陣列。
    • 請確認變更串流保留期限設定正確無誤。如果 Datastream 延遲時間超過保留期限，您可能會遺失資料，且串流可能會失敗。

所需權限

如要使用自動建立串流的流程，請確認設定串流的使用者或服務帳戶具備下列 IAM 角色或權限：

  • Datastream 管理員 (roles/datastream.admin) 或 Datastream 編輯者 (roles/datastream.editor) 角色，才能建立及管理串流和連線設定檔。
  • 來源資料庫的「Spanner 資料庫讀取者」 (roles/spanner.databaseReader) 或「Spanner 管理員」 (roles/spanner.admin) 角色，可存取資料並追蹤變更。
  • 目的地資料集的「BigQuery 資料編輯者」。

建立並啟動串流

如要透過自動化流程建立及啟動串流，請按照下列步驟操作：

控制台

  1. 前往 Google Cloud 控制台的「Spanner Instances」(Spanner 執行個體) 頁面。

前往 Spanner 執行個體

  1. 選取要從中串流資料的 Spanner 執行個體和資料庫。

  2. 透過下列任一方式，自動建立並啟動串流：

    • 在執行個體總覽頁面中，按一下「Data replication to BigQuery」(將資料複製到 BigQuery) 下方的「Start stream」(啟動串流)。
    • 在資料庫總覽頁面的「整合」分頁中，按一下「將資料複製到 BigQuery」下方的「建立串流」。

  3. 「啟動串流來複製資料」窗格隨即開啟。

  4. 在「串流設定」下方，查看所建立串流的預設設定。

  5. 如果從執行個體總覽頁面建立串流，可以展開對應的下拉式選單並選取其他值，藉此變更來源資料庫。

  6. 如要變更資料串流，請展開「變更資料串流」下拉式選單，然後選取其他值。

  7. 準備好建立及開始直播時，請按一下「開始直播」。

監控串流

如要透過 Google Cloud 控制台的來源 Spanner 資料庫總覽頁面監控基本串流詳細資料，請按一下「變更串流」分頁，然後點選要查看的串流。

刪除串流

刪除透過自動化流程建立的串流時，Datastream 會刪除串流物件，以及為該串流建立的相關聯連線設定檔。

不過，如果不再需要獨立建立的 Spanner 變更串流或目的地資源，您必須手動刪除。

後續步驟