使用自動化流程建立串流

本頁說明如何使用自動設定流程建立串流。

自動設定串流可減少您需要執行的步驟，簡化從 PostgreSQL 適用的 Cloud SQL 代管資料庫遷移資料至 BigQuery 的程序。您可以在 PostgreSQL 適用的 Cloud SQL 執行個體總覽頁面，直接建立串流。Datastream 會自動保護串流與來源資料庫之間的虛擬私有雲連線，並建立資料庫設定和串流連線資源。

事前準備

  1. 啟用 Datastream、Network Connectivity 和 Compute Engine API。
  2. 確認您具備必要的 Identity and Access Management (IAM) 權限，可以建立及管理 Datastream 資源。詳情請參閱下文。
  3. 建立及設定用於複寫的來源 PostgreSQL 適用的 Cloud SQL 資料庫。詳情請參閱「為 CDC 設定 PostgreSQL 適用的 Cloud SQL 資料庫」。

  4. 建議您先為執行個體啟用邏輯複製功能，再建立串流。如果您未啟用邏輯複製功能，Datastream 會為您啟用，並重新啟動來源執行個體。

    如要瞭解如何為 PostgreSQL 適用的 Cloud SQL 執行個體啟用邏輯複製功能，請參閱「設定 PostgreSQL 適用的 Cloud SQL 資料庫以進行 CDC」。

  5. 請確認來源資料庫已設定為使用私人服務存取權。

所需權限

如要使用自動建立串流的流程，您必須具備下列 Identity and Access Management (IAM) 角色或權限：

  • serviceusage.services.enable、compute.networkAdmin，以啟用必要 API 並執行網路設定工作。
  • cloudsql.admin 執行個體設定工作。
  • datastream.admin，以執行 Datastream 代表您執行的管理工作。

資料庫管理員使用者也需要您要複製的結構定義 GRANT 權限。連線至來源資料庫並執行下列指令：

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;

建立並啟動串流

如要建立及啟動串流，請按照下列步驟操作：

控制台

開始使用

  1. 前往來源 PostgreSQL 適用的 Cloud SQL 資料庫執行個體總覽頁面。

    前往 Cloud SQL 執行個體

  2. 在「將資料串流至 BigQuery」部分，按一下「建立串流」。

  3. 在「開始使用」頁面的「串流名稱」欄位中，輸入串流名稱。系統會自動填入專屬 ID。

  4. 在「提供執行個體使用者帳戶詳細資料」部分，選取驗證方法：

    • IAM 資料庫驗證：如果使用者已獲派 Identity and Access Management (IAM) 主體身分，即可使用這個選項。詳情請參閱「IAM 主體」。如果選取這個選項，您必須手動授予使用者 cloudsqlsuperuser 角色和 CREATEROLE 權限：

      1. 前往 Google Cloud 控制台的「Cloud SQL Instances」頁面。

      前往 Cloud SQL 執行個體

      1. 選取 Cloud SQL 執行個體。
      2. 按一下導覽選單中的「Cloud SQL Studio」並登入。
      3. 在「Explorer」窗格中，為使用者執行下列查詢：
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • 內建資料庫驗證：提供具有 cloudsqlsuperuser 角色的使用者名稱和密碼。如果選取這個選項，請確認使用者對要複製的資料表具有 GRANT 權限。

  5. 查看其他串流詳細資料，例如區域、加密和標籤。 展開「其他串流詳細資料」部分，視需要套用變更。

  6. 按一下「繼續」。

設定來源

  1. 在「設定串流來源」頁面上，選取要複製資料的資料庫。
  2. 「要納入的物件」清單預設會選取所有可用物件。 清單上的物件是您具備串流必要權限的物件。如要變更所選物件，請修改清單中的選取項目。
  3. 查看進階串流設定，例如補充模式和補充作業並行連線數量上限。展開「進階串流設定」部分，視需要套用變更。
  4. 按一下「繼續」。

設定目的地

  1. 在「設定目的地」頁面中，視需要調整 BigQuery 目的地設定。詳情請參閱「設定串流目的地的相關資訊」。

建立並啟動串流

  1. 按一下「之後再建立及啟動」，即可建立串流並在 Datastream 中稍後啟動，或按一下「啟動」，即可立即建立及啟動串流。

  2. 系統會通知你自動執行的工作：

    • Datastream 會建立必要的虛擬私有雲資源，例如內部 IP 位址範圍、子網路和網路連結。
    • Datastream 會設定資料表以進行 CDC、設定複製作業運算單元、為資料庫中的所有資料表設定發布項目，以及建立專屬的 Datastream 使用者。
    • Datastream 會建立私人連線設定，以及來源和目的地連線設定檔。

  3. 確認要建立串流，或建立並啟動串流。

監控串流

您可以在 Google Cloud 控制台的來源執行個體總覽頁面中，監控基本串流詳細資料。這個頁面會顯示串流狀態、串流名稱、目的地 BigQuery 資料集和目的地專案 ID 等資訊。

你也可以在總覽頁面執行開始、停止或暫停串流等動作。如要查看更精細的監控資訊，請按一下資料串流名稱，前往 Datastream。

刪除串流

刪除透過自動化流程建立的串流時，系統會自動刪除部分資源，例如 PostgreSQL 複製時段。不過，您必須手動刪除下列資源：

  • 出版品。發布內容是使用資料庫管理員使用者建立，且只能由擁有者 (也就是預設的建立者) 刪除。
  • Datastream 讀取者。
  • Datastream 來源和目的地連線設定檔
  • 私人連線資源。
  • 在自動化流程中建立的所有網路資源，例如子網路和網路附件。

後續步驟