使用自動化流程建立串流

本頁說明如何使用自動設定流程建立串流。

注意： 從 Google Cloud 代管 Cloud SQL 來源 (例如 PostgreSQL 適用的 Cloud SQL、MySQL 適用的 Cloud SQL 和 SQL Server 適用的 Cloud SQL) 複製到 BigQuery 時，系統會提供自動設定串流的流程。執行個體必須啟用私人服務存取權，並使用 Private Service Connect 介面連線類型。如要進一步瞭解來源規定，請參閱「事前準備」一文。

自動設定串流可減少您需要執行的步驟，簡化從Google Cloud 代管資料庫將資料移至 BigQuery 的程序。您可以在 Cloud SQL 執行個體的總覽頁面中，直接建立串流。Datastream 會自動保護串流與來源資料庫之間的虛擬私有雲連線，並建立資料庫設定和串流連線資源。

事前準備

1. 啟用 Datastream、Network Connectivity 和 Compute Engine API。
2. 確認您具備必要的 Identity and Access Management (IAM) 權限，可以建立及管理 Datastream 資源。詳情請參閱下文。
3. 建立並設定用於複製作業的來源 Cloud SQL 資料庫。詳情請參閱「設定來源」。
4. 請確認來源資料庫已設定為使用私人服務存取權。

5. PostgreSQL 適用的 Cloud SQL 執行個體：建議您先為執行個體啟用邏輯複寫，再建立串流。如果您未啟用邏輯複寫，Datastream 會為您啟用，並重新啟動來源執行個體。

   注意： 如要瞭解如何為 PostgreSQL 適用的 Cloud SQL 執行個體啟用邏輯複製功能，請參閱「為 CDC 設定 PostgreSQL 適用的 Cloud SQL 資料庫」一文。

6. MySQL 適用的 Cloud SQL 執行個體：為 MySQL 適用的 Cloud SQL 執行個體啟用時間點復原功能，並確認資料庫版本為 8.0.14 以上。使用自動串流設定時，Datastream 僅支援在「標準」備份層級啟用時間點復原功能。

   注意： 使用自動化串流設定流程時，Datastream 會採用以 GTID 為基礎的複製作業。

7. 如果是 SQL Server 適用的 Cloud SQL 執行個體：請確認 Datastream 支援執行個體使用的 SQL Server 版本。

所需權限

如要使用自動建立串流的流程，您必須具備下列 Identity and Access Management (IAM) 角色或權限：

• serviceusage.services.enable、compute.networkAdmin，以便啟用必要 API 並執行網路設定工作。
• cloudsql.admin 執行個體設定工作。
• datastream.admin，執行 Datastream 代表您執行的管理工作。

PostgreSQL 適用的 Cloud SQL 需要的額外權限

• 如果是 PostgreSQL 適用的 Cloud SQL 執行個體，資料庫管理員使用者也需要您要複製的結構定義的 GRANT 權限。連線至來源資料庫並執行下列指令：

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;

  注意： 您必須具備 cloudsqlsuperuser 角色，才能為資料庫執行個體中的所有資料表建立發布項目。

• 只有在自動流程中，由您提供帳戶詳細資料進行驗證的使用者建立資料表時，系統才會自動將未來的資料表新增至串流。如果日後由其他使用者建立資料表，該使用者必須明確授予 Datastream 讀取者資料表的 SELECT 權限。

建立並啟動串流

如要建立及啟動串流，請按照下列步驟操作：

控制台

開始使用

1. 前往來源 Cloud SQL 資料庫執行個體總覽頁面。

   前往 Cloud SQL 執行個體

2. 在「將資料串流至 BigQuery」部分，按一下「建立串流」。

3. 在「開始使用」頁面的「串流名稱」欄位中，輸入串流名稱。系統會自動填入專屬 ID。

4. 在「提供執行個體使用者帳戶詳細資料」部分，選取驗證方式：

   • IAM 資料庫驗證：如果使用者已獲派 Identity and Access Management (IAM) 主體身分，即可使用這個選項。詳情請參閱「IAM 主體」。如果選取這個選項，您必須手動授予使用者 cloudsqlsuperuser 角色和 CREATEROLE 權限：

     1. 前往 Google Cloud 控制台的「Cloud SQL Instances」(Cloud SQL 執行個體) 頁面。

     前往 Cloud SQL 執行個體

     1. 選取 Cloud SQL 執行個體。
     2. 按一下導覽選單中的「Cloud SQL Studio」並登入。
     3. 在「Explorer」窗格中，為使用者執行下列查詢：

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • 內建資料庫驗證：提供具有 cloudsqlsuperuser 角色的使用者名稱和密碼。如果選取這個選項，請確認使用者對要複製的資料表具有 GRANT 權限。

5. 查看其他串流詳細資料，例如區域、加密和標籤。 展開「其他串流詳細資料」部分，視需要套用變更。

6. 按一下「繼續」。

設定來源

1. 在「設定串流來源」頁面上，選取要複製資料的資料庫。
2. 「要納入的物件」清單預設會選取所有可用物件。 清單上的物件是您具備串流必要權限的物件。如要變更所選物件，請修改清單中的選取項目。
3. 查看進階串流設定，例如補充模式和補充作業並行連線數量上限。展開「進階串流設定」部分，視需要套用變更。
4. 按一下「繼續」。

設定目的地

1. 在「設定目的地」頁面中，視需要調整 BigQuery 目的地設定。詳情請參閱「設定串流目的地的相關資訊」。

建立並啟動串流

1. 按一下「稍後再建立並啟動」，即可建立串流並稍後在 Datastream 中啟動，或按一下「啟動」，即可立即建立並啟動串流。

   重要事項： 按一下「開始」會重新啟動 PostgreSQL 適用的 Cloud SQL 執行個體。如果您的執行個體未啟用邏輯解碼，Datastream 會為您啟用。

2. 系統會通知你自動執行的工作：

   • Datastream 會建立必要的虛擬私有雲資源，例如內部 IP 位址範圍、子網路和網路連結。
   • Datastream 會設定資料表以進行 CDC、設定複製作業運算單元、為資料庫中的所有資料表設定發布項目，以及建立專屬的 Datastream 使用者。
   • Datastream 會建立私人連線設定，以及來源和目的地連線設定檔。

3. 確認要建立串流，或建立並啟動串流。

監控串流

您可以在 Google Cloud 控制台的來源執行個體總覽頁面中，監控基本串流詳細資料。這個頁面會顯示串流狀態、串流名稱、目的地 BigQuery 資料集和目的地專案 ID 等資訊。

您也可以在總覽頁面執行開始、停止或暫停串流等動作。如要查看更精細的監控資訊，請按一下資料串流名稱，前往 Datastream。

刪除串流

刪除透過自動化流程建立的串流時，系統會自動刪除部分資源，例如 PostgreSQL 複製時段。不過，您必須手動刪除下列資源：

• 出版品。發布內容是使用資料庫管理員使用者建立，且只能由擁有者 (也就是預設的建立者) 刪除。
• Datastream 讀取者。
• Datastream 來源和目的地連線設定檔
• 私人連線資源。
• 自動流程期間建立的所有網路資源，例如子網路和網路連結。

後續步驟

• 瞭解如何手動建立串流。
• 進一步瞭解如何監控串流。