使用自動化流程建立 AlloyDB 串流

本頁面說明如何使用自動設定流程，建立 AlloyDB for PostgreSQL 串流。

注意： 如要從 AlloyDB for PostgreSQL 叢集複製資料時使用自動串流設定流程，主要執行個體必須啟用私人服務連線，且必須使用Private Service Connect 介面連線類型。

自動設定串流可減少您需要執行的步驟，簡化將資料從 AlloyDB for PostgreSQL 叢集移至 BigQuery 的程序。您可以在 AlloyDB for PostgreSQL 叢集的總覽頁面，直接建立串流。

PostgreSQL 適用的 AlloyDB 部署作業包含主要叢集，其中含有主要執行個體。也可以包含次要叢集和次要執行個體。Datastream 一律會從主要叢集中的主要執行個體建立串流。

Datastream 會自動保護串流和來源叢集之間的虛擬私有雲連線，並建立資料庫設定和串流連線資源。

事前準備

1. 啟用 Datastream、Network Connectivity 和 Compute Engine API。
2. 確認您具備必要的 Identity and Access Management (IAM) 權限，可以建立及管理 Datastream 資源。詳情請參閱下文。
3. 建立並設定來源 AlloyDB for PostgreSQL 叢集，以進行複寫。詳情請參閱「設定 AlloyDB for PostgreSQL 資料庫以進行 CDC」。

4. 建議您先為叢集啟用邏輯複製功能，再建立串流。如果您未啟用邏輯複製功能，Datastream 會為您啟用，並重新啟動來源執行個體。

   如要瞭解如何為 AlloyDB for PostgreSQL 叢集啟用邏輯複寫，請參閱「設定 AlloyDB for PostgreSQL 資料庫以進行 CDC」。

5. 確認來源叢集已設定為使用私人服務連線。

所需權限

如要使用自動建立串流的流程，您必須具備下列 Identity and Access Management (IAM) 角色或權限：

• serviceusage.services.enable、compute.networkAdmin，以便啟用必要 API 及執行網路設定工作。
• alloydb.admin，執行叢集和執行個體設定工作。
• datastream.admin，執行 Datastream 代表您執行的管理工作。

如果您選擇自訂串流設定，資料庫管理員使用者也需要您要複製的結構定義的 GRANT 權限，以及來源資料庫中管理和結構作業的一些額外權限。連線至來源資料庫並執行下列指令：

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

注意： Datastream 必須具備 alloydbsuperuser 角色，才能為資料庫執行個體中的所有資料表建立發布作業。

未來的資料表

只有在自動流程中，由您提供帳戶詳細資料進行驗證的使用者建立資料表時，系統才會自動將未來的資料表新增至串流。如果日後由其他使用者建立資料表，該使用者必須明確授予 Datastream 讀取者資料表的 SELECT 權限。

建立並啟動串流

如要建立及啟動串流，請按照下列步驟操作：

控制台

1. 前往來源 AlloyDB for PostgreSQL 叢集總覽頁面。

   前往 AlloyDB for PostgreSQL

2. 按一下要串流資料的主要叢集。

3. 透過下列其中一種方式，自動建立並啟動串流：

   1. 在「叢集詳細資料」頁面中，按一下「資料複製」下方的「開始串流」。
   2. 在「整合」部分，按一下「將資料複製到 BigQuery」下方的「開始串流」。
   3. 在「啟動台」分頁的「與其他產品完美整合」Google Cloud 下方，按一下「將資料複製到 BigQuery」。

4. 「啟動串流來複製資料」窗格隨即開啟。

5. 在「串流設定」下方，查看所建立串流的預設設定。

   注意： 如果未啟用 alloydb.logical_decoding 旗標，窗格頂端會顯示相應的通知。

6. 如要變更來源資料庫，請展開對應的下拉式選單，然後選取其他值。

7. 準備好建立及開始直播時，請按一下「開始直播」。

   注意： 如不需自訂設定，Datastream 會將登入使用者的憑證用於所有資料庫設定。您不必提供任何其他 IAM 或內建資料庫驗證詳細資料。使用這個流程時，Datastream 會建立具有 alloydbsuperuser 和 postgres 角色的資料庫使用者。

如要變更串流設定，請按一下「自訂」。

自訂串流設定

按一下「自訂」後，系統會顯示「自訂串流設定」頁面。請確認您具備必要權限，可自訂串流設定。

開始使用

1. 在「開始使用」頁面的「串流名稱」欄位中，提供串流名稱。「串流 ID」欄位會自動填入資料。

2. 在「提供執行個體使用者帳戶詳細資料」部分，選取驗證方式：

   • IAM 資料庫驗證：如果使用者已獲派 Identity and Access Management (IAM) 主體身分，即可使用這個選項。詳情請參閱「IAM 主體」。如果選取這個選項，您必須手動授予使用者 alloydbsuperuser 角色和 CREATEROLE 權限：

     1. 前往 Google Cloud 控制台的「AlloyDB for PostgreSQL Clusters」(AlloyDB for PostgreSQL 叢集) 頁面。

     前往 AlloyDB for PostgreSQL

     1. 選取 AlloyDB for PostgreSQL 叢集。
     2. 在導覽選單中，按一下「AlloyDB for PostgreSQL Studio」並登入。
     3. 在「Explorer」窗格中，為使用者執行下列查詢：

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • 內建資料庫驗證：提供具有 alloydbsuperuser 角色的使用者名稱和密碼。如果使用者沒有 alloydbsuperuser 角色，請按照 IAM 資料庫驗證一節所述步驟，手動授予該角色。如果選取內建資料庫驗證，請一併確認使用者對要複製的資料表具有 GRANT 權限。

3. 查看其他串流詳細資料，例如區域、加密和標籤。 展開「其他串流詳細資料」部分，視需要套用變更。

4. 按一下「繼續」。

設定來源

1. 在「設定來源」頁面上，選取要複製資料的資料庫。

   注意： Datastream 只會顯示使用者具備必要權限的資料庫。如果找不到想使用的資料庫，可能是因為使用者缺少權限。此外，Datastream 不會顯示系統資料表，因為系統資料表不支援複製。

2. 「選取的物件」清單預設會選取所有可用物件。清單上的物件是您具備串流必要權限的物件。如要變更所選物件，請修改清單中的選取項目。

3. 查看進階串流設定，例如補充模式和補充作業並行連線數量上限。展開「進階串流設定」部分，視需要套用變更。

4. 按一下「繼續」。

設定目的地

1. 在「設定目的地」頁面中，視需要調整 BigQuery 目的地設定。詳情請參閱「設定串流目的地的相關資訊」。

建立並啟動串流

1. 按一下「建立並啟動」即可建立並啟動串流，或按一下「建立但不啟動」即可建立串流，並在資料串流中稍後啟動。

   重要事項： 按一下「建立並啟動」會重新啟動 AlloyDB for PostgreSQL 執行個體。如果執行個體未啟用邏輯解碼，Datastream 會為您啟用。

2. 系統會通知你自動執行的工作：

   • Datastream 會建立必要的虛擬私有雲資源，例如內部 IP 位址範圍、子網路和網路連結。
   • Datastream 會設定資料表以進行 CDC、設定複製作業運算單元、為資料庫中的所有資料表設定發布項目，以及建立專屬的 Datastream 使用者。
   • Datastream 會建立私人連線設定，以及來源和目的地連線設定檔。

3. 確認要建立並啟動串流。

監控串流

您可以在 Google Cloud 控制台的來源執行個體總覽頁面中，監控基本串流詳細資料。這個頁面會顯示串流狀態、串流名稱、目的地 BigQuery 資料集和目的地專案 ID 等資訊。

您也可以在總覽頁面執行啟動或暫停串流等動作。如要查看更精細的監控資訊，請按一下資料串流名稱，前往 Datastream。

刪除串流

刪除透過自動化流程建立的串流時，系統會自動刪除部分資源，例如 PostgreSQL 複製時段。不過，您必須手動刪除下列資源：

• 出版品。發布內容是使用資料庫管理員使用者建立，且只能由擁有者 (也就是預設的建立者) 刪除。
• Datastream 讀取者。
• Datastream 來源和目的地連線設定檔
• 私人連線資源。
• 自動流程期間建立的所有網路資源，例如子網路和網路連結。

後續步驟

• 瞭解如何手動建立串流。
• 瞭解如何設定 AlloyDB for PostgreSQL 來源。
• 進一步瞭解如何監控串流。