建立串流

Datastream 中的串流可讓您將資料和結構定義變更，從資料來源複製到 BigQuery、Apache Iceberg 資料表或 Cloud Storage bucket。在 Google Cloud 控制台精靈中，選取連線設定檔，以及要複製的結構定義、資料表或物件。您也可以設定歷來資料補充和持續複製作業。

開始複製前，您可以驗證串流，確認來源設定、目的地網路連線和端對端設定。

事前準備

• 請確認您已設定來源資料庫，以便進行複製作業。如要瞭解各支援來源類型的必要步驟，請參閱「設定來源」。
• 瞭解設定所選目的地可能需要採取的步驟。 詳情請參閱「設定目的地」。

定義串流的設定

1. 前往 Google Cloud 控制台的「Streams」(串流) 頁面。

   前往「Streams」(串流) 頁面

2. 點選「建立串流」。

3. 請根據下表，填寫「建立串流」頁面中「定義串流詳細資料」部分的欄位：

   欄位	說明
   串流名稱	輸入串流的顯示名稱。
   串流 ID	Datastream 會根據您輸入的串流名稱自動填入這個欄位。您可以保留自動產生的 ID，也可以變更。
   區域	選取串流的儲存區域。與所有資源一樣，串流會儲存在區域中。所選區域不會影響串流能否連線至來源資料庫或目的地，但如果該區域發生停機，可用性可能會受到影響。建議您將串流的所有資源，存放在來源資料所在的區域，以獲得最佳成本效益和效能。
   來源類型	選取您為來源建立連線設定檔時指定的設定檔類型。如果尚未為來源資料庫建立連線設定檔，可以立即建立。
   目的地類型	選取您為 BigQuery 或 Cloud Storage 目的地建立連線設定檔時指定的設定檔類型。如果尚未建立目的地的連線設定檔，可以立即建立。
   加密	根據預設，您的資料會以 Google Cloud代管的金鑰加密。如要自行管理加密作業，可以使用客戶自行管理的加密金鑰 (CMEK)： 勾選「Cloud KMS key」(Cloud KMS 金鑰) 核取方塊。 從「Key type」(金鑰類型) 下拉式選單中，選取「Cloud KMS」，然後選取 CMEK。 如果找不到金鑰，請按一下「輸入金鑰資源名稱」，提供要使用的金鑰資源名稱。舉例來說，您可以在「Key resource name」(金鑰資源名稱) 欄位中輸入 projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key，然後按一下「SAVE」(儲存)。 建立串流時，Datastream 會驗證 CMEK 是否存在，以及 Datastream 是否有權使用金鑰。如要進一步瞭解如何建立 CMEK 或授予 Datastream 金鑰權限，請參閱「使用客戶自行管理的加密金鑰 (CMEK)」。

4. 您可以視需要使用標籤整理 Datastream 資源。

   1. 如要建立標籤，請按一下「新增標籤」，然後輸入標籤的鍵/值組合。
   2. 如要移除標籤，請按一下標籤所在資料列右側的垃圾桶圖示。
   注意： 如果來源是 SQL Server，您可以新增 enable_ddl_support_for_ct 標籤，設定串流複製在串流建立後新增至來源結構定義的資料欄。詳情請參閱「Datastream 如何處理來源結構定義的 DDL 變更」。

5. 您可以視需要為串流新增警告政策。警告政策會定義何時及如何通知您串流失敗。

   1. 如要建立警告政策，請按一下「Add alerting policy」(新增警告政策)。
   2. Cloud Monitoring 的「Create alerting policy」(建立警告政策) 頁面隨即顯示。在這個頁面中，您將定義串流失敗時的警告政策。

   如要進一步瞭解警告政策，請參閱「管理以指標為基礎的警告政策」。

6. 查看自動產生的必要條件，瞭解如何為串流準備環境。包括如何設定來源資料庫，以及如何將其連結至目的地。建議您在這個步驟完成這些必要條件，但您也可以在測試或啟動串流前的任何時間完成。如要進一步瞭解這些必要條件，請參閱「來源」。

7. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示來源資料庫類型。

   注意： 如果來源資料庫類型是 Oracle，面板名稱會是「定義 Oracle 連線設定檔」。如果選取其他來源資料庫，面板名稱就會顯示該資料庫的名稱。

指定來源連線設定檔的相關資訊

1. 如果您已建立來源連線設定檔，請從連線設定檔清單中選取。

   如果尚未建立來源連線設定檔，請按一下下拉式選單底部的「建立連線設定檔」，然後按照「建立連線設定檔」中的步驟操作。

2. 點選「執行測試」，確認來源資料庫和 Datastream 可以相互通訊。

   如果測試失敗，系統會顯示與連線設定檔相關聯的問題。如需疑難排解步驟，請參閱「診斷問題」頁面。進行必要變更來修正問題，然後重新測試。

3. 點選「繼續」。「Create stream」(建立串流) 頁面的「Configure stream source」(設定串流來源) 面板隨即顯示。

設定串流的來源資料庫相關資訊

設定 PostgreSQL 來源資料庫

1. 定義 PostgreSQL 來源資料庫的複製屬性。在「複製屬性」部分，指定下列屬性：
1. 在「Replication slot name」(複製運算單元名稱) 欄位中，輸入專為這個串流建立的運算單元名稱。資料庫伺服器會使用這個運算單元將事件傳送至 Datastream。
2. 在「Publication name」(發布作業名稱) 欄位中，輸入您在資料庫中建立的發布作業名稱。發布作業是一組資料表，包含您要使用這個串流複製變更的所有資料表。
2. 在「Select objects to include」(選取要納入的物件) 部分，使用「Objects to include」(要納入的物件) 下拉式選單，指定 Datastream 可轉移至目的地的來源資料庫資料表和結構定義。
如果資料庫中的物件超過 5,000 個，選單就無法載入資料表和結構定義清單。
• 如要讓 Datastream 移轉所有資料表和結構定義，請選取「All tables from all schemas」(採用任何結構定義的所有資料表)。
• 如要 Datastream 只移轉特定資料表和結構定義，請選取「特定結構定義和資料表」，然後勾選要 Datastream 提取的結構定義和資料表。

每個選取的結構定義都有「未來的資料表」核取方塊。

• 如果勾選這個核取方塊，則在建立串流後，您新增至來源的結構定義資料表都會自動移轉至目的地。
• 如未勾選這個核取方塊，則在建立串流後，Datastream 不會將來源中結構定義的新資料表轉移至目的地。

根據預設，系統會為每個結構定義勾選「Future tables」(未來資料表) 核取方塊。

每個所選結構定義資料表都有「選取資料欄」按鈕。按一下這個按鈕，即可篩選要從來源串流至目的地時排除的資料表資料欄。清除的資料欄都會從串流中排除。

根據預設，系統會勾選表格中所有資料欄的核取方塊。

• 如要提供 Datastream 應移轉的資料表和結構定義文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入 Datastream 應提取的結構定義和資料表。如果資料庫有大量資料表和結構定義，建議使用「Custom」(自訂) 選項，因為部分資料表和結構定義可能不會列入要提取的物件清單。

  請以逗號分隔清單的形式輸入結構定義和資料表，並使用 [schema].[table] 格式，其中結構定義和資料表都可以是萬用字元 (星號)。您無法使用部分萬用字元。

3. 如果目的地是 BigQuery，您可以為資料表設定分區和分群：
   1. 針對要設定分區或叢集的每個資料表，按一下「Select columns」(選取資料欄)。
   2. 如要設定分區，請在「Partitioning」(分區) 區段中選取下列其中一個選項：
      • 不分區：選取這個選項後，系統不會對資料表套用任何分區。
      • 依擷取時間分區：選取這個選項後，資料會歸入以時間為基礎的分區。從「Partitioning type」(分區類型) 清單中選取值，設定分區精細程度，可用選項包括每小時、每日、每月或每年。預設精細程度為每日。
      • 依欄位分區：選取這個選項時，您必須選取要用來分區資料表的來源資料欄，以及分區類型。只能選取資料類型受支援的來源資料欄。 如要瞭解支援的來源資料類型和可用的分區類型，請參閱「設定 BigQuery 目的地的分區和叢集」。

      (選用) 選取「Partitioning filter」(分區篩選器) 選項。如果選取這個選項，這份資料表的所有查詢都必須使用分區篩選器。分區篩選器可以降低費用及提高成效。詳情請參閱「設定分區篩選器規定」。

      分區篩選器只能在僅限附加寫入模式中使用。
   3. 如要設定分群，請在「Clustering」(分群) 區段中，選取要用來分群資料表的欄位。最多可以選取四個欄位。新增分群欄位的順序會決定資料的排列順序。如未指定資料表的叢集設定，Datastream 預設會使用來源資料表中最多四個主鍵，做為 BigQuery 的叢集鍵。
   分區和分群設定只能套用至 BigQuery 中的新資料表。如要設定或修改現有資料表的分區和分群設定，請先從 BigQuery 刪除資料表，然後在 Datastream 設定或修改設定。
   4. 按一下 [Save] (儲存) 來儲存設定。

   如要進一步瞭解分區和分群，請參閱「設定分區和分群」。

4. (選用) 展開「Select objects to exclude」(選取要排除的物件) 節點。在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 從來源資料庫提取的資料表和結構定義。「要排除的物件」清單優先順序高於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些結構定義和資料表時，請使用與指定 Datastream 提取的結構定義和資料表時相同的邏輯，以半形逗號分隔。
5. (選用) 展開「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 節點，然後選取下列其中一個選項：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「從自動補充作業中排除的物件」欄位，輸入來源資料庫中的資料表和結構定義，限制 Datastream 不得補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
6. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定 MySQL 來源資料庫

1. 在「Select objects to include」(選取要納入的物件) 部分，使用「Objects to include」(要納入的物件) 下拉式選單，指定 Datastream 可轉移至目的地的來源資料庫資料表和結構定義。
如果資料庫中的物件超過 5,000 個，選單就無法載入資料表和結構定義清單。
• 如要讓 Datastream 移轉所有資料表和結構定義，請選取「All tables from all schemas」(採用任何結構定義的所有資料表)。
• 如要 Datastream 只移轉特定資料表和結構定義，請選取「特定結構定義和資料表」，然後勾選要 Datastream 提取的結構定義和資料表。

每個選取的結構定義都有「未來的資料表」核取方塊。

• 如果勾選這個核取方塊，則在建立串流後，您新增至來源的結構定義資料表都會自動移轉至目的地。
• 如未勾選這個核取方塊，則在建立串流後，Datastream 不會將來源中結構定義的新資料表轉移至目的地。

根據預設，系統會為每個結構定義勾選「Future tables」(未來資料表) 核取方塊。

每個所選結構定義資料表都有「選取資料欄」按鈕。按一下這個按鈕，即可篩選要從來源串流至目的地時排除的資料表資料欄。清除的資料欄都會從串流中排除。

根據預設，系統會勾選表格中所有資料欄的核取方塊。

• 如要提供 Datastream 應移轉的資料表和結構定義文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入 Datastream 應提取的結構定義和資料表。如果資料庫有大量資料表和結構定義，建議使用「Custom」(自訂) 選項，因為部分資料表和結構定義可能不會列入要提取的物件清單。

  請以逗號分隔清單的形式輸入結構定義和資料表，並使用 [schema].[table] 格式，其中結構定義和資料表都可以是萬用字元 (星號)。您無法使用部分萬用字元。

2. 如果目的地是 BigQuery，您可以為資料表設定分區和分群：
   1. 針對要設定分區或叢集的每個資料表，按一下「Select columns」(選取資料欄)。
   2. 如要設定分區，請在「Partitioning」(分區) 區段中選取下列其中一個選項：
      • 不分區：選取這個選項後，系統不會對資料表套用任何分區。
      • 依擷取時間分區：選取這個選項後，資料會歸入以時間為基礎的分區。從「Partitioning type」(分區類型) 清單中選取值，設定分區精細程度，可用選項包括每小時、每日、每月或每年。預設精細程度為每日。
      • 依欄位分區：選取這個選項時，您必須選取要用來分區資料表的來源資料欄，以及分區類型。只能選取資料類型受支援的來源資料欄。 如要瞭解支援的來源資料類型和可用的分區類型，請參閱「設定 BigQuery 目的地的分區和叢集」。

      (選用) 選取「Partitioning filter」(分區篩選器) 選項。如果選取這個選項，這份資料表的所有查詢都必須使用分區篩選器。分區篩選器可以降低費用及提高成效。詳情請參閱「設定分區篩選器規定」。

      分區篩選器只能在僅限附加寫入模式中使用。
   3. 如要設定分群，請在「Clustering」(分群) 區段中，選取要用來分群資料表的欄位。最多可以選取四個欄位。新增分群欄位的順序會決定資料的排列順序。如未指定資料表的叢集設定，Datastream 預設會使用來源資料表中最多四個主鍵，做為 BigQuery 的叢集鍵。
   分區和分群設定只能套用至 BigQuery 中的新資料表。如要設定或修改現有資料表的分區和分群設定，請先從 BigQuery 刪除資料表，然後在 Datastream 設定或修改設定。
   4. 按一下 [Save] (儲存) 來儲存設定。

   如要進一步瞭解分區和分群，請參閱「設定分區和分群」。

3. (選用) 展開「Select objects to exclude」(選取要排除的物件) 節點。在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 從來源資料庫提取的資料表和結構定義。「要排除的物件」清單優先順序高於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些結構定義和資料表時，請使用與指定 Datastream 提取的結構定義和資料表時相同的邏輯，以半形逗號分隔。
4. 指定串流的 CDC 方法：
• 以 GTID (全域交易 ID) 為基礎的複製功能：如要讓 Datastream 支援容錯移轉，並在資料庫叢集發生變更時順暢複製資料，請選取這個方法。
• 二進位記錄式複製：選取這個方法，即可直接從所選資料庫執行個體的二進位記錄檔讀取及複製變更。使用這個 CDC 方法時，無法將執行中的串流切換至其他來源執行個體或副本。
5. (選用) 展開「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 節點，然後選取下列其中一個選項：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「從自動補充作業中排除的物件」欄位，輸入來源資料庫中的資料表和結構定義，限制 Datastream 不得補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
6. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定 Oracle 來源資料庫

1. 在「Select objects to include」(選取要納入的物件) 部分，使用「Objects to include」(要納入的物件) 下拉式選單，指定 Datastream 可轉移至目的地的來源資料庫資料表和結構定義。
如果資料庫中的物件超過 5,000 個，選單就無法載入資料表和結構定義清單。
• 如要讓 Datastream 移轉所有資料表和結構定義，請選取「All tables from all schemas」(採用任何結構定義的所有資料表)。
• 如要 Datastream 只移轉特定資料表和結構定義，請選取「特定結構定義和資料表」，然後勾選要 Datastream 提取的結構定義和資料表。

每個選取的結構定義都有「未來的資料表」核取方塊。

• 如果勾選這個核取方塊，則在建立串流後，您新增至來源的結構定義資料表都會自動移轉至目的地。
• 如未勾選這個核取方塊，則在建立串流後，Datastream 不會將來源中結構定義的新資料表轉移至目的地。

根據預設，系統會為每個結構定義勾選「Future tables」(未來資料表) 核取方塊。

每個所選結構定義資料表都有「選取資料欄」按鈕。按一下這個按鈕，即可篩選要從來源串流至目的地時排除的資料表資料欄。清除的資料欄都會從串流中排除。

根據預設，系統會勾選表格中所有資料欄的核取方塊。

• 如要提供 Datastream 應移轉的資料表和結構定義文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入 Datastream 應提取的結構定義和資料表。如果資料庫有大量資料表和結構定義，建議使用「Custom」(自訂) 選項，因為部分資料表和結構定義可能不會列入要提取的物件清單。

  請以逗號分隔清單的形式輸入結構定義和資料表，並使用 [schema].[table] 格式，其中結構定義和資料表都可以是萬用字元 (星號)。您無法使用部分萬用字元。除非明確指定，否則 Oracle 預先定義的結構定義和資料表不會提取至目的地。

2. 如果目的地是 BigQuery，您可以為資料表設定分區和分群：
   1. 針對要設定分區或叢集的每個資料表，按一下「Select columns」(選取資料欄)。
   2. 如要設定分區，請在「Partitioning」(分區) 區段中選取下列其中一個選項：
      • 不分區：選取這個選項後，系統不會對資料表套用任何分區。
      • 依擷取時間分區：選取這個選項後，資料會歸入以時間為基礎的分區。從「Partitioning type」(分區類型) 清單中選取值，設定分區精細程度，可用選項包括每小時、每日、每月或每年。預設精細程度為每日。
      • 依欄位分區：選取這個選項時，您必須選取要用來分區資料表的來源資料欄，以及分區類型。只能選取資料類型受支援的來源資料欄。 如要瞭解支援的來源資料類型和可用的分區類型，請參閱「設定 BigQuery 目的地的分區和叢集」。

      (選用) 選取「Partitioning filter」(分區篩選器) 選項。如果選取這個選項，這份資料表的所有查詢都必須使用分區篩選器。分區篩選器可以降低費用及提高成效。詳情請參閱「設定分區篩選器規定」。

      分區篩選器只能在僅限附加寫入模式中使用。
   3. 如要設定分群，請在「Clustering」(分群) 區段中，選取要用來分群資料表的欄位。最多可以選取四個欄位。新增分群欄位的順序會決定資料的排列順序。如未指定資料表的叢集設定，Datastream 預設會使用來源資料表中最多四個主鍵，做為 BigQuery 的叢集鍵。
   分區和分群設定只能套用至 BigQuery 中的新資料表。如要設定或修改現有資料表的分區和分群設定，請先從 BigQuery 刪除資料表，然後在 Datastream 設定或修改設定。
   4. 按一下 [Save] (儲存) 來儲存設定。

   如要進一步瞭解分區和分群，請參閱「設定分區和分群」。

3. (選用) 展開「Select objects to exclude」(選取要排除的物件) 節點。在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 從來源資料庫提取的資料表和結構定義。「要排除的物件」清單優先順序高於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些結構定義和資料表時，請使用與指定 Datastream 提取的結構定義和資料表時相同的邏輯，以半形逗號分隔。
4. 指定串流的 CDC 方法：
• LogMiner：選取這個方法，即可使用 LogMiner API 查詢封存的重做日誌檔。LogMiner 支援大多數 Oracle 選項，例如加密和壓縮選項。
• 二進位讀取器 (預先發布版)：選取這個方法，直接從 Oracle 記錄檔擷取變更。這樣一來，大型 Oracle 資料庫的複製速度就會加快，延遲時間和負擔也會減少。選取這個選項後，系統會顯示額外的下拉式選單。選取 Oracle 記錄檔的存取方式：
• 儲存空間自動管理 (ASM)：如果資料庫使用 ASM，請選取這個選項。請確認您已勾選「為二進位讀取器啟用 ASM 存取權」核取方塊，並在來源連線設定檔中填寫 ASM 執行個體的詳細資料。
• 資料庫目錄：如果未使用 ASM 儲存記錄檔，請選取這個選項。如果選取資料庫目錄，則須提供重做日誌檔和封存日誌檔目錄名稱。
5. (選用) 展開「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 節點，然後選取下列其中一個選項：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「從自動補充作業中排除的物件」欄位，輸入來源資料庫中的資料表和結構定義，限制 Datastream 不得補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
6. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定 SQL Server 來源資料庫

1. 在「Select objects to include」(選取要納入的物件) 部分，使用「Objects to include」(要納入的物件) 下拉式選單，指定 Datastream 可轉移至目的地的來源資料庫資料表和結構定義。
如果資料庫中的物件超過 5,000 個，選單就無法載入資料表和結構定義清單。
• 如要讓 Datastream 移轉所有資料表和結構定義，請選取「All tables from all schemas」(採用任何結構定義的所有資料表)。
• 如要 Datastream 只移轉特定資料表和結構定義，請選取「特定結構定義和資料表」，然後勾選要 Datastream 提取的結構定義和資料表。

每個選取的結構定義都有「未來的資料表」核取方塊。

• 如果勾選這個核取方塊，則在建立串流後，您新增至來源的結構定義資料表都會自動移轉至目的地。
• 如未勾選這個核取方塊，則在建立串流後，Datastream 不會將來源中結構定義的新資料表轉移至目的地。

根據預設，系統會為每個結構定義勾選「Future tables」(未來資料表) 核取方塊。

每個所選結構定義資料表都有「選取資料欄」按鈕。按一下這個按鈕，即可篩選要從來源串流至目的地時排除的資料表資料欄。清除的資料欄都會從串流中排除。

根據預設，系統會勾選表格中所有資料欄的核取方塊。

• 如要提供 Datastream 應移轉的資料表和結構定義文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入 Datastream 應提取的結構定義和資料表。如果資料庫有大量資料表和結構定義，建議使用「Custom」(自訂) 選項，因為部分資料表和結構定義可能不會列入要提取的物件清單。

  請以逗號分隔清單的形式輸入結構定義和資料表，並使用 [schema].[table] 格式，其中結構定義和資料表都可以是萬用字元 (星號)。您無法使用部分萬用字元。

2. 如果目的地是 BigQuery，您可以為資料表設定分區和分群：
   1. 針對要設定分區或叢集的每個資料表，按一下「Select columns」(選取資料欄)。
   2. 如要設定分區，請在「Partitioning」(分區) 區段中選取下列其中一個選項：
      • 不分區：選取這個選項後，系統不會對資料表套用任何分區。
      • 依擷取時間分區：選取這個選項後，資料會歸入以時間為基礎的分區。從「Partitioning type」(分區類型) 清單中選取值，設定分區精細程度，可用選項包括每小時、每日、每月或每年。預設精細程度為每日。
      • 依欄位分區：選取這個選項時，您必須選取要用來分區資料表的來源資料欄，以及分區類型。只能選取資料類型受支援的來源資料欄。 如要瞭解支援的來源資料類型和可用的分區類型，請參閱「設定 BigQuery 目的地的分區和叢集」。

      (選用) 選取「Partitioning filter」(分區篩選器) 選項。如果選取這個選項，這份資料表的所有查詢都必須使用分區篩選器。分區篩選器可以降低費用及提高成效。詳情請參閱「設定分區篩選器規定」。

      分區篩選器只能在僅限附加寫入模式中使用。
   3. 如要設定分群，請在「Clustering」(分群) 區段中，選取要用來分群資料表的欄位。最多可以選取四個欄位。新增分群欄位的順序會決定資料的排列順序。如未指定資料表的叢集設定，Datastream 預設會使用來源資料表中最多四個主鍵，做為 BigQuery 的叢集鍵。
   分區和分群設定只能套用至 BigQuery 中的新資料表。如要設定或修改現有資料表的分區和分群設定，請先從 BigQuery 刪除資料表，然後在 Datastream 設定或修改設定。
   4. 按一下 [Save] (儲存) 來儲存設定。

   如要進一步瞭解分區和分群，請參閱「設定分區和分群」。

3. (選用) 展開「Select objects to exclude」(選取要排除的物件) 節點。在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 從來源資料庫提取的資料表和結構定義。「要排除的物件」清單優先順序高於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些結構定義和資料表時，請使用與指定 Datastream 提取的結構定義和資料表時相同的邏輯，以半形逗號分隔。
4. 指定串流的 CDC 方法：
• 交易記錄：選取這個方法，直接從資料庫記錄處理變更。這個方法較有效率、成效最佳，不過需要額外進行設定。
• 變更資料表：選取這個方法，即可處理專用變更資料表的變更。這個方法的設定程序較為簡單且限制較少，不過與交易記錄方法相比，處理量較低，且會增加資料庫的負載。
5. (選用) 展開「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 節點，然後選取下列其中一個選項：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「從自動補充作業中排除的物件」欄位，輸入來源資料庫中的資料表和結構定義，限制 Datastream 不得補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
6. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定來源 Salesforce 組織

1. 在「Select objects to include」(選取要納入的物件) 部分，使用「Objects to include」(要納入的物件) 下拉式選單，指定要 Datastream 轉移至目的地的組織物件和欄位。
如果物件數量超過 5,000 個，選單就無法載入清單。
• 如要讓 Datastream 移轉所有物件，請選取「所有物件」。
• 如果只想讓 Datastream 移轉特定物件，請選取「特定物件」，然後勾選要讓 Datastream 提取的物件。

每個選取的物件都有「選取欄位」按鈕。按一下這個按鈕，即可篩選要排除的物件欄位，不從來源串流至目的地。清除的欄位都會從串流中排除。

根據預設，系統會選取物件所有欄位的核取方塊。

• 如要提供 Datastream 應轉移物件的文字定義，請選取「自訂」，然後在「物件比對條件」欄位中，輸入 Datastream 應提取的物件。請以半形逗號分隔的清單形式輸入物件，並使用 [object].[field] 格式。如果資料庫含有大量物件，建議您使用「自訂」選項，因為要提取的物件清單可能不包含某些資料表和結構定義。
2. 以分鐘為單位定義輪詢時間間隔值。Datastream 會使用這個值，檢查 Salesforce 組織是否有資料異動。值越高，貴機構的成本和負載就越低。值越低，目的地中的資料越新。
3. 如果目的地是 BigQuery，您可以為物件設定分區和分群：
   1. 針對要設定分區或叢集的每個物件，按一下「Select fields」(選取欄位)。
   2. 如要設定分區，請在「Partitioning」(分區) 區段中選取下列其中一個選項：
      • 不分區：選取這個選項後，系統不會對物件套用任何分區。
      • 依擷取時間分區：選取這個選項後，資料會歸入以時間為基礎的分區。從「Partitioning type」(分區類型) 清單中選取值，設定分區精細程度，可用選項包括每小時、每日、每月或每年。預設精細程度為每日。
      • 依欄位分區：選取這個選項後，您必須選取要用來分區物件的來源欄位，以及分區類型。只能選取資料類型受支援的欄位。 如要瞭解支援的來源資料類型和可用的分區類型，請參閱「分區和叢集 BigQuery 資料表」。

      (選用) 選取「Partitioning filter」(分區篩選器) 選項。如果選取這個選項，這個物件的所有查詢都必須使用分區篩選器。分區篩選器可以降低費用及提高成效。詳情請參閱「設定分區篩選器規定」。

      分區篩選器只能在僅限附加寫入模式中使用。
   3. 如要設定分群，請在「Clustering」(分群) 部分選取要用來分群物件的欄位。最多可以選取四個欄位。新增分群欄位的順序會決定資料的排列順序。如未指定物件的分群設定，Datastream 預設會使用來源物件中最多四個主鍵，做為 BigQuery 中的分群鍵。
   分區和分群設定只能套用至 BigQuery 中的新資料表。如要設定或修改現有資料表的分區和分群設定，請先從 BigQuery 刪除資料表，然後在 Datastream 設定或修改設定。
   4. 按一下 [Save] (儲存) 來儲存設定。

   如要進一步瞭解分區和分群，請參閱「分區和分群 BigQuery 資料表」。

4. (選用) 展開「Select objects to exclude」(選取要排除的物件) 節點。在「Objects to exclude」(要排除的物件) 欄位中，輸入來源組織中要限制 Datastream 提取的物件和欄位。「要排除的物件」清單優先順序高於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些物件和欄位時，請使用與納入物件相同的邏輯，以半形逗號分隔。
5. (選用) 展開「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 節點，然後選取下列其中一個選項：
• 選取「自動」選項，即可將所有現有資料和資料變更，從來源複製到目的地。在「Objects excluded from automatic backfill」(從自動補充作業中排除的物件) 欄位中，輸入來源組織中的物件，限制 Datastream 不得將這些物件補充至目的地。
• 選取「手動」選項，只將資料變更複製到目的地。
6. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定來源 Salesforce Marketing Cloud 執行個體 (預先發布版)

1. 在「Select objects to include」(選取要納入的物件) 區段，使用「Objects to include」(要納入的物件) 下拉式選單，指定要 Datastream 轉移至目的地的執行個體物件。
如果物件數量超過 5,000 個，選單就無法載入清單。
• 如要讓 Datastream 移轉所有物件，請選取「所有物件」。
• 如果只想讓 Datastream 移轉特定物件，請選取「特定物件」，然後勾選要讓 Datastream 提取的物件。
• 如要提供 Datastream 轉移物件的文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入要 Datastream 提取的物件。輸入物件，並以半形逗號分隔。 如果資料庫含有大量物件，建議使用「Custom」(自訂) 選項，因為某些物件可能不會列入要提取的物件清單。
2. 以分鐘為單位定義輪詢時間間隔值。Datastream 會使用這個值，檢查 Salesforce Marketing Cloud 執行個體中支援增量同步的物件是否有資料變更。您可以使用 5 到 1440 之間的值。
3. 定義完整重新整理輪詢時間間隔值 (以分鐘為單位)。Datastream 會使用這個值，定期完整重新整理不支援遞增同步處理的物件，例如資料擴充。您可以使用 60 到 1440 之間的值。
4. (選用) 展開「顯示進階選項」節點。
5. 在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 提取的來源執行個體物件。「要排除的物件」清單優先於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些物件時，請使用與指定 Datastream 提取物件時相同的邏輯，並以半形逗號分隔。
6. 在「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 部分，選取補充作業模式：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「Objects excluded from automatic backfill」(從自動補充作業中排除的物件) 欄位中，輸入來源資料庫中的物件，限制 Datastream 不得將這些物件補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
7. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定來源 ServiceNow 執行個體 (預先發布版)

1. 在「Select objects to include」(選取要納入的物件) 區段，使用「Objects to include」(要納入的物件) 下拉式選單，指定要 Datastream 移轉至目的地的 ServiceNow 執行個體資料表和欄位。
如果物件數量超過 5,000 個，選單就無法載入清單。
• 如要讓 Datastream 移轉所有資料表，請選取「所有物件」。
• 如果只想讓 Datastream 移轉特定資料表，請選取「特定物件」，然後勾選要讓 Datastream 提取的資料表。

每個選取的資料表都有「選取欄位」按鈕。點選這個按鈕，即可篩選要從來源串流至目的地時排除的資料表欄位。Datastream 會從串流中排除您清除的所有欄位。

根據預設，Datastream 會勾選資料表所有欄位的核取方塊。

• 如要以文字定義要讓 Datastream 移轉的資料表，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入要讓 Datastream 提取的資料表。輸入資料表清單，並以半形逗號分隔，格式為 [table].[field]。
2. 以分鐘為單位定義輪詢時間間隔值。Datastream 會使用這個值，檢查 ServiceNow 執行個體是否有資料異動。值越高，執行個體的費用和負載就越低。值越低，目的地中的資料越新。
3. 您也可以在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 提取的來源執行個體資料表和欄位。「要排除的物件」清單優先於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，Datastream 會將該物件從串流中排除。
   定義這些資料表和欄位時，請使用與納入資料表相同的以半形逗號分隔邏輯。
4. 在「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 部分，視需要選取下列其中一個選項：
• 選取「自動」選項，即可將所有現有資料和資料變更，從來源複製到目的地。在「Objects excluded from automatic backfill」(從自動補充作業中排除的物件) 欄位中，輸入來源執行個體中的資料表，限制 Datastream 將這些資料表補充至目的地。
• 選取「手動」選項，只將資料變更複製到目的地。
5. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定來源 MongoDB 資料庫

1. 在「選取要納入的物件」部分，使用「要納入的物件」下拉式選單，指定要 Datastream 移轉至目的地的資料庫和集合。
如果物件數量超過 5,000 個，選單就無法載入清單。
• 如要讓 Datastream 移轉所有集合，請選取「所有資料庫和集合」。
• 如果只想讓 Datastream 移轉特定集合，請選取「特定資料庫和集合」，然後勾選要讓 Datastream 提取的集合。

每個選取的集合都有「選取欄位」按鈕。按一下這個按鈕，即可篩選要排除的物件欄位，不從來源串流至目的地。清除的欄位都會從串流中排除。

根據預設，系統會選取物件所有欄位的核取方塊。

• 如要提供 Datastream 應移轉的集合文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入 Datastream 應提取的集合。請以半形逗號分隔的清單形式輸入物件，並使用 [collection].[field] 格式。如果資料庫含有大量物件，建議您使用「自訂」選項，因為要提取的物件清單可能不包含某些資料表和結構定義。
2. 如果目的地是 BigQuery，您可以為集合設定分區：
   1. 針對要設定分區的每個集合，按一下「Select fields」(選取欄位)。
   2. 在「Partitioning」(分區) 部分中，選取下列其中一個選項：
      • 不分區：選取這個選項後，系統不會對集合進行分區。
      • 依擷取時間分區：選取這個選項後，資料會歸入以時間為基礎的分區。從「Partitioning type」(分區類型) 清單中選取值，設定分區精細程度，可用選項包括每小時、每日、每月或每年。預設精細程度為每日。

      (選用) 選取「Partitioning filter」(分區篩選器) 選項。如果選取這個選項，這個集合的所有查詢都必須使用分區篩選器。分區篩選器可以降低費用及提高成效。詳情請參閱「設定分區篩選器規定」。

      分區篩選器只能在僅限附加寫入模式中使用。
   分區功能僅適用於 BigQuery 中的新資料表。如要設定或修改現有資料表的分區設定，請先從 BigQuery 刪除資料表，然後在 Datastream 設定或修改設定。
   3. 按一下 [Save] (儲存) 來儲存設定。

   如要進一步瞭解分區和分群，請參閱「分區和分群 BigQuery 資料表」。

3. (選用) 展開「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 節點，然後選取下列其中一個選項：
• 選取「自動」選項，即可將所有現有資料和資料變更，從來源複製到目的地。在「Objects excluded from automatic backfill」(從自動補充作業中排除的物件) 欄位中，輸入來源組織中的物件，限制 Datastream 不得將這些物件補充至目的地。
• 選取「手動」選項，只將資料變更複製到目的地。
4. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定來源 Spanner 資料庫

1. 在「Select objects to include」(選取要納入的物件) 部分，使用「Objects to include」(要納入的物件) 下拉式選單，指定 Datastream 可轉移至目的地的來源資料庫資料表和結構定義。
如果資料庫中的物件超過 5,000 個，選單就無法載入資料表和結構定義清單。
• 如要讓 Datastream 移轉所有資料表和結構定義，請選取「All tables from all schemas」(採用任何結構定義的所有資料表)。
• 如要 Datastream 只移轉特定資料表和結構定義，請選取「特定結構定義和資料表」，然後勾選要 Datastream 提取的結構定義和資料表。

每個選取的結構定義都有「未來的資料表」核取方塊。

• 如果勾選這個核取方塊，則在建立串流後，您新增至來源的結構定義資料表都會自動移轉至目的地。
• 如未勾選這個核取方塊，則在建立串流後，Datastream 不會將來源中結構定義的新資料表轉移至目的地。

根據預設，系統會為每個結構定義勾選「Future tables」(未來資料表) 核取方塊。

每個所選結構定義資料表都有「選取資料欄」按鈕。按一下這個按鈕，即可篩選要從來源串流至目的地時排除的資料表資料欄。清除的資料欄都會從串流中排除。

根據預設，系統會勾選表格中所有資料欄的核取方塊。

• 如要提供 Datastream 應移轉的資料表和結構定義文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入 Datastream 應提取的結構定義和資料表。如果資料庫有大量資料表和結構定義，建議使用「Custom」(自訂) 選項，因為部分資料表和結構定義可能不會列入要提取的物件清單。

  請以逗號分隔清單的形式輸入結構定義和資料表，並使用 [schema].[table] 格式，其中結構定義和資料表都可以是萬用字元 (星號)。您無法使用部分萬用字元。

2. 在「Change stream name」(變更串流名稱) 欄位中，輸入您建立的 Spanner 變更串流名稱。Datastream 會讀取這個變更串流，複製來源資料庫的變更。
3. 您也可以在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 提取的來源資料庫資料表和結構定義。「要排除的物件」清單優先於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些結構定義和資料表時，請使用與指定 Datastream 提取的結構定義和資料表時相同的邏輯，以半形逗號分隔。
4. 在「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 部分，選取補充作業模式：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「從自動補充作業中排除的物件」欄位，輸入來源資料庫中的資料表和結構定義，限制 Datastream 不得補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
5. 視需要分別在對應欄位中，指定 CDC 和補充作業並行工作的數量上限。
   設定變更串流查詢的並行讀取數量上限 (CDC 並行限制)，可能會增加串流延遲時間。這是因為變更串流會分成多個分區，而限制並行數量可防止 Datastream 同時讀取多個分區。建議只有在觀察到 CPU 使用率偏高時，才設定這個值。
6. 從「RPC priority」(RPC 優先順序) 下拉式選單中，選取 Spanner 要求的遠端程序呼叫優先順序：
   • 低
   • 中
   • 高
7. 在「FGAC role」(FGAC 角色) 欄位中，指定 Spanner 要求的精細存取控管角色。
8. 如要使用 Data Boost 執行補充工作，請勾選「Backfill Data Boost enabled」(已啟用補充 Data Boost) 核取方塊。如要使用這個選項，資料庫必須啟用 Data Boost。詳情請參閱「Data Boost 總覽」。
9. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定來源 Dataverse 環境 (預先發布版)

1. 在「選取要納入的物件」部分，使用「要納入的物件」下拉式選單，指定 Datastream 可轉移至目的地的 Dataverse 環境物件。
如果物件數量超過 5,000 個，選單就無法載入清單。
• 如要讓 Datastream 移轉所有標準物件，請選取「All objects」(所有物件)。
• 如果只想讓 Datastream 移轉特定標準物件，請選取「特定物件」，然後勾選要讓 Datastream 提取的物件。

您選取的每個物件都有「日後的資料表」核取方塊。

• 如果勾選這個核取方塊，則在串流建立後，您新增至來源的所有物件都會自動移轉至目的地。
• 如未勾選這個核取方塊，則在建立串流後，Datastream 不會將任何新物件從來源轉移至目的地。

根據預設，系統會為每個物件勾選「Future tables」(未來資料表) 核取方塊。

每個選取的物件都有「選取欄位」按鈕。點選這個按鈕，即可篩選要排除的物件欄位，不從來源串流至目的地。清除的欄位都會從串流中排除。

根據預設，系統會選取物件所有欄位的核取方塊。

• 如要提供 Datastream 應轉移物件的文字定義，請選取「自訂」，然後在「物件比對條件」欄位中，輸入 Datastream 應提取的物件。請以半形逗號分隔的清單形式輸入物件，並使用 [OBJECT_NAME] 格式。不支援萬用字元。
2. 在「Define polling interval」(定義輪詢間隔) 部分，定義 Datastream 檢查 Dataverse 資料變更的頻率。建議您平衡近乎即時的資料需求與 API 使用效率，盡可能降低成本並避免效能問題。輸入的值必須介於 5 到 1440 分鐘之間。
3. (選用) 展開「Select objects to exclude」(選取要排除的物件) 節點。在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 提取的來源 Dataverse 環境物件。「要排除的物件」清單優先順序高於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
4. (選用) 展開「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 節點，然後選取下列其中一個選項：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「Objects excluded from automatic backfill」(從自動補充作業中排除的物件) 欄位中，輸入來源 Dataverse 環境中的資料表，限制 Datastream 不得將這些資料表補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
5. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

設定來源 Workday 執行個體 (預先發布版)

1. 在「Select objects to include」(選取要納入的物件) 區段，使用「Objects to include」(要納入的物件) 下拉式選單，指定要 Datastream 轉移至目的地的執行個體物件。
如果物件數量超過 5,000 個，選單就無法載入清單。
• 如要讓 Datastream 移轉所有物件，請選取「所有物件」。
• 如果只想讓 Datastream 移轉特定物件，請選取「特定物件」，然後勾選要讓 Datastream 提取的物件。如要只納入物件的特定資料欄，請按一下物件旁的「Configure settings」(進行設定)。取消勾選的資料欄會從串流中排除。
• 如要提供 Datastream 轉移物件的文字定義，請選取「Custom」(自訂)，然後在「Object matching criteria」(物件比對條件) 欄位中，輸入要 Datastream 提取的物件。輸入物件，並以半形逗號分隔。 如果執行個體含有大量物件，建議您使用「Custom」(自訂) 選項，因為部分物件可能不會列入要提取的物件清單。
2. 以分鐘為單位定義輪詢時間間隔值。Datastream 會使用這個值，檢查 Workday 執行個體是否有資料異動。您可以使用 5 到 1440 之間的值。
3. 定義完整重新整理輪詢時間間隔值 (以分鐘為單位)。Datastream 會使用這個值，定期完整重新整理不支援遞增同步處理的物件，例如資料擴充。您可以使用的值介於 60 到 1440 分鐘之間。
4. (選用) 展開「顯示進階選項」節點。
5. 在「Objects to exclude」(要排除的物件) 欄位中，輸入要限制 Datastream 提取的來源執行個體物件。「要排除的物件」清單優先於「要包含的物件」清單。如果物件同時符合納入和排除清單中的條件，系統會將該物件從串流中排除。
   定義這些物件時，請使用與指定 Datastream 提取物件時相同的邏輯，並以半形逗號分隔。
6. 在「Choose backfill mode for historical data」(選擇歷來資料的補充作業模式) 部分，選取補充作業模式：
• 選取「自動」選項，除了資料變動外，也會將所有現有資料從來源串流至目的地。在「Objects excluded from automatic backfill」(從自動補充作業中排除的物件) 欄位中，輸入來源執行個體中的物件，限制 Datastream 不得將這些物件補充至目的地。
• 選取「手動」選項，只將資料變更串流至目的地。
7. 點選「繼續」。「建立串流」頁面的「定義連線設定檔」面板會顯示目的地類型。

選取目的地連線設定檔

1. 如果您已建立目的地連線設定檔，請從連線設定檔清單中選取。

   如果尚未建立目的地連線設定檔，請按一下下拉式選單底部的「建立連線設定檔」，然後按照「建立連線設定檔」中的步驟操作。

   注意： 如要使用 Apache Iceberg 資料表目的地，請使用或建立 BigQuery 連線設定檔。

2. 點選「繼續」。「Create stream」(建立串流) 頁面的「Configure stream destination」(設定串流目的地) 面板隨即顯示。

設定串流目的地的相關資訊

本節說明設定 BigQuery 或 Cloud Storage 目的地時，需要提供哪些資訊。

BigQuery 目的地

1. 在「Specify how Datastream should stream into a BigQuery dataset」(指定 Datastream 串流至 BigQuery 資料集的方式) 區段，從「Schema grouping」(結構定義分組) 下拉式選單中選取下列其中一個選項：

   • 針對每個結構定義建立資料集：Datastream 會根據結構定義名稱，為每個來源結構定義建立 BigQuery 資料集。

     如果選取這個選項，Datastream 會在包含串流的專案中，為來源資料庫中的每個結構定義建立資料集。

     此外，如果選取「Dataset for each schema」(針對每個結構定義建立資料集) 選項，則須提供下列資訊：

     1. 在「Location type」(位置類型) 部分，指定要將資料儲存在 BigQuery 的何處。選取「區域」可指定單一地理位置，選取「多區域」則可指定包含兩個以上區域的大型區域。如果首要考量是最佳化成本和效能，請選取「Region」(區域)，並將資料集與您管理的其他 Google Cloud 資源放在一起。如要提高配額限制，請選取「多區域」，讓 BigQuery 使用群組中的多個區域。選取「Region」(區域) 時，欄位會預設為您為串流選取的區域。
     2. (選用) 在「Dataset prefix」(資料集前置字串) 欄位中，定義串流建立的資料集前置字串。您指定的字串會新增至來源結構定義名稱。舉例來說，如果結構定義名稱為 <mySchema>，且您將資料集前置字串定義為 <myPrefix>，Datastream 會建立名為 <myPrefix><mySchema> 的資料集。
     3. 展開「顯示進階加密選項」部分。

     4. 選取 Google 代管或客戶自行管理的加密金鑰，指定 BigQuery 資料的加密方式。

        注意： Salesforce 來源不支援「Dataset for each schema」(針對每個結構定義建立資料集) 選項。

   • 所有結構定義共用一個資料集：Datastream 會在您指定的現有 BigQuery 資料集內建立所有資料表。Datastream 建立的每個資料表都會以來源結構定義名稱和資料表名稱組合命名，並以底線分隔 (例如 <mySchemaName>_<myTableName>)。可用的資料集會依區域分組。您也可以建立新的資料集。

2. 指定「Stream write mode」(串流寫入模式)。選取寫入模式，定義 BigQuery 寫入及處理資料的方式：

   • 合併：如要將資料與來源同步，請選取這個選項。
   • 僅限附加：如要保留變更事件的所有歷來資料，請選取這個選項。

3. 指定資料過時程度限制。只有在上一個步驟中選取「合併」模式時，才能使用這個選項。設定限制，在 BigQuery 查詢效能/成本與資料更新間隔之間取得平衡。BigQuery 會根據過時程度限制，以持續的方式或在查詢執行時在背景中套用變更。降低過時程度 (資料較新) 可能會導致 BigQuery 處理費用增加。

   如果選取「0 分鐘」，BigQuery「一律」會根據最新資料傳回查詢結果。這會導致查詢費用最高。

4. 點選「繼續」。「Create stream」(建立串流) 頁面的「Review stream details and create」(查看串流詳細資料並建立) 面板隨即顯示。

Apache Iceberg 資料表目的地

1. 在「Specify how Datastream should stream into a BigQuery dataset」(指定 Datastream 串流至 BigQuery 資料集的方式) 區段，從「Schema grouping」(結構定義分組) 下拉式選單選取 Datastream 建立新結構定義和資料表的方式：

   • 針對每個結構定義建立資料集：Datastream 會根據結構定義名稱，為每個來源結構定義建立 BigQuery 資料集。

     如果選取這個選項，Datastream 會在包含串流的專案中，為來源資料庫中的每個結構定義建立資料集。

     此外，如果選取「Dataset for each schema」(針對每個結構定義建立資料集) 選項，則須提供下列資訊：

     1. 在「Location type」(位置類型) 部分，指定要將資料儲存在 BigQuery 的何處。選取「區域」可指定單一地理位置，選取「多區域」則可指定包含兩個以上區域的大型區域。如果首要考量是最佳化成本和效能，請選取「Region」(區域)，並將資料集與您管理的其他 Google Cloud 資源放在一起。如要提高配額限制，請選取「多區域」，讓 BigQuery 使用群組中的多個區域。選取「Region」(區域) 時，欄位會預設為您為串流選取的區域。
     2. (選用) 在「Dataset prefix」(資料集前置字串) 欄位中，定義串流建立的資料集前置字串。您指定的字串會新增至來源結構定義名稱。舉例來說，如果結構定義名稱為 <mySchema>，且您將資料集前置字串定義為 <myPrefix>，Datastream 會建立名為 <myPrefix><mySchema> 的資料集。
     3. 展開「顯示進階加密選項」部分。

     4. 選取 Google 代管或客戶自行管理的加密金鑰，指定 BigQuery 資料的加密方式。

        注意： Salesforce 來源不支援「Dataset for each schema」(針對每個結構定義建立資料集) 選項。

   • 所有結構定義共用一個資料集：Datastream 會在您指定的現有 BigQuery 資料集內建立所有資料表。Datastream 建立的每個資料表都會以來源結構定義名稱和資料表名稱組合命名，並以底線分隔 (例如 <mySchemaName>_<myTableName>)。可用的資料集會依區域分組。您也可以建立新的資料集。

2. 在「Define Datastream connection to Apache Iceberg tables」(設定 Datastream 與 Apache Iceberg 資料表之間的連線) 部分，提供下列資訊：

   • 從「連線 ID」下拉式選單，選取您建立且要用於串流的 BigQuery 連線 ID。如要瞭解如何在 BigQuery 建立 Cloud 資源連結，請參閱「在 BigQuery 設定 Apache Iceberg 資料表」。

     注意： 為避免串流失敗，請確保連線 ID 具備底層 Cloud Storage bucket 的寫入權限。

   • 輸入或選取您在 Cloud Storage 建立的值區 URI 位址。如要瞭解如何建立 Cloud Storage bucket，請參閱「建立 bucket」。

3. 查看「File format」(檔案格式) 和「Table format」(表格格式)。Datastream 支援 Parquet 檔案格式和 Iceberg 資料表格式。

4. 查看「Stream write mode」(串流寫入模式)。Datastream 僅支援「僅附加」寫入模式，可串流至 Apache Iceberg 資料表。

5. 點選「繼續」。「Create stream」(建立串流) 頁面的「Review stream details and create」(查看串流詳細資料並建立串流) 面板隨即顯示。

Cloud Storage 目標位置

1. (選用) 在「Stream path prefix」(串流路徑前置字元) 欄位中，輸入目的地 bucket 的資料夾，Datastream 會將來源資料庫中的結構定義、資料表和資料移轉至該資料夾。

   舉例來說，如要 Datastream 將資料從來源資料庫轉移至目的地 bucket 中的 /root/example 資料夾，請在「Stream path prefix」(串流路徑前置字元) 欄位中輸入 /root/example。

2. 在「Output format」(輸出格式) 欄位中，選擇寫入 Cloud Storage 的檔案格式。

   Datastream 支援兩種輸出格式：Avro 和 JSON。

3. 選用。如果選取 JSON 格式，系統會顯示兩個核取方塊：

   1. Include a Unified Types schema file in the file path：如果勾選這個核取方塊，Datastream 會將兩個檔案寫入 Cloud Storage：JSON 資料檔案和 Avro 結構定義檔案。結構定義檔案的名稱與資料檔案相同，但副檔名為 .schema。如未勾選這個核取方塊，Datastream 只會將 JSON 資料檔案寫入 Cloud Storage。根據預設，系統不會勾選這個核取方塊。
   2. 啟用 gzip 壓縮：如果勾選這個核取方塊，Datastream 會使用 gzip 公用程式，壓縮寫入 Cloud Storage 的檔案。如未勾選這個核取方塊，Datastream 會將檔案寫入 Cloud Storage，而不進行壓縮。根據預設，系統會勾選這個核取方塊。

4. 點選「繼續」。「Create stream」(建立串流) 頁面的「Review stream details and create」(查看串流詳細資料並建立串流) 面板隨即顯示。

建立串流

1. 驗證串流的詳細資料，以及串流會用來將資料從來源資料庫轉移至目的地的來源和目的地連線設定檔。

2. 點選「執行驗證」，驗證串流。Datastream 會驗證串流，確認來源設定正確無誤、串流可連至來源和目的地，以及串流的端對端設定正確。

   1. 如果來源資料庫是 Oracle，Datastream 會執行下列檢查：

      檢查	說明
      物件清單有效性	Datastream 會確認排除清單未涵蓋納入清單。
      轉送 SSH 通道連線	Datastream 會驗證是否能透過轉送 SSH 通道連至堡壘主機。
      連至 Oracle 資料庫的連線能力	Datastream 會驗證是否能連線至來源 Oracle 資料庫。
      Oracle 使用者權限	Datastream 會確認用於連線至來源資料庫的使用者具備所有必要權限，可從資料庫擷取結構定義、資料表和資料，以便將這類資訊串流至目的地。
      記錄模式設定	Datastream 會確認 Oracle 資料庫的記錄模式是否設為 ARCHIVELOG。
      增補記錄設定	Datastream 會確認，從來源串流至目的地的資料庫資料表，是否已啟用補充記錄功能。
      Oracle CDC 設定	Datastream 會驗證您選取的 CDC 方法是否符合資料庫設定。
      封存記錄檔設定	Datastream 會驗證來源是否已設定封存記錄，以及是否存在封存記錄檔。
      Cloud Storage 權限 (適用於 Cloud Storage 目的地)	Datastream 會確認是否具備必要權限，可寫入 Cloud Storage 的目的地 bucket。

   2. 如果來源資料庫是 MySQL，Datastream 會執行下列檢查：

      檢查	說明
      複製權限	Datastream 會確認是否具備複製 MySQL 資料庫的權限。
      資料庫版本	Datastream 會確認 MySQL 資料庫版本是否支援。如要瞭解支援的版本，請參閱「版本」。
      二進位記錄格式設定	Datastream 會確認 MySQL 資料庫的二進位記錄格式設為 ROW。
      已啟用二進位記錄功能	Datastream 會確認二進位記錄檔設定正確，且有記錄檔。
      二進位記錄檔資料列映像檔設定	Datastream 會確認 binlog 資料列映像檔已設為 FULL。
      已停用二進位記錄壓縮功能	Datastream 會確認二進位記錄檔壓縮功能已停用。
      已啟用記錄副本或從屬資料庫更新	Datastream 會確認記錄副本或從屬更新已啟用。
      GTID 模式設定 (applies only to GTID-based CDC)	如果使用以 GTID 為基礎的複製功能，Datastream 會驗證 GTID 模式是否設為 ON。
      GtidSet 不含已加上標記的 GTID (applies only to GTID-based CDC)	Datastream 會確認 GTID 集不含任何已加上標記的 GTID。
      Cloud Storage 權限 (適用於 Cloud Storage 目的地)	Datastream 會確認是否具備必要權限，可寫入 Cloud Storage 的目的地 bucket。

      警告檢查	說明
      記錄到期天數、記錄到期秒數或二進位記錄保留時數設定	Datastream 會驗證 expire_logs_days、binlog_expire_logs_seconds、binlog retention hours 的值是否分別大於 7、604800 和 168。
      允許的封包設定上限	Datastream 會確認 max_allowed_packet 設為 1 GB。
      強制執行 GTID 一致性或 GTID 嚴格模式 (applies only to GTID-based CDC)	Datastream 會確認 GTID 一致性或 GTID 嚴格模式已啟用。

   3. 如果來源資料庫是 PostgreSQL，Datastream 會執行下列檢查：

      檢查	說明
      連線至 PostgreSQL 資料庫	Datastream 會驗證是否能連線至來源 PostgreSQL 資料庫。
      已啟用邏輯解碼	Datastream 會驗證 PostgreSQL 資料庫的 wal_level 參數是否設為 logical。
      複製運算單元設定	Datastream 會驗證 PostgreSQL 複製運算單元是否存在且處於啟用狀態、Datastream 是否具備存取權限，以及設定是否正確。
      出版品設定	Datastream 會確認發布作業確實存在，且要為串流複製的資料表包含在發布作業中。
      補充作業權限	Datastream 會確認回填歷來資料所需的資料表是否存在，以及是否具備讀取這些資料表的必要權限。

   4. 如果來源資料庫是 SQL Server，Datastream 會執行下列檢查：

      檢查	說明
      SQL Server 版本	Datastream 會驗證來源 SQL Server 資料庫版本是否受支援。如要瞭解支援的版本，請參閱「版本」。
      SQL Server 使用者權限	Datastream 會驗證使用者是否具備存取來源 SQL Server 資料庫的必要權限。
      SQL Server 已啟用 CDC	Datastream 會驗證資料庫和串流中所有資料表是否已啟用 CDC。
      SQL Server 資料庫驗證	Datastream 會檢查來源資料庫是否設定正確、是否符合所有複製需求，以及資料欄中是否有不支援的資料類型。
      Cloud Storage 或 BigQuery 權限	Datastream 會驗證使用者是否具備寫入目的地的必要權限。

   5. 如果來源資料庫是 Salesforce，Datastream 會執行下列檢查：

      檢查	說明
      憑證登入	Datastream 會確認能否使用提供的憑證，成功驗證客戶的 Salesforce 機構。
      Bulk API	Datastream 會確認是否具備存取 Salesforce Bulk API 2.0 的必要權限。必須使用 Bulk API 2.0，才能讀取大量資料。

      警告檢查	說明
      API 限制	Datastream 會根據所選物件數量和輪詢間隔，預估 API 用量。如果預期的每日要求數高於 Salesforce 強制執行的限制，Datastream 就會發出警告。即使驗證檢查未通過，您仍可建立及執行串流。

   6. 如果來源資料庫是 MongoDB，Datastream 會執行下列檢查：

      檢查	說明
      使用者權限	Datastream 會驗證使用者是否獲派 readAnyDatabase 角色。
      連線設定	Datastream 會使用 hello 指令，驗證連線設定是否有效。
      MongoDB 版本	Datastream 會驗證 MongoDB 版本是否為 5.0 以上。
      Cloud Storage 或 BigQuery 權限	Datastream 會驗證使用者是否具備寫入目的地的必要權限。

   7. 如果來源資料庫是 Spanner，Datastream 會執行下列檢查：

      檢查	說明
      已啟用 Spanner API	Datastream 會確認 Spanner API 是否已啟用。
      資料庫已存在	Datastream 會驗證來源 Spanner 資料庫是否存在。
      IAM 權限	Datastream 會驗證其服務代理是否具備來源資料庫的必要 IAM 權限。
      已有變更串流	Datastream 會驗證資料庫中是否存在指定的變更串流。
      值擷取類型	Datastream 會確認變更串流是否設為 NEW_ROW 值擷取類型。

   8. 如果來源是 Dataverse，Datastream 會執行下列檢查：

      檢查	說明
      連至 Dataverse 環境的連線能力	Datastream 會驗證是否能連線至來源 Dataverse 環境。
      Dataverse 使用者授權	Datastream 會驗證用於連線至來源環境的應用程式使用者，是否具備所有必要的讀取的權限。必須具備讀取的權限，才能從環境擷取資料表和資料，讓 Datastream 將這項資訊串流至目的地。
      IP 限制	Datastream 會驗證其公開 IP 位址是否可連線至 Dataverse 執行個體端點。
      `modifiedon` 欄位存在與否	Datastream 會驗證「modifiedon」欄位是否存在，且在複製的資料表中是否可靠，以便進行增量同步。
      Cloud Storage 或 BigQuery 權限	Datastream 會確認是否具備寫入目的地的必要權限。

   9. 如果來源執行個體是 Workday，Datastream 會執行下列檢查：

      檢查	說明
      憑證登入	Datastream 會驗證 Workday 的 OAuth 2.0 驗證。
      ISU 權限	Datastream 會驗證整合系統使用者是否具備必要的網域安全性政策權限。
      報表效度	Datastream 會確保所選物件確實存在，且可透過 Report as a Service (RaaS) 解決方案存取。

   如果通過驗證檢查，驗證檢查左側會顯示勾號圖示。

   如果驗證檢查未通過，檢查左側會顯示驚嘆號圖示，下方則會顯示「查看錯誤詳細資料」按鈕。點選按鈕後，系統會顯示對話方塊視窗，說明檢查未通過的原因，以及修正問題的方法。完成修正後，請按一下「重新驗證」。

   如要進一步瞭解如何排解未通過驗證檢查的問題，請參閱「診斷問題」。

3. 通過所有驗證檢查後，按一下「CREATE & START」(建立並啟動)，即可建立串流並立即啟動；或按一下「CREATE」(建立)，即可建立串流，但不立即啟動。

   如果現在不立刻開播，可以稍後在「Streams」頁面點選「START」來啟動。

   注意： 串流建立程序可能會增加來源資料庫的負載。如要延後負載，請建立串流但不啟動，等到可以承受負載時再啟動串流。

建立串流後，您可以查看概略和詳細資訊。

使用自動化流程建立串流

您可以使用自動串流設定，直接在 Google Cloud的 Cloud SQL 總覽頁面建立串流。自動化流程可簡化串流建立程序，適用於從 PostgreSQL 適用的 Cloud SQL、MySQL 適用的 Cloud SQL 或 SQL Server 適用的 Cloud SQL 執行個體複製到 BigQuery。

如要瞭解如何使用自動串流設定流程，請參閱「使用自動流程建立串流」。

後續步驟

• 如要進一步瞭解串流，請參閱「串流生命週期」。
• 如要瞭解如何執行串流，請參閱「執行串流」。
• 如要瞭解如何修改串流，請參閱「修改串流」。
• 如要瞭解如何復原串流，請參閱「復原串流」。