BigQuery Pipelines 簡介
您可以使用 BigQuery 管道，自動執行並簡化 BigQuery 資料程序。您可以透過管道依序排定及執行程式碼資產，提高效率並減少手動作業。
總覽
管道是由 Dataform 支援。 除了執行程式碼資產，Dataform 還會自動更新 Knowledge Catalog 中管道內建立的資料表的中繼資料。
管線包含下列一或多個程式碼資產：
您可以使用管道排定程式碼資產的執行時間。舉例來說，您可以排定每天執行 SQL 查詢，並使用最新的來源資料更新資料表，然後將資料表用於資訊主頁。
在含有多個程式碼資產的管道中，您可以定義執行順序。舉例來說，如要訓練機器學習模型，您可以建立工作流程，其中 SQL 查詢會準備資料，然後後續的筆記本會使用該資料訓練模型。
觸發管道執行時，BigQuery 會依據動作的依附元件定義順序執行動作。針對每項動作，BigQuery 會執行下列步驟：
- 在 BigQuery 中執行編譯後的 SQL。
- 更新執行記錄中的動作狀態。
- 動作完成後，Dataform 會自動啟動中繼資料同步作業，將資料同步至 Knowledge Catalog (預覽版)。這項擴充程序會使用 SQLX 設定中定義的語意中繼資料，更新 Knowledge Catalog。同步作業會以非同步方式進行，並採用重試機制，確保如果 Dataplex API 暫時無法使用，中繼資料更新不會影響管道延遲，也不會導致工作流程失敗。
功能
您可以在管道中執行下列操作：
限制
管道有下列限制：
- 管道僅適用於 Google Cloud 控制台。
- 管道建立後，就無法變更儲存管道的區域。
- 您可以授予使用者或群組所選管道的存取權，但無法授予管道中個別工作的存取權。
- 如果排定的管道執行作業未在下一個排定執行作業開始前完成，系統會略過下一個排定執行作業，並標示為錯誤。
設定程式碼資產的預設區域
Google Cloud 專案中的所有新程式碼資產都會使用預設區域。資產建立後，就無法變更區域。
如要為新的程式碼資產設定預設區域，請按照下列步驟操作：
前往「BigQuery」頁面
在左側窗格中，按一下「檔案」開啟檔案瀏覽器：
在專案名稱旁，按一下 「查看檔案面板動作」>「切換程式碼區域」。
選取要設為預設的程式碼區域。
按一下 [儲存]。
如需支援的區域清單，請參閱「BigQuery Studio 位置」。
所有程式碼資產都會儲存在程式碼資產的預設區域中。更新預設區域後，之後建立的所有程式碼資產都會使用新的區域。
配額與限制
BigQuery 管道須遵守 Dataform 配額和限制。
定價
執行 BigQuery 管道工作時，BigQuery 會收取運算和儲存空間費用。詳情請參閱 BigQuery 計價方式一文。
含有筆記本的管道會根據預設機型產生 Colab Enterprise 執行階段費用。 如需定價詳細資料，請參閱 Colab Enterprise 定價。
系統會使用 Cloud Logging 記錄每次 BigQuery 管道執行作業。BigQuery 管道執行作業會自動啟用記錄功能，這可能會產生 Cloud Logging 帳單費用。詳情請參閱 Cloud Logging 定價。