BigQuery Pipelines 簡介
您可以使用 BigQuery 管道，自動執行並簡化 BigQuery 資料程序。您可以透過管道依序排定及執行程式碼資產，提高效率並減少手動作業。
總覽
管道由 Dataform 提供支援。
管線包含下列一或多個程式碼資產：
您可以使用管道排定程式碼資產的執行時間。舉例來說，您可以排定每天執行 SQL 查詢，並使用最新的來源資料更新資料表，然後將資料表用於資訊主頁。
在含有多個程式碼資產的管道中，您可以定義執行順序。舉例來說，如要訓練機器學習模型，您可以建立工作流程，其中 SQL 查詢會準備資料，然後後續的筆記本會使用該資料訓練模型。
功能
您可以在管道中執行下列操作：
- 建立新的或匯入現有的 SQL 查詢或 Notebooks 到管道中。
- 排定管道時間表，在指定時間和頻率自動執行。
- 與指定使用者或群組共用管道。
- 分享管道連結。
限制
管道有下列限制：
- 管道僅適用於 Google Cloud 控制台。
- 管道建立後，就無法變更儲存管道的區域。
- 您可以授予使用者或群組所選管道的存取權，但無法授予管道中個別工作的存取權。
- 如果排定的管道執行作業未在下一個排定作業開始前完成，系統會略過下一個排定作業，並標示為錯誤。
設定程式碼資產的預設區域
Google Cloud 專案中的所有新程式碼資產都會使用預設區域。資產建立後，就無法變更區域。
如要為新的程式碼資產設定預設區域，請按照下列步驟操作：
前往「BigQuery」頁面
點選左側窗格中的 「檔案」，開啟檔案瀏覽器：
在專案名稱旁，按一下 「查看檔案面板動作」>「切換程式碼區域」。
選取要設為預設的程式碼區域。
按一下 [儲存]。
如需支援的區域清單，請參閱「BigQuery Studio 位置」。
所有程式碼資產都會儲存在程式碼資產的預設區域中。更新預設區域後，之後建立的所有程式碼資產都會使用新的區域。
配額與限制
BigQuery 管道須遵守 Dataform 配額和限制。
定價
執行 BigQuery 管道工作時，BigQuery 會收取運算和儲存空間費用。詳情請參閱 BigQuery 計價方式一文。
含有筆記本的管道會根據預設機型產生 Colab Enterprise 執行階段費用。 如需定價詳細資料，請參閱 Colab Enterprise 定價。
系統會使用 Cloud Logging 記錄每次 BigQuery 管道執行作業。BigQuery 管道執行作業會自動啟用記錄功能，這可能會產生 Cloud Logging 帳單費用。詳情請參閱 Cloud Logging 定價。