工作流程總覽

本文將說明 Dataform 中工作流程的架構和執行方式。

您可以使用 Dataform 開發、測試及版本管控工作流程，並在 BigQuery 中執行這些工作流程，轉換資料以供分析。Dataform 工作流程可支援 BigQuery 管道、資料準備、筆記本和已儲存的查詢。

您可以使用 Dataform Core、SQLX 檔案和 JavaScript 檔案 (選用)，或使用 JavaScript 開發工作流程。

工作流程可包含下列物件：

資料來源聲明
BigQuery 資料來源的宣告，可讓您在 Dataform 資料表定義和 SQL 作業中參照這些資料來源。
Tables
您在 Dataform 中根據已宣告的資料來源或工作流程中的其他資料表建立的資料表。Dataform 支援下列資料表類型：資料表、遞增資料表、檢視區塊和具體化檢視區塊。
斷言
可用來驗證資料表資料的資料品質測試查詢。Dataform 會在每次更新工作流程時執行斷言，並在任何斷言失敗時發出快訊。
自訂 SQL 作業
Dataform 在 BigQuery 中執行的 SQL 陳述式，不會經過修改。
包含
包含變數和函式定義的 JavaScript 檔案，可在工作流程中重複使用。

使用資料工程代理進行開發

資料工程代理可根據自然語言提示生成程式碼和設定，協助您建構及維護 SQL 工作流程。除了 SQL 邏輯，代理程式還會主動填入 Knowledge Catalog 中繼資料 (預覽版)，例如欄位說明、資料表總覽，以及系統和類型資訊等一般切面，確保資料資產在建立後即可供探索。

詳情請參閱「使用 Data Engineering Agent 建構及修改資料管道」。

工作流程的視覺化呈現

您可以查看以有向無環圖 (DAG) 形式呈現的工作流程。DAG 會顯示工作區中定義的工作流程的所有物件，以及這些物件之間的關係。您可以在 DAG 中放大及縮小畫面，並使用拖曳導覽功能。如果工作流程中有編譯錯誤，Dataform 會顯示錯誤訊息，而不是 DAG。

如要查看工作流程的 DAG，請在工作區中按一下「已編譯的圖表」。

執行工作流程

您必須將自訂服務帳戶與 Dataform 存放區建立關聯，才能執行工作流程。所有其他存放區作業仍由預設的 Dataform 服務代理程式執行。

在開發工作區中，您可以手動觸發執行整個工作流程、選取動作或選取標記。

您可以透過 Dataform 版本設定和工作流程設定排定執行作業。首先，請建立發布設定，以便建立存放區的編譯結果。接著，建立工作流程設定、選取發布設定、選取要執行的工作流程動作，並設定執行時間表。

或者，您也可以使用 Managed Service for Apache Airflow，或 Workflows 和 Cloud Scheduler 來排定執行時間。

執行期間，Dataform 會在 BigQuery 中執行 SQL 查詢，並遵循工作流程中的物件依附元件順序。執行完畢後，您就可以在 BigQuery 中，將定義的資料表和檢視畫面用於所有分析用途。

執行作業設定選項

如要執行特定工作流程動作群組，可以將 Dataform 執行標記新增至所選檔案。然後，在手動觸發執行時，只執行具有所選標記的檔案。

根據預設，Dataform 會使用 workflow_settings.yaml 檔案中定義的執行設定來執行工作流程。

使用工作區編譯覆寫設定，您可以將工作區變成獨立的執行環境。也就是說，當您在工作區中手動觸發執行作業時，Dataform 會在 BigQuery 的獨立位置執行輸出內容。

如要建立及執行單一編譯結果，並使用編譯覆寫，可以透過 Dataform API 傳送要求。

透過發布設定，您可以為整個存放區設定編譯覆寫，以及使用套用設定建立編譯結果的頻率。

如要進一步瞭解如何在 Dataform 中設定編譯和程式碼生命週期，請參閱「Dataform 程式碼生命週期簡介」。

後續步驟