本頁面說明如何管理已部署管道的設定。
事前準備
運算設定檔設定
您可以變更運算設定檔，或自訂執行管道的預設運算設定檔參數。詳情請參閱「管理運算設定檔」和「Managed Service for Apache Spark 佈建器屬性」。
管道設定
您可以為每個管道啟用或停用檢測，例如時間指標。根據預設，系統會啟用插碼功能。如果啟用檢測功能，當您執行管道時，Cloud Data Fusion 會為每個管道節點產生指標。每個節點的「指標」分頁都會顯示下列指標。來源、轉換和接收器指標略有不同。
- 記錄輸出
- 記錄
- 錯誤總數
- 每秒傳送的記錄數量
- 最短處理時間 (單一記錄)
- 單一記錄的處理時間上限
- 標準差
- 平均處理時間
除非環境資源不足，否則建議您一律開啟插碼功能。
如果是串流管道，您也可以為串流資料設定「批次間隔」(秒/分鐘)。
引擎設定
Apache Spark 是預設的執行引擎。您可以傳遞 Spark 的自訂參數。詳情請參閱「並行處理」。
資源
您可以為 Spark 驅動程式和執行器指定記憶體和 CPU 數量。驅動程式會調度管理 Spark 工作。執行器會處理 Spark 中的資料。詳情請參閱「資源管理」。
管道警報
您可以設定管道，在管道執行完畢後傳送快訊並啟動後續處理工作。設計管道時，您可以建立管道快訊。部署管道後，您就可以查看快訊。您可以編輯管道來變更快訊設定。詳情請參閱「建立快訊」。
轉換下推式廣告
如要讓管道在 BigQuery 中執行特定轉換作業，可以啟用「轉換下推」設定。詳情請參閱轉換下推總覽。
後續步驟
- 進一步瞭解如何在 Cloud Data Fusion 中查看及下載管道記錄。