Agent Platform Pipelines 可讓您以無伺服器的方式,使用機器學習 (ML) 管道自動化、監控及管理機器學習系統,藉此自動化調度管理機器學習工作流程。您可以使用 Kubeflow Pipelines 或 TensorFlow Extended (TFX) 架構定義的機器學習管道,批次執行工作。如要瞭解如何選擇定義機器學習管道的架構,請參閱「定義管道的介面」。
本頁概略說明下列內容:
為機器學習工作負載選擇合適的自動調度管理工具
如果您是機器學習工程師,使用 Kubeflow Pipelines 或 TFX 建構專門的容器原生機器學習工作流程,且管線完全在 Agent Platform 和 Google Cloud生態系統中執行,請選擇 Agent Platform Pipelines。
如果您要建構端對端 MLOps 程序,需要整合資料工程和機器學習,請選擇 Managed Service for Apache Airflow。Managed Airflow 具備Orchestration Pipelines,這是一種宣告式 YAML 架構,可讓資料科學家自動調度管理特徵工程 (例如 Dataform 或 dbt 管道) 和分散式 ML 處理 (例如 Managed Service for Apache Spark 上的 PySpark),不必編寫複雜的 Python DAG。
什麼是機器學習管道?
機器學習 pipeline 是可攜式且可擴充的 MLOps 工作流程說明,由一系列稱為 pipeline 工作的步驟組成。每項工作都會執行工作流程中的特定步驟,訓練及部署機器學習模型。
您可以使用機器學習管道,套用 MLOps 策略,自動化及監控機器學習實務中可重複執行的程序。舉例來說,您可以重複使用 pipeline 定義,根據最新的正式環境資料持續重新訓練模型。如要進一步瞭解 Gemini Enterprise 的 MLOps,請參閱「Gemini Enterprise API 的 MLOps」。
機器學習管道的結構
機器學習管道是由容器化管道工作組成的有向無環圖 (DAG),這些工作會透過輸入/輸出依附元件相互連結。您可以使用 Python 或預先建構的容器映像檔,編寫各項工作。
您可以使用 Kubeflow Pipelines SDK 或 TFX SDK,將管道定義為 DAG,並編譯成 YAML 格式的中繼表示法,然後執行管道。根據預設,管道工作會平行執行。您可以連結工作,依序執行。如要進一步瞭解管道工作,請參閱「管道工作」。如要進一步瞭解定義、編譯及執行 pipeline 的工作流程,請參閱「機器學習 pipeline 的生命週期」。
管道工作和元件
管道任務是管道元件的例項化,具有特定輸入內容。定義機器學習管道時,您可以將某個管道工作的輸出內容,轉送至機器學習工作流程中下一個管道工作的輸入內容,藉此連結多項工作,形成 DAG。您也可以將機器學習管道的輸入內容,做為管道工作的輸入內容。
管道元件
管道元件是一組獨立的程式碼,用於執行機器學習工作流程的特定步驟,例如資料前處理、模型訓練或模型部署。元件通常包含下列項目:
輸入:元件可能有一或多個輸入參數和構件。
輸出:每個元件都有一或多個輸出參數或構件。
邏輯:這是元件的可執行程式碼。如果是容器化元件,邏輯也會包含元件執行環境或容器映像檔的定義。
元件是定義機器學習管道中工作的基礎。如要定義管道任務,您可以使用預先定義的 Google Cloud Pipeline 元件,也可以自行建立自訂元件。
預先定義的元件
如要在管道中使用 Gemini Enterprise API 的功能 (例如 AutoML),請使用預先定義的 Google Cloud 管道元件。如要瞭解如何使用 Google Cloud Pipeline Components 定義管道,請參閱「建構管道」。
自訂元件
您可以自行編寫自訂元件,用於機器學習管線。如要進一步瞭解如何編寫自訂元件,請參閱「建構自己的管道元件」。
如要瞭解如何編寫自訂 Kubeflow Pipelines 元件,請參閱 GitHub 上的「Pipelines with lightweight components based on Python functions」(以 Python 函式為基礎、具有輕量元件的管道) 教學筆記本。如要瞭解如何編寫自訂 TFX 元件,請參閱「TensorFlow Extended in Production」教學課程中的「TFX Python 函式元件教學課程」。
管道工作
pipeline 工作是 pipeline 元件的例項化,會在機器學習工作流程中執行特定步驟。您可以使用 Python 或預先建構的容器映像檔,編寫機器學習管道工作。
在工作中,您可以運用 Gemini Enterprise Agent Platform 的隨選運算功能和 Kubernetes,以可擴充的方式執行程式碼,或將工作負載委派給其他執行引擎,例如 BigQuery、Dataflow 或 Managed Service for Apache Spark。
機器學習管道的生命週期
從定義到執行和監控,機器學習管道的生命週期包含下列高階階段:
定義:定義機器學習管道及其工作的程序,也稱為建構管道。在這個階段,您需要執行下列步驟:
編譯:在這個階段,您需要執行下列步驟:
在編譯的 YAML 檔案中產生機器學習管道定義,用於中繼表示法,以便執行機器學習管道。
選用:您可以將編譯的 YAML 檔案做為管道範本上傳至存放區,並重複使用該檔案來建立機器學習管道執行作業。
執行:使用編譯的 YAML 檔案或 pipeline 範本,建立機器學習 pipeline 的執行個體。管道定義的執行個體稱為管道執行作業。
您可以建立一次性的管道執行作業,或使用排程器 API,根據相同的機器學習管道定義建立週期性管道執行作業。您也可以複製現有的管道執行作業。如要瞭解如何選擇執行機器學習管道的介面,請參閱「執行管道的介面」。如要進一步瞭解如何建立管道執行作業,請參閱「執行管道」。
監控、視覺化及分析執行作業:建立管道執行作業後,您可以執行下列操作,監控管道執行作業的效能、狀態和成本:
設定管道失敗的電子郵件通知。詳情請參閱「設定電子郵件通知」。
使用 Cloud Logging 建立監控事件的記錄項目。詳情請參閱「查看管道工作記錄」。
以圖表呈現、分析及比較管道執行作業。詳情請參閱「以圖表呈現及分析管道結果」。
使用 Cloud Billing 匯出至 BigQuery,分析管道執行成本。詳 ion 請參閱「瞭解管道執行費用」。
選用:停止或刪除管道執行作業:管道執行作業的執行時間沒有限制。您也可以視需要執行下列操作:
停止執行管道。
暫停或繼續執行管道執行排程。
刪除現有的管道範本、管道執行作業或管道執行作業排程。
什麼是管道執行作業?
管道執行作業是機器學習管道定義的執行個體。每個管道執行作業都有不重複的執行作業名稱。使用 Agent Platform Pipelines,您可以透過下列方式建立機器學習管道執行作業:
使用已編譯的管道 YAML 定義
使用範本庫中的管道範本
如要進一步瞭解如何建立管道執行作業,請參閱「執行管道」。如要進一步瞭解如何透過管道範本建立管道執行作業,請參閱「建立、上傳及使用管道範本」。
如要瞭解如何使用 Agent Platform ML Metadata 擷取及儲存管道執行作業中繼資料,請參閱「使用 Agent Platform ML Metadata 追蹤機器學習構件歷程」。
如要瞭解如何使用 Gemini Enterprise Agent Platform Experiments,透過 pipeline 執行作業測試機器學習工作流程,請參閱「將 pipeline 執行作業新增至實驗」。
追蹤機器學習構件的歷程
管道執行作業包含多個構件和參數,包括管道中繼資料。如要瞭解機器學習系統的效能或準確度變化,您必須分析機器學習管道執行作業中的中繼資料和機器學習構件歷程。機器學習構件的歷程包含所有促成其建立的因素,以及中繼資料和衍生自該構件的構件參照。
歷程圖可協助您分析上游根本原因和下游影響。每次執行管道時,系統都會產生參數和構件歷程圖,這些參數和構件會輸入至執行作業、在執行作業中具體化,並從執行作業輸出。構成這個歷程圖的中繼資料會儲存在 Agent Platform ML Metadata。這類中繼資料也可以同步至 Knowledge Catalog。
使用 Agent Platform ML Metadata 追蹤管道構件歷程
使用 Agent Platform Pipelines 執行管道時,管道耗用及產生的所有參數和構件中繼資料,都會儲存在 Agent Platform ML Metadata。Agent Platform ML Metadata 是 TensorFlow 中 ML Metadata 程式庫的代管實作,支援註冊及寫入自訂中繼資料結構定義。在 Agent Platform Pipelines 中建立管道執行作業時,系統會將管道執行作業的中繼資料,儲存在執行管道的專案和區域預設中繼資料儲存庫。
使用 Knowledge Catalog 追蹤管道構件歷程
Knowledge Catalog 是全域且跨專案的 data fabric,與 Google Cloud內的多個系統整合,例如 Agent Platform、BigQuery 和 Managed Service for Apache Airflow。在 Knowledge Catalog 中,您可以搜尋 pipeline 構件並查看其歷程圖。請注意,為避免構件衝突,Knowledge Catalog 中編錄的所有資源都會以完整名稱 (FQN) 識別。
如要進一步瞭解如何使用 Agent Platform 機器學習中繼資料和 Knowledge Catalog 追蹤機器學習構件的歷程,請參閱「追蹤管道構件的歷程」。
如要進一步瞭解如何以圖表呈現、分析及比較管道執行作業,請參閱「以圖表呈現及分析管道結果」。如需 Google Cloud Pipeline 元件中定義的第一方構件類型清單,請參閱「機器學習中繼資料構件類型」。
將管道執行作業新增至實驗
Agent Platform Experiments 可讓您追蹤及分析各種模型架構、超參數和訓練環境,找出最適合機器學習用途的模型。建立機器學習管道執行作業後,您可以將其與實驗或實驗執行作業建立關聯。這樣一來,您就能測試不同的變數組合,例如超參數、訓練步驟數或疊代次數。
如要進一步瞭解如何使用 Agent Platform 實驗功能測試機器學習工作流程,請參閱「Agent Platform 實驗功能簡介」。