科學方法的重要一環是記錄觀察結果和實驗參數。在資料科學中,追蹤機器學習 (ML) 實驗中使用的參數、構件和指標也至關重要。這類中繼資料有助於:
- 分析正式環境機器學習系統的執行作業,瞭解預測品質的變化。
- 分析機器學習實驗,比較不同超參數組合的效果。
- 追蹤機器學習構件 (例如資料集和模型) 的歷程,瞭解哪些因素促成構件的建立,或該構件如何用於建立後續構件。
- 使用相同的構件和參數重新執行機器學習工作流程。
- 追蹤機器學習構件的下游使用情形,以便進行管理。
Agent Platform ML Metadata 可讓您記錄機器學習系統產生的中繼資料和構件,並查詢這些中繼資料,協助分析、偵錯及稽核機器學習系統或其產生的構件效能。
Agent Platform ML Metadata 是以 Google TensorFlow Extended 團隊開發的開放原始碼 ML Metadata (MLMD) 程式庫概念為基礎。
Agent Platform 機器學習中繼資料總覽
Agent Platform ML Metadata 會以圖表形式擷取機器學習系統的中繼資料。
在中繼資料圖中,構件和執行作業是節點,事件則是將構件連結為執行作業輸入或輸出的邊緣。情境代表子圖,用於以邏輯方式將一組構件和執行作業分組。
您可以將鍵/值組合中繼資料套用至構件、執行作業和情境。舉例來說,模型的中繼資料可能描述用於訓練模型的架構和成效指標,例如模型的準確率、精確度和召回率。
進一步瞭解如何追蹤機器學習系統的中繼資料。如要分析 Agent Platform Pipelines 的中繼資料,請參閱這份逐步教學課程。
機器學習構件歷程
如要瞭解機器學習系統的成效變化,您必須能夠分析機器學習工作流程產生的中繼資料,以及構件的歷程。構件歷程包含所有促成構件建立的因素,以及從這個構件衍生的構件和中繼資料。
舉例來說,模型的歷程可能包含下列項目:
- 用於建立模型的訓練、測試和評估資料。
- 模型訓練期間使用的超參數。
- 用於訓練模型的程式碼。
- 訓練和評估程序記錄的中繼資料,例如模型的準確率。
- 源自這個模型的構件,例如批次預測結果。
使用 Agent Platform ML Metadata 追蹤機器學習系統的中繼資料,即可回答下列問題:
- 某個模型是用哪個資料集訓練?
- 貴組織有哪些模型是使用特定資料集訓練而成?
- 哪次執行作業產生的模型最準確?訓練模型時使用了哪些超參數?
- 某個模型部署到哪些部署目標,以及部署時間為何?
- 在特定時間點,您使用哪個版本的模型建立預測?
進一步瞭解如何分析機器學習系統的中繼資料。