追蹤管道構件的歷程

使用 Agent Platform Pipelines 建立的每個管道執行作業，都會有數個相關聯的構件和參數，例如模型、資料集、管道範本和元件。管道構件的歷程包括促成構件建立的因素，以及衍生自構件的構件和中繼資料。舉例來說，模型的歷程可以包括下列項目：

  • 用於建立模型的訓練、測試和評估資料。

  • 模型訓練期間使用的超參數。

  • 訓練和評估程序記錄的中繼資料，例如模型的準確度。

  • 衍生自這個模型的構件，例如批次預測結果。

您可以運用這項中繼資料來解答下列問題：

  • 為什麼特定管道執行作業會產生特別準確的模型？

  • 哪個管道執行作業產生最準確的模型？訓練模型時使用了哪些超參數？

  • 視管道中的步驟而定，您或許可以回答系統管理問題。舉例來說，您可以使用中繼資料，判斷特定時間點實際工作環境中的模型版本。

如要查看及分析管道構件歷程，可以使用 Vertex ML Metadata 或 Knowledge Catalog。

下表列出 Vertex ML Metadata 和 Knowledge Catalog 的差異：

功能 Vertex ML Metadata Knowledge Catalog
擷取的管道中繼資料類型 管道執行作業產生的所有輸入和輸出構件。 可對應至 Knowledge Catalog 支援的完整名稱 (FQN) 的輸入和輸出構件，通常是使用 Google Cloud 管道元件。
地理位置 單一區域讀取。 全域讀取，也就是跨越多個區域。
專案 單一專案讀取。 跨多個專案的機構範圍讀取作業。
已整合的服務 與 Agent Platform Pipelines、Gemini Enterprise Agent Platform Experiments、Gemini Enterprise Agent Platform Model Registry 和 Datasets 整合。 整合多項 Google Cloud 產品，例如 Gemini Enterprise Agent Platform、BigQuery、Managed Service for Apache Airflow 和 Managed Service for Apache Spark。
要啟用嗎？ 否，一律開啟。 啟用 Data Lineage API，即可為每個專案選擇加入。

將 Vertex ML Metadata 構件對應至 Knowledge Catalog

如要將 Vertex ML Metadata 構件對應至 Knowledge Catalog 中的 FQN，請完成下列步驟：

  • 建立 Agent Platform 模型和受管理資料集時，請使用 Google Cloud 管道元件。

  • 在 metadata 欄位中指定模型或受管理資料集資源名稱時，請使用自訂結構定義標題 (google.VertexDataset 或 google.VertexModel)，如下列範例所示：

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

使用 Vertex ML Metadata 分析管道構件的歷程

使用 Agent Platform Pipelines 執行管道時，管道執行的構件和參數會透過 Vertex ML Metadata 儲存。Vertex ML Metadata 可儲存管道的中繼資料，讓您輕鬆分析管道構件的歷程。

如果您是 Vertex 機器學習中繼資料的新手，請參閱 Vertex 機器學習中繼資料簡介。

請按照下列操作說明，使用 Vertex ML Metadata 查看管道構件的歷程圖：

  1. 前往 Google Cloud 控制台的 Gemini Enterprise Agent Platform 專區，然後前往「Metadata」頁面。

    前往「中繼資料」

    「中繼資料」頁面會列出在預設中繼資料儲存庫中建立的構件。

  2. 在「Region」(區域) 下拉式清單中，選取建立執行作業的區域。

  3. 按一下構件的「顯示名稱」，即可查看其沿襲圖。

    系統會顯示靜態圖表，當中包含這個沿襲圖表中的構件和執行作業。

  4. 按一下構件或執行作業，即可瞭解詳情。

使用 Knowledge Catalog 分析管道構件的歷程

Knowledge Catalog 會探索Google Cloud 資源的中繼資料，包括 Agent Platform Pipelines 構件，例如模型、代管資料集，以及 Knowledge Catalog 中可探索的其他Google Cloud 資源。您可以使用 Knowledge Catalog 的中繼資料搜尋功能探索這些構件，並查看歷程圖表。

如要進一步瞭解 Knowledge Catalog 中繼資料搜尋功能，請參閱「在 Knowledge Catalog 中搜尋資源」。

請注意，在支援 Agent Platform Pipelines 的部分區域，可能無法使用 Knowledge Catalog。如果您的區域不支援 Knowledge Catalog，請改用 Vertex ML Metadata。查看 Knowledge Catalog 支援的區域清單。

如要在 Knowledge Catalog 中查看管道構件的歷程圖，請按照下列操作說明操作：

  1. 如要在 Google Cloud 控制台中啟動 Knowledge Catalog 搜尋查詢，請前往 Knowledge Catalog 的「Search」(搜尋) 頁面。

    前往「搜尋」

  2. 使用篩選器搜尋構件。舉例來說，您可以使用「資料類型」篩選器指定構件類型，例如模型、資料集或 BigQuery 資料表。詳情請參閱「在 Knowledge Catalog 中搜尋資源」。

    您也可以在搜尋欄位中定義查詢。

  3. 如要查看構件的歷程，請依序點選構件名稱和「歷程」分頁標籤。

    在歷程圖中，Agent Platform 程序會以 Agent Platform 沿襲圖示 開頭。包括管道構件、管道元件和管道範本。

    • 如要查看程序的詳細資料，請在歷程圖中點擊該程序。

    • 如果是以管線執行作業中的管線工作為基礎的程序，您可以執行下列操作：

      • 如要在 Agent Platform 中查看管道執行作業，請按一下「詳細資料」分頁中的「在 Agent Platform 開啟」。如要查看管道執行的執行階段詳細資料 (例如狀態、時間戳記和屬性)，請按一下「更多」。如要在 Agent Platform 中查看管道執行作業，請按一下「Open in Agent Platform」(在 Agent Platform 中開啟)。

    • 如果是以管道範本為基礎的程序，您可以執行下列操作：

      • 如要在 Agent Platform 中查看範本詳細資料，請按一下「詳細資料」分頁中的「在 Agent Platform 中開啟」。

      • 在「執行作業」分頁中，查看管道執行作業中建立的管道工作清單。如要在 Agent Platform 中查看管道範本的詳細資料，請依序點選「更多」和「在 Agent Platform 中開啟」。

後續步驟