監控模型

本文說明如何在 Gemini Enterprise Agent Platform，監控全代管模型的行為、健康狀態和效能。說明如何使用預先建構的模型觀測能力資訊主頁，深入瞭解模型用量、找出延遲問題及排解錯誤。

您會學到下列內容：

  • 存取及解讀模型觀測能力資訊主頁。
  • 查看可用的監控指標。
  • 使用 Metrics Explorer 監控模型端點流量。

存取及解讀模型觀測能力資訊主頁

Agent Platform 提供預先建構的模型觀測能力資訊主頁，可查看全代管模型的行為、健康狀態和效能。全代管模型也稱為模型即服務 (MaaS)，由 Google 提供，包括 Google 的 Gemini 模型和合作夥伴模型，並提供代管端點。資訊主頁不含自行託管模型的指標。

Agent Platform 會自動收集並回報 MaaS 模型的活動，協助您快速排解延遲問題及監控容量。

Cloud 控制台中的模型觀測能力資訊主頁範例
模型觀測能力資訊主頁範例

用途

應用程式開發人員可以查看使用者與公開模型的互動情形。舉例來說，您可以查看模型用量 (每秒模型要求數) 和使用者提示的運算強度 (模型叫用延遲時間) 隨時間變化的趨勢。因此，由於這些指標與模型用量相關，您也可以估算執行各模型的費用。

發生問題時，您可以透過資訊主頁快速排解。您可以查看 API 錯誤率、第一個詞元延遲時間和詞元處理量，確認模型是否能及時可靠地回覆。

可用的監控指標

模型觀測能力資訊主頁會顯示 Cloud Monitoring 收集的部分指標，例如每秒模型要求數 (QPS)、詞元處理量和第一個詞元延遲時間。查看資訊主頁，瞭解所有可用指標。

限制

Agent Platform 只會擷取模型端點 API 呼叫的資訊主頁指標。 Google Cloud 控制台用量 (例如 Agent Studio 的指標) 不會新增至資訊主頁。

查看資訊主頁

  1. 前往 Google Cloud 控制台「Agent Platform」部分的「Dashboard」(資訊主頁) 頁面。

前往 Agent Platform 1. 在資訊主頁的「Model observability」(模型觀測能力) 下方，點選「Show all metrics」(顯示所有指標)，即可在 Google Cloud Observability 控制台查看模型觀測能力資訊主頁。

  1. 如要查看特定模型或位置的指標，請在資訊主頁頁面頂端設定一或多個篩選器。

    如需各項指標的說明，請參閱Google Cloud 指標頁面的「aiplatform」一節。

查看 1 秒解析度

啟用推論要求中繼資料記錄功能後，模型觀測能力資訊主頁會為現有圖表新增 1 秒解析度選項。1 秒選項會讀取推論要求中繼資料記錄，而非 1 分鐘匯總指標，因此會顯示 1 分鐘平均值隱藏的突發流量。

如要使用 1 秒選項，專案必須啟用推論要求中繼資料記錄功能，並將 _Default 記錄檔 bucket 升級為使用 Observability Analytics。如要啟用記錄功能，請參閱「啟用推論要求中繼資料記錄」。

如要查看，請按一下「Show all metrics」(顯示所有指標)，開啟模型觀測能力資訊主頁。支援 1 秒解析度的圖表，其標頭中會有下拉式選單：每秒模型要求數 (QPS)、依模型劃分的詞元數量、依回應代碼劃分的模型叫用次數、模型叫用錯誤率 (%)，以及「詞元」部分中的圖表。每個下拉式選單都會保留現有的「1-minute resolution from metrics」(1 分鐘解析度 (指標)) 選項做為預設值，並新增「1-second resolution from logs」(1 秒解析度 (記錄)) 選項。選取 1 秒選項，並將時間範圍設為 200 秒以下，即可查看每秒一個資料點；如果時間範圍較長，每個資料點則是該值區中每秒的平均值。在啟用記錄功能之前，1 秒選項會顯示「這個視窗中沒有推論要求記錄。Turn on logging to see 1-second data.」字樣，而 1 分鐘選項則照常運作。

模型觀測能力圖表，已選取 1 秒解析度選項
模型觀測能力圖表，下拉式選單設為「1-second resolution from logs」(記錄中的 1 秒解析度) 選項。

監控模型端點流量

請按照下列操作說明，在 Metrics Explorer 中監控端點的流量。

  1. 前往 Google Cloud 控制台的「Metrics Explorer」頁面。

    前往 Metrics Explorer

  2. 選取要查看指標的專案。

  3. 在「指標」下拉式選單中，按一下「選取指標」。

  4. 在「Filter by resource or metric name」(依資源或指標名稱篩選) 搜尋列中，輸入 Gemini Enterprise Agent Platform Endpoint。

  5. 選取「Agent Platform 端點」>「預測」指標類別。在「有效指標」下方，選取下列任一指標：

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    按一下 [套用]。如要新增多個指標，請按一下「Add query」(新增查詢)。

    您可以使用下列下拉式選單篩選或匯總指標：

    • 如要根據指定條件選取及查看部分資料，請使用「Filter」(篩選器) 下拉式選單。舉例來說，如要篩選模型 gemini-2.0-flash-001，請使用 endpoint_id = gemini-2p0-flash-001 (請注意，模型版本中的 . 會替換為 p)。

    • 如要將多個資料點合併為單一值，並查看指標的摘要檢視畫面，請使用「Aggregation」(匯總) 下拉式選單。例如，您可以匯總 response_code 的總和。

  6. 您可以視需要為端點設定警告。詳情請參閱「管理警告政策」。

如要使用資訊主頁查看您新增至專案的指標，請參閱「資訊主頁總覽」。

後續步驟