查看 Vertex AI Inference AI AutoMetrics

本文說明如何使用 AI AutoMetrics，監控 Gemini Enterprise Agent Platform 上的 AI 工作負載。

AI AutoMetrics 讓您只需進行最少設定，即可監控模型的效能和健康狀態。這項功能可讓您立即深入瞭解在 Vertex AI Inference 上執行的自訂容器和模型。

事前準備

  1. 請確認您有 Gemini Enterprise Agent Platform 端點，且部署的模型使用支援架構的容器。
  2. 確認專案已啟用 Cloud Monitoring。詳情請參閱「啟用 Cloud Monitoring API」。

使用 AI AutoMetrics

如要在 Metrics Explorer 查看 AI AutoMetrics，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Metrics Explorer」頁面。

    前往「Metrics Explorer」。

  2. 在「Select a metric」(選取指標) 下方，選取「Prometheus Target」(Prometheus 目標)。

  3. 在「使用中的指標類別」下方，選取「Vertex」。

  4. 在「Active metrics」(使用中的指標) 下方，選取所需指標。

  5. 按一下「套用」。

您也可以使用 Grafana 或 Prometheus API 或 UI 查詢指標。

支援的架構

AI AutoMetrics 支援下列架構：

架構 合格端點 合格指標
vLLM 與 Prometheus 相容的 /metrics 端點 前置字串為 vllm: 的指標

運作方式

Gemini Enterprise Agent Platform 會按照預先定義的時間間隔，自動抓取容器的 /metrics 端點。接著，所有符合資格的指標都會匯出至Google Cloud Google Cloud Managed Service for Prometheus，您可以在該服務中分析及視覺化這些指標。

指標命名和標籤

AI AutoMetrics 收集的指標會按照 vertex_* 命名慣例，擷取至 Cloud Monitoring。

為方便篩選及分組，AI AutoMetrics 會自動為每項指標附加下列 Gemini Enterprise Agent Platform 標籤：

  • deployed_model_id：已部署模型的 ID，用於提供推論要求。
  • model_display_name：已部署模型的顯示名稱。
  • replica_id：已部署模型副本 (Pod 名稱) 的專屬 ID。
  • endpoint_id：模型端點的 ID。
  • endpoint_display_name：模型端點的顯示名稱。
  • product：Gemini Enterprise Agent Platform 的功能名稱。一律為「Online Inference」(線上推論)。

後續步驟