查看 Vertex AI Inference AI AutoMetrics

本文說明如何使用 AI AutoMetrics 監控 Vertex AI 上的 AI 工作負載。

AI AutoMetrics 可讓您以最少的設定，監控模型的效能和健康狀態。這項功能旨在提供即時洞察資料，協助您瞭解在 Vertex AI Inference 上執行的自訂容器和模型。

事前準備

  1. 請確認您有Vertex AI 端點，且已部署模型使用支援架構的容器。
  2. 確認專案已啟用 Cloud Monitoring。詳情請參閱「啟用 Monitoring API」。

使用 AI 自動指標

如要在 Metrics Explorer 中查看 AI AutoMetrics，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Metrics Explorer」頁面。

    前往「Metrics Explorer」。

  2. 在「選取指標」下方，選取「Prometheus 目標」。

  3. 在「使用中的指標類別」下方，選取「Vertex」。

  4. 在「有效指標」下方，選取所需指標。

  5. 按一下「套用」。

您也可以使用 Grafana，或 Prometheus API 或 UI 查詢指標。

支援的架構

AI AutoMetrics 支援下列架構：

架構 符合資格的端點 符合資格的指標
vLLM 與 Prometheus 相容的 /metrics 端點 前置字串為 vllm: 的指標

運作方式

Vertex AI 會以預先定義的時間間隔，自動擷取容器的 /metrics 端點。所有符合資格的指標都會匯出至Google Cloud Google Cloud Managed Service for Prometheus，方便您分析及視覺化呈現這些指標。

指標命名和標籤

AI AutoMetrics 收集的指標會以 vertex_* 命名慣例，擷取至 Cloud Monitoring。

為方便篩選和分組，AI AutoMetrics 會自動為每個指標附加下列額外 Vertex AI 標籤：

  • deployed_model_id：已部署模型的 ID，用於處理推論要求。
  • model_display_name：已部署模型的顯示名稱。
  • replica_id：對應已部署模型副本的專屬 ID (Pod 名稱)。
  • endpoint_id：模型端點的 ID。
  • endpoint_display_name：模型端點的顯示名稱。
  • ：Vertex AI 底下的功能名稱。product一律為「線上推論」。

後續步驟