查看 Vertex AI Inference AI 自动指标

本文档介绍了如何使用 AI AutoMetrics 在 Vertex AI 上监控 AI 工作负载。

借助 AI AutoMetrics，您只需进行极少的配置即可监控模型的性能和运行状况。此功能旨在让您立即深入了解在 Vertex AI Inference 上运行的自定义容器和模型。

准备工作

  1. 确保您拥有一个Vertex AI 端点，其中包含一个已部署的模型，该模型使用具有受支持框架的容器。
  2. 确保您的项目已启用 Cloud Monitoring。如需了解详情，请参阅启用 Monitoring API。

使用 AI 自动指标

如需在 Metrics Explorer 中查看 AI AutoMetrics，请执行以下操作：

  1. 前往 Google Cloud 控制台中的 Metrics Explorer 页面。

    转到 Metrics Explorer

  2. 在选择一个指标下，选择 Prometheus 目标。

  3. 在活跃指标类别下，选择 Vertex。

  4. 在活跃指标下，选择所需的指标。

  5. 点击应用。

您还可以使用 Grafana 或 Prometheus API 或界面查询指标。

支持的框架

AI AutoMetrics 支持以下框架：

框架 符合条件的端点 符合条件的指标
vLLM Prometheus 兼容的 /metrics 端点 带有 vllm: 前缀的指标

工作原理

Vertex AI 会以预定义的时间间隔自动抓取容器的 /metrics 端点。然后，所有符合条件的指标都会导出到Google Cloud Google Cloud Managed Service for Prometheus，您可以在其中分析和直观呈现这些指标。

指标命名和标签

AI AutoMetrics 收集的指标会根据 vertex_* 命名惯例注入到 Cloud Monitoring 中。

为了便于过滤和分组，AI AutoMetrics 会自动为各指标附加以下 Vertex AI 补充标签：

  • deployed_model_id：用于处理推理请求的已部署模型的 ID。
  • model_display_name：已部署模型的显示名称。
  • replica_id：与已部署的模型副本（Pod 名称）对应的唯一 ID。
  • endpoint_id：模型端点的 ID。
  • endpoint_display_name：模型端点的显示名称。
  • product：Vertex AI 下的特征名称。始终为在线推理。

后续步骤