llm-d

本文档介绍 Google Kubernetes Engine 部署如何使用 Google Cloud Managed Service for Prometheus 从 llm-d 收集指标。llm-d 由许多组件组成，包括 GKE 推理网关和 vLLM。

如需了解如何从 GKE Inference Gateway 和 vLLM 收集指标，请参阅以下文档：

这些文档中的说明仅在您将 代管式收集功能与 Managed Service for Prometheus 搭配使用时适用。 如果您使用的是自行部署的收集功能，请参阅 llm-d 文档。

配置 GKE 推理网关和 vLLM 后，您可以在 Cloud Monitoring 中访问预定义的信息中心以查看指标。

前提条件

如需使用 Managed Service for Prometheus 和代管式收集功能从 llm-d 收集指标，您的部署必须满足以下要求：

  • 您的集群必须运行 Google Kubernetes Engine 1.28.15-gke.2475000 或更高版本。
  • 您必须运行 Managed Service for Prometheus，并启用代管式收集功能。如需了解详情，请参阅代管式收集功能使用入门。

您还必须更改 vLLM 的 PodMonitoring 资源配置。使用以下配置：

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/model: ms-pd-llm-d-modelservice
  endpoints:
  - port: 8200
    interval: 10s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

查看信息中心

Cloud Monitoring 集成包括 llm-d Prometheus 概览信息中心。当您配置集成时，系统会自动安装信息中心。您还可以在不安装集成的情况下查看信息中心的静态预览。

如需查看已安装的信息中心，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 信息中心页面：

    前往信息中心

    如果您使用搜索栏查找此页面，请选择子标题为监控的结果。

  2. 选择信息中心列表标签页。
  3. 选择集成类别。
  4. 点击信息中心的名称，例如 llm-d Prometheus 概览。

如需查看信息中心的静态预览，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 集成页面：

    前往集成

    如果您使用搜索栏查找此页面，请选择子标题为监控的结果。

  2. 点击 Kubernetes Engine 部署平台过滤条件。
  3. 找到 llm-d 集成，然后点击查看详情。
  4. 选择信息中心标签页。