本文档介绍了 Google Kubernetes Engine 部署如何使用 Google Cloud Managed Service for Prometheus 从 llm-d 收集指标。llm-d 由 llm-d 路由器（端点选择器，以独立模式或网关模式与 GKE Gateway 一起部署）和模型服务器（例如 vLLM）组成。
如需了解如何从 llm-d 路由器和 vLLM 收集指标，请参阅以下内容：
- llm-d 路由器 (EPP)：使用 llm-d Helm 图表部署路由器时，请添加
monitoring-gke.values.yaml配方（router.monitoring.provider.name=gmp和router.monitoring.prometheus.enabled=true），以在工作负载命名空间中自动创建PodMonitoring资源和指标读取器Secret。对于独立 GKE Inference Gateway 部署或 v0.8.0 之前的 llm-d 版本，请参阅 GKE Inference Gateway。 -
vLLM：启用
自动应用监控，或使用本文档中所述的
PodMonitoring配置来映射llm-d.ai/rolePod 标签，以实现预填充/解码 (P/D) 解耦。
这些文档中的说明仅在您将 代管式收集功能与 Managed Service for Prometheus 搭配使用时适用。如果您使用的是自行部署的收集功能，请参阅 llm-d 文档。
配置 llm-d Router 和 vLLM 后，您可以在 Cloud Monitoring 中访问预定义的信息中心以查看指标。
前提条件
如需使用 Managed Service for Prometheus 和代管式收集功能从 llm-d 收集指标，您的部署必须满足以下要求：
- 您的集群必须运行 Google Kubernetes Engine 1.28.15-gke.2475000 或更高版本。
- 您必须运行 Managed Service for Prometheus，并启用代管式收集功能。如需了解详情，请参阅代管式收集功能使用入门。
如需按 llm-d.ai/role Pod 标签（例如预填充/解码解聚中的 prefill 和 decode）对 vLLM 指标进行分组，请在工作负载命名空间中应用以下 PodMonitoring 资源：
apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
name: llm-d-metrics
spec:
selector:
matchLabels:
llm-d.ai/InferenceServing: "true"
endpoints:
- port: 8000
interval: 15s
path: /metrics
targetLabels:
fromPod:
- from: llm-d.ai/role
to: role
metadata:
- pod
- container
- node
- top_level_controller_name
- top_level_controller_type
查看信息中心
Cloud Monitoring 集成包括以下适用于独立模式和网关模式的统一信息中心（当 llm-d 代理使用 GKE Inference Gateway 时，系统会填充“应用负载均衡器”部分）：
- llm-d 概览：适用于 llm-d v0.8.0 及更高版本（查询
llm_d_epp_*EPP 指标以及应用负载均衡器、GPU 网络和 vLLM 指标）。 - llm-d 概览（< v0.8.0）：适用于 v0.8.0 之前的 llm-d 版本（查询
inference_objective_*指标）。
当您配置集成时，系统会自动安装信息中心。您还可以在不安装集成的情况下查看信息中心的静态预览。
如需查看已安装的信息中心，请执行以下操作：
-
在 Google Cloud 控制台中，前往 信息中心页面：
如果您使用搜索栏查找此页面，请选择子标题为监控的结果。
- 选择信息中心列表标签页。
- 选择集成类别。
- 点击您要查看的信息中心的名称。
如需查看信息中心的静态预览，请执行以下操作：
-
在 Google Cloud 控制台中，前往
集成页面：
如果您使用搜索栏查找此页面，请选择子标题为监控的结果。
- 点击 Kubernetes Engine 部署平台过滤条件。
- 找到 llm-d 集成，然后点击查看详情。
- 选择信息中心标签页。