llm-d

In diesem Dokument wird beschrieben, wie Sie mit Google Kubernetes Engine Cloud Managed Service for Prometheus Messwerte von llm-d erfassen können. llm-d besteht aus dem llm-d-Router (Endpoint Picker, der im eigenständigen Modus oder im Gateway-Modus mit GKE Gateway bereitgestellt wird) und Modellservern wie vLLM.

Informationen zum Erfassen von Messwerten vom llm-d-Router und vLLM finden Sie hier:

  • llm-d-Router (EPP): Wenn Sie den Router mit dem llm-d-Helm-Diagramm bereitstellen, fügen Sie das Rezept monitoring-gke.values.yaml (router.monitoring.provider.name=gmp und router.monitoring.prometheus.enabled=true) hinzu, um die Ressource PodMonitoring und den Metrics-Reader Secret automatisch in Ihrem Arbeitslast-Namespace zu erstellen. Informationen zu eigenständigen GKE Inference Gateway-Bereitstellungen oder llm-d-Versionen vor v0.8.0 finden Sie unter GKE Inference Gateway.
  • vLLM: Aktivieren Sie das automatische Anwendungsmonitoring oder verwenden Sie die in diesem Dokument beschriebene PodMonitoring-Konfiguration, um das Pod-Label llm-d.ai/role für die Prefill/Decode (P/D)-Disaggregation zuzuordnen.

Die Anleitung in diesen Dokumenten gilt nur, wenn Sie die verwaltete Sammlung mit Managed Service for Prometheus verwenden. Wenn Sie eine selbst bereitgestellte Sammlung verwenden, finden Sie Informationen zur Installation in der llm-d-Dokumentation.

Nachdem Sie den llm-d-Router und vLLM konfiguriert haben, können Sie in Cloud Monitoring auf ein vordefiniertes Dashboard zugreifen, um die Messwerte anzusehen.

Vorbereitung

Zum Erfassen von Messwerten aus llm-d mithilfe von Managed Service for Prometheus und einer verwalteten Erfassung muss Ihr Deployment die folgenden Anforderungen erfüllen:

  • Auf Ihrem Cluster muss die Google Kubernetes Engine-Version 1.28.15-gke.2475000 oder höher ausgeführt werden.
  • Sie müssen Managed Service for Prometheus mit aktivierter verwalteter Sammlung ausführen. Weitere Informationen finden Sie unter Erste Schritte mit verwalteter Sammlung.

Wenn Sie vLLM-Messwerte nach dem Pod-Label llm-d.ai/role gruppieren möchten (z. B. prefill und decode in der Prefill/Decode-Disaggregation), wenden Sie die folgende PodMonitoring-Ressource in Ihrem Arbeitslast-Namespace an:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/InferenceServing: "true"
  endpoints:
  - port: 8000
    interval: 15s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Dashboards ansehen

Die Cloud Monitoring-Integration umfasst die folgenden einheitlichen Dashboards für den eigenständigen Modus und den Gateway-Modus. Der Abschnitt „Application Load Balancer“ wird ausgefüllt, wenn der llm-d-Proxy das GKE Inference Gateway verwendet:

  • llm-d-Übersicht: Für llm-d-Version v0.8.0 und höher (fragt llm_d_epp_*-EPP-Messwerte zusammen mit Application Load Balancer-, GPU-Netzwerk- und vLLM-Messwerten ab).
  • llm-d-Übersicht (< v0.8.0): Für llm-d-Versionen vor v0.8.0 (fragt inference_objective_*-Messwerte ab).

Dashboards werden automatisch mitkonfiguriert, wenn Sie die Integration konfigurieren. Sie können auch eine statische Vorschau von Dashboards aufrufen, ohne die Integration zu installieren.

So rufen Sie ein installiertes Dashboard auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dashboards :

    Zu Dashboards

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Wählen Sie den Tab Dashboard-Liste aus.
  3. Wählen Sie die Kategorie Integrationen aus.
  4. Wählen Sie den Namen des Dashboards aus, das Sie aufrufen möchten.

So rufen Sie eine statische Vorschau des Dashboards auf:

  1. Rufen Sie in der Google Cloud Console die Seite  Integrationen auf:

    Zu Integrationen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Klicken Sie auf den Filter für die Deployment-Plattform Kubernetes Engine.
  3. Suchen Sie nach der llm-d-Integration und klicken Sie auf Details ansehen.
  4. Wählen Sie den Tab Dashboards aus.