llm-d

In diesem Dokument wird beschrieben, wie Ihr Google Kubernetes Engine-Deployment Google Cloud Managed Service for Prometheus verwenden kann, um Messwerte von llm-d zu erfassen. llm-d besteht aus vielen Komponenten, darunter GKE Inference Gateway und vLLM.

Informationen zum Erheben von Messwerten aus GKE Inference Gateway und vLLM finden Sie in den folgenden Dokumenten:

Die Anleitungen in diesen Dokumenten gelten nur, wenn Sie die verwaltete Sammlung mit Managed Service for Prometheus verwenden. Wenn Sie eine selbst bereitgestellte Sammlung verwenden, finden Sie Informationen in der llm-d-Dokumentation.

Nachdem Sie GKE Inference Gateway und vLLM konfiguriert haben, können Sie in Cloud Monitoring auf ein vordefiniertes Dashboard zugreifen, um die Messwerte anzusehen.

Vorbereitung

Zum Erfassen von Messwerten aus llm-d mithilfe von Managed Service for Prometheus und einer verwalteten Erfassung muss Ihr Deployment die folgenden Anforderungen erfüllen:

  • Auf Ihrem Cluster muss Google Kubernetes Engine-Version 1.28.15-gke.2475000 oder höher ausgeführt werden.
  • Sie müssen Managed Service for Prometheus mit aktivierter verwalteter Sammlung ausführen. Weitere Informationen finden Sie unter Erste Schritte mit verwalteter Sammlung.

Außerdem müssen Sie die Konfiguration der PodMonitoring-Ressource für vLLM ändern. Verwenden Sie die folgende Konfiguration:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/model: ms-pd-llm-d-modelservice
  endpoints:
  - port: 8200
    interval: 10s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Dashboards ansehen

Die Cloud Monitoring-Integration beinhaltet das Dashboard llm-d Prometheus – Übersicht. Dashboards werden automatisch mitkonfiguriert, wenn Sie die Integration konfigurieren. Sie können auch eine statische Vorschau von Dashboards aufrufen, ohne die Integration zu installieren.

So rufen Sie ein installiertes Dashboard auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Dashboards :

    Zu Dashboards

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Wählen Sie den Tab Dashboard-Liste aus.
  3. Wählen Sie die Kategorie Integrationen aus.
  4. Klicken Sie auf den Namen des Dashboards, z. B. llm-d Prometheus – Übersicht.

So rufen Sie eine statische Vorschau des Dashboards auf:

  1. Rufen Sie in der Google Cloud Console die Seite  Integrationen auf:

    Zu Integrationen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Klicken Sie auf den Filter für die Deployment-Plattform Kubernetes Engine.
  3. Suchen Sie nach der llm-d-Integration und klicken Sie auf Details ansehen.
  4. Wählen Sie den Tab Dashboards aus.