llm-d

Ce document explique comment votre déploiement Google Kubernetes Engine peut utiliser Google Cloud Managed Service pour Prometheus afin de collecter des métriques à partir de llm-d. llm-d se compose de nombreux composants, y compris GKE Inference Gateway et vLLM.

Pour savoir comment collecter des métriques à partir de GKE Inference Gateway et vLLM, consultez les documents suivants :

Les instructions de ces documents ne s'appliquent que si vous utilisez une collecte gérée avec Managed Service pour Prometheus. Si vous utilisez une collecte auto-déployée, consultez la documentation llm-d.

Après avoir configuré GKE Inference Gateway et vLLM, vous pouvez accéder à un tableau de bord prédéfini dans Cloud Monitoring pour afficher les métriques.

Prérequis

Pour collecter des métriques à partir de llm-d à l'aide de Managed Service pour Prometheus et de la collecte gérée, votre déploiement doit répondre aux exigences suivantes :

  • Votre cluster doit exécuter Google Kubernetes Engine version 1.28.15-gke.2475000 ou ultérieure.
  • Vous devez exécuter Managed Service pour Prometheus en ayant activé la collecte gérée. Pour en savoir plus, consultez la page Premiers pas avec la collecte gérée.

Vous devez également modifier la configuration de la ressource PodMonitoring pour vLLM. Utilisez la configuration suivante :

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/model: ms-pd-llm-d-modelservice
  endpoints:
  - port: 8200
    interval: 10s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Afficher les tableaux de bord

L'intégration à Cloud Monitoring comprend le tableau de bord Présentation de llm-d-Prometheus. Les tableaux de bord sont installés automatiquement lorsque vous configurez l'intégration. Vous pouvez également afficher des aperçus statiques de tableaux de bord sans installer l'intégration.

Pour afficher un tableau de bord installé, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page  Tableaux de bord :

    Accéder à la page Tableaux de bord

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Sélectionnez l'onglet Liste des tableaux de bord.
  3. Choisissez la catégorie Intégrations.
  4. Cliquez sur le nom du tableau de bord, par exemple Présentation de llm-d-Prometheus.

Pour afficher un aperçu statique du tableau de bord, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Intégrations  :

    Accéder à la page Intégrations

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Cliquez sur le filtre de plate-forme de déploiement Kubernetes Engine.
  3. Recherchez l'intégration llm-d et cliquez sur Afficher les détails.
  4. Sélectionnez l'onglet Tableaux de bord.