llm-d

Questo documento descrive come il deployment di Google Kubernetes Engine può utilizzare Google Cloud Managed Service per Prometheus per raccogliere metriche da llm-d. llm-d è costituito da molti componenti, tra cui GKE Inference Gateway e vLLM.

Per informazioni sulla raccolta delle metriche da GKE Inference Gateway e vLLM, consulta i seguenti documenti:

Le istruzioni riportate in questi documenti si applicano solo se utilizzi la raccolta gestita con Managed Service for Prometheus. Se utilizzi la raccolta autogestita, consulta la documentazione di llm-d.

Dopo aver configurato GKE Inference Gateway e vLLM, puoi accedere a una dashboard predefinita in Cloud Monitoring per visualizzare le metriche.

Prerequisiti

Per raccogliere metriche da llm-d utilizzando Managed Service per Prometheus e la raccolta gestita, il deployment deve soddisfare i seguenti requisiti:

  • Il cluster deve eseguire Google Kubernetes Engine versione 1.28.15-gke.2475000 o successive.
  • Devi eseguire Managed Service per Prometheus con la raccolta gestita abilitata. Per maggiori informazioni, consulta la guida introduttiva alla raccolta gestita.

Devi anche modificare la configurazione della risorsa PodMonitoring per vLLM. Utilizza la seguente configurazione:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/model: ms-pd-llm-d-modelservice
  endpoints:
  - port: 8200
    interval: 10s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Visualizza dashboard

L'integrazione di Cloud Monitoring include la dashboard Panoramica di llm-d Prometheus. Le dashboard vengono installate automaticamente quando configuri l'integrazione. Puoi anche visualizzare anteprime statiche dei dashboard senza installare l'integrazione.

Per visualizzare una dashboard installata:

  1. Nella console Google Cloud , vai alla pagina  Dashboard:

    Vai a Dashboard

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

  2. Seleziona la scheda Elenco dashboard.
  3. Scegli la categoria Integrazioni.
  4. Fai clic sul nome della dashboard, ad esempio llm-d Prometheus Overview.

Per visualizzare un'anteprima statica della dashboard:

  1. Nella console Google Cloud , vai alla pagina  Integrazioni:

    Vai a Integrazioni

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

  2. Fai clic sul filtro della piattaforma di deployment Kubernetes Engine.
  3. Individua l'integrazione llm-d e fai clic su Visualizza dettagli.
  4. Seleziona la scheda Dashboard.