llm-d

Neste documento, descrevemos como a implantação do Google Kubernetes Engine pode usar o Google Cloud Managed Service para Prometheus para coletar métricas do llm-d. O llm-d consiste no roteador llm-d (seletor de endpoints, implantado no modo independente ou no modo de gateway com o gateway do GKE) e em servidores de modelos, como o vLLM.

Para informações sobre como coletar métricas do roteador llm-d e do vLLM, consulte o seguinte:

  • Roteador llm-d (EPP): ao implantar o roteador com o gráfico do Helm llm-d, inclua a receita monitoring-gke.values.yaml (router.monitoring.provider.name=gmp e router.monitoring.prometheus.enabled=true) para criar automaticamente o recurso PodMonitoring e o leitor de métricas Secret no namespace da carga de trabalho. Para implantações independentes do GKE Inference Gateway ou versões do llm-d anteriores à v0.8.0, consulte GKE Inference Gateway.
  • vLLM: ative o monitoramento automático de aplicativos ou use a configuração PodMonitoring descrita neste documento para mapear o rótulo do pod llm-d.ai/role para desagregação de preenchimento/decodificação (P/D).

As instruções nestes documentos se aplicam somente ao usar a coleção gerenciada com o Serviço Gerenciado para Prometheus. Se você estiver usando a coleta autoimplantada, consulte a documentação do llm-d.

Depois de configurar o roteador llm-d e o vLLM, é possível acessar um painel predefinido no Cloud Monitoring para conferir as métricas.

Pré-requisitos

Para coletar métricas do llm-d usando o Serviço Gerenciado para Prometheus e a coleta gerenciada, sua implantação precisa atender aos seguintes requisitos:

  • O cluster precisa executar a versão 1.28.15-gke.2475000 ou posterior do Google Kubernetes Engine.
  • É necessário executar o Serviço Gerenciado para Prometheus com a coleta gerenciada ativada. Para mais informações, consulte Começar a usar a coleta gerenciada.

Para agrupar as métricas do vLLM pelo rótulo de pod llm-d.ai/role (por exemplo, prefill e decode na desagregação de pré-preenchimento/decodificação), aplique o seguinte recurso PodMonitoring no namespace da carga de trabalho:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/InferenceServing: "true"
  endpoints:
  - port: 8000
    interval: 15s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Ver painéis

A integração do Cloud Monitoring inclui os seguintes painéis unificados para o modo independente e o modo de gateway (a seção do balanceador de carga de aplicativo é preenchida quando o proxy llm-d usa o GKE Inference Gateway):

  • Visão geral do llm-d: para a versão v0.8.0 e mais recentes do llm-d (consulta as métricas do EPP llm_d_epp_* com as métricas do balanceador de carga de aplicativo, da rede de GPU e do vLLM).
  • Visão geral do llm-d (< v0.8.0): para versões do llm-d anteriores à v0.8.0 (consulta as métricas inference_objective_*).

Os painéis são instalados automaticamente ao configurar a integração. Também é possível visualizar visualizações estáticas de painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

  1. No console Google Cloud , acesse a página  Painéis:

    Acesse Painéis

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

  2. Selecione a guia Lista de painéis.
  3. Escolha a categoria Integrações.
  4. Clique no nome do painel que você quer visualizar.

Para acessar uma visualização estática do painel, faça o seguinte:

  1. No console do Google Cloud , acesse a página  Integrações:

    Acessar Integrações

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

  2. Clique no filtro de plataforma de implantação do Kubernetes Engine.
  3. Localize a integração do llm-d e clique em Ver detalhes.
  4. Selecione a guia Painéis.