llm-d

이 문서에서는 Google Kubernetes Engine 배포에서 Google Cloud Managed Service for Prometheus를 사용하여 llm-d에서 측정항목을 수집하는 방법을 설명합니다. llm-d는 llm-d 라우터 (GKE 게이트웨이를 사용하여 독립형 모드 또는 게이트웨이 모드로 배포된 엔드포인트 선택기)와 vLLM과 같은 모델 서버로 구성됩니다.

llm-d 라우터 및 vLLM에서 측정항목을 수집하는 방법에 대한 자세한 내용은 다음을 참조하세요.

  • llm-d 라우터 (EPP): llm-d Helm 차트로 라우터를 배포할 때 monitoring-gke.values.yaml 레시피(router.monitoring.provider.name=gmp 및 router.monitoring.prometheus.enabled=true)를 포함하여 워크로드 네임스페이스에 PodMonitoring 리소스와 측정항목 리더 Secret를 자동으로 만듭니다. 독립형 GKE Inference Gateway 배포 또는 v0.8.0 이전의 llm-d 버전은 GKE Inference Gateway를 참조하세요.
  • vLLM: 자동 애플리케이션 모니터링을 사용 설정하거나 이 문서에 설명된 PodMonitoring 구성을 사용하여 프리필/디코딩 (P/D) 분리를 위한 llm-d.ai/role 포드 라벨을 매핑합니다.

이 문서의 안내는 관리형 컬렉션을 Managed Service for Prometheus와 함께 사용하는 경우에만 적용됩니다. 자체 배포 컬렉션을 사용하는 경우 llm-d 문서를 참조하세요.

llm-d 라우터 및 vLLM을 구성한 후 Cloud Monitoring의 사전 정의된 대시보드에 액세스하여 측정항목을 볼 수 있습니다.

기본 요건

Managed Service for Prometheus 및 관리형 컬렉션을 사용하여 llm-d에서 측정항목을 수집하려면 배포가 다음 요구사항을 충족해야 합니다.

  • 클러스터가 Google Kubernetes Engine 버전 1.28.15-gke.2475000 이상을 실행 중이어야 합니다.
  • 관리형 컬렉션이 사용 설정된 상태에서 Managed Service for Prometheus를 실행 중이어야 합니다. 자세한 내용은 관리형 컬렉션 시작하기를 참조하세요.

llm-d.ai/role 포드 라벨 (예: 프리필/디코딩 분리의 prefill 및 decode)로 vLLM 측정항목을 그룹화하려면 워크로드 네임스페이스에 다음 PodMonitoring 리소스를 적용합니다.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/InferenceServing: "true"
  endpoints:
  - port: 8000
    interval: 15s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

대시보드 보기

Cloud Monitoring 통합에는 독립형 모드와 게이트웨이 모드 모두에 대한 다음 통합 대시보드가 포함됩니다 (llm-d 프록시가 GKE Inference Gateway를 사용하는 경우 애플리케이션 부하 분산기 섹션이 채워짐).

  • llm-d 개요: llm-d 버전 v0.8.0 이상 (Application Load Balancer, GPU 네트워킹, vLLM 측정항목과 함께 llm_d_epp_* EPP 측정항목을 쿼리함)
  • llm-d 개요 (< v0.8.0): v0.8.0 이전의 llm-d 버전 (inference_objective_* 측정항목 쿼리)

대시보드는 통합을 구성할 때 자동으로 설치됩니다. 통합을 설치하지 않고도 대시보드의 정적 미리보기를 볼 수 있습니다.

설치된 대시보드를 보려면 다음을 수행합니다.

  1. Google Cloud 콘솔에서 대시보드 페이지로 이동합니다.

    대시보드로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Monitoring인 결과를 선택합니다.

  2. 대시보드 목록 탭을 선택합니다.
  3. 통합 카테고리를 선택합니다.
  4. 확인할 대시보드의 이름을 클릭합니다.

대시보드의 정적 미리보기를 보려면 다음을 수행합니다.

  1. Google Cloud 콘솔에서 통합 페이지로 이동합니다.

    통합으로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Monitoring인 결과를 선택합니다.

  2. Kubernetes Engine 배포 플랫폼 필터를 클릭합니다.
  3. llm-d 통합을 찾고 세부정보 보기를 클릭합니다.
  4. 대시보드 탭을 선택합니다.