llm-d

이 문서에서는 Google Kubernetes Engine 배포가 Google Cloud Managed Service for Prometheus를 사용하여 llm-d에서 측정항목을 수집하는 방법을 설명합니다. llm-d는 GKE 추론 게이트웨이와 vLLM을 비롯한 여러 구성요소로 구성됩니다.

GKE 추론 게이트웨이 및 vLLM에서 측정항목을 수집하는 방법에 대한 자세한 내용은 다음 문서를 참고하세요.

이 문서의 안내는 Managed Service for Prometheus와 함께 관리형 컬렉션을 사용하는 경우에만 적용됩니다. 자체 배포 컬렉션을 사용하는 경우 llm-d 문서를 참고하세요.

GKE 추론 게이트웨이와 vLLM을 구성한 후 Cloud Monitoring에서 사전 정의된 대시보드에 액세스하여 측정항목을 볼 수 있습니다.

기본 요건

Managed Service for Prometheus 및 관리형 컬렉션을 사용하여 llm-d에서 측정항목을 수집하려면 배포가 다음 요구사항을 충족해야 합니다.

  • 클러스터가 Google Kubernetes Engine 버전 1.28.15-gke.2475000 이상을 실행 중이어야 합니다.
  • 관리형 컬렉션이 사용 설정된 상태에서 Managed Service for Prometheus를 실행 중이어야 합니다. 자세한 내용은 관리형 컬렉션 시작하기를 참조하세요.

vLLM의 PodMonitoring 리소스 구성도 변경해야 합니다. 다음 구성을 사용합니다.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/model: ms-pd-llm-d-modelservice
  endpoints:
  - port: 8200
    interval: 10s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

대시보드 보기

Cloud Monitoring 통합에는 llm-d Prometheus 개요 대시보드가 포함됩니다. 대시보드는 통합을 구성할 때 자동으로 설치됩니다. 통합을 설치하지 않고도 대시보드의 정적 미리보기를 볼 수 있습니다.

설치된 대시보드를 보려면 다음을 수행합니다.

  1. Google Cloud 콘솔에서 대시보드 페이지로 이동합니다.

    대시보드로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Monitoring인 결과를 선택합니다.

  2. 대시보드 목록 탭을 선택합니다.
  3. 통합 카테고리를 선택합니다.
  4. 대시보드의 이름을 클릭합니다(예: llm-d Prometheus 개요).

대시보드의 정적 미리보기를 보려면 다음을 수행합니다.

  1. Google Cloud 콘솔에서 통합 페이지로 이동합니다.

    통합으로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Monitoring인 결과를 선택합니다.

  2. Kubernetes Engine 배포 플랫폼 필터를 클릭합니다.
  3. llm-d 통합을 찾고 세부정보 보기를 클릭합니다.
  4. 대시보드 탭을 선택합니다.