llm-d

Dokumen ini menjelaskan cara deployment Google Kubernetes Engine Anda dapat menggunakan Google Cloud Managed Service for Prometheus untuk mengumpulkan metrik dari llm-d. llm-d terdiri dari banyak komponen, termasuk GKE Inference Gateway dan vLLM.

Untuk mengetahui informasi tentang cara mengumpulkan metrik dari GKE Inference Gateway dan vLLM, lihat dokumen berikut:

Petunjuk dalam dokumen ini hanya berlaku jika Anda menggunakan koleksi terkelola dengan Managed Service for Prometheus. Jika Anda menggunakan pengumpulan data yang di-deploy sendiri, lihat dokumentasi llm-d.

Setelah mengonfigurasi GKE Inference Gateway dan vLLM, Anda dapat mengakses dasbor yang telah ditentukan sebelumnya di Cloud Monitoring untuk melihat metrik.

Prasyarat

Untuk mengumpulkan metrik dari llm-d menggunakan Managed Service for Prometheus dan pengumpulan terkelola, deployment Anda harus memenuhi persyaratan berikut:

  • Cluster Anda harus menjalankan Google Kubernetes Engine versi 1.28.15-gke.2475000 atau yang lebih baru.
  • Anda harus menjalankan Managed Service for Prometheus dengan koleksi terkelola diaktifkan. Untuk mengetahui informasi selengkapnya, lihat Mulai menggunakan koleksi terkelola.

Anda juga harus mengubah konfigurasi resource PodMonitoring untuk vLLM. Gunakan konfigurasi berikut:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/model: ms-pd-llm-d-modelservice
  endpoints:
  - port: 8200
    interval: 10s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Melihat dasbor

Integrasi Cloud Monitoring mencakup dasbor llm-d Prometheus Overview. Dasbor akan otomatis diinstal saat Anda mengonfigurasi integrasi. Anda juga dapat melihat pratinjau statis dasbor tanpa menginstal integrasi.

Untuk melihat dasbor yang terinstal, lakukan tindakan berikut:

  1. Di konsol Google Cloud , buka halaman  Dasbor:

    Buka Dasbor

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Pilih tab Daftar Dasbor.
  3. Pilih kategori Integrasi.
  4. Klik nama dasbor, misalnya, llm-d Prometheus Overview.

Untuk melihat pratinjau statis dasbor, lakukan tindakan berikut:

  1. Di konsol Google Cloud , buka halaman  Integrations:

    Buka Integrations

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Klik filter platform deployment Kubernetes Engine.
  3. Temukan integrasi llm-d, lalu klik Lihat Detail.
  4. Pilih tab Dasbor.