vLLM

Dokumen ini menjelaskan cara mengonfigurasi deployment Google Kubernetes Engine sehingga Anda dapat menggunakan Google Cloud Managed Service for Prometheus untuk mengumpulkan metrik dari vLLM. Dokumen ini menunjukkan cara melakukan hal berikut:

  • Mengaktifkan pemantauan aplikasi otomatis untuk vLLM, atau menyiapkan vLLM secara manual untuk melaporkan metrik.
  • Mengakses dasbor yang telah ditentukan sebelumnya di Cloud Monitoring untuk melihat metrik.

Petunjuk ini hanya berlaku jika Anda menggunakan koleksi terkelola dengan Managed Service for Prometheus. Jika Anda menggunakan koleksi yang di-deploy sendiri, lihat dokumentasi vLLM untuk mengetahui informasi penginstalan.

Petunjuk ini diberikan sebagai contoh dan diharapkan berfungsi di sebagian besar lingkungan Kubernetes. Jika Anda mengalami masalah saat menginstal aplikasi atau pengekspor karena kebijakan organisasi atau keamanan yang ketat, sebaiknya lihat dokumentasi open source untuk mendapatkan dukungan.

Untuk mengetahui informasi tentang vLLM, lihat vLLM. Untuk mengetahui informasi tentang cara menyiapkan vLLM di Google Kubernetes Engine, lihat panduan GKE untuk vLLM.

Prasyarat

Untuk mengumpulkan metrik dari vLLM menggunakan Managed Service for Prometheus dan koleksi terkelola, deployment Anda harus memenuhi persyaratan berikut:

  • Cluster Anda harus menjalankan Google Kubernetes Engine versi 1.28.15-gke.2475000 atau yang lebih baru.
  • Anda harus menjalankan Managed Service for Prometheus dengan koleksi terkelola yang diaktifkan. Untuk mengetahui informasi selengkapnya, lihat Mulai menggunakan koleksi terkelola.

vLLM otomatis mengekspos metrik format Prometheus; Anda tidak perlu menginstalnya secara terpisah. Untuk memverifikasi bahwa vLLM memancarkan metrik di endpoint yang diharapkan, lakukan hal berikut:

  1. Siapkan penerusan port menggunakan perintah berikut: 
    kubectl -n NAMESPACE_NAME port-forward POD_NAME 8000
  2. Akses endpoint localhost:8000/metrics menggunakan browser atau utilitas curl di sesi terminal lain.

Menggunakan pemantauan aplikasi otomatis

vLLM mendukung penggunaan pemantauan aplikasi otomatis. Saat Anda menggunakan pemantauan aplikasi otomatis, Google Kubernetes Engine akan melakukan hal berikut:

  • Mendeteksi instance workload vLLM yang di-deploy.
  • Men-deploy resource PodMonitoring untuk setiap instance workload yang terdeteksi.
  • Menginstal dasbor Cloud Monitoring untuk metrik vLLM.

Untuk menggunakan pemantauan aplikasi otomatis, Anda harus mengaktifkan fitur ini di cluster GKE. Anda dapat menggunakan Google Cloud konsol, Google Cloud CLI (versi 492.0.0 atau yang lebih baru), atau GKE API. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan pemantauan aplikasi otomatis.

Menentukan resource PodMonitoring

Untuk penemuan target, Operator Managed Service for Prometheus memerlukan resource PodMonitoring yang sesuai dengan vLLM di namespace yang sama.

Anda dapat menggunakan konfigurasi PodMonitoring berikut:

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: vllm
  labels:
    app.kubernetes.io/name: vllm
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 8000
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app: vllm-gemma-server
Pastikan nilai kolom port dan matchLabels cocok dengan pod vLLM yang ingin Anda pantau.

Untuk menerapkan perubahan konfigurasi dari file lokal, jalankan perintah berikut: 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Anda juga dapat menggunakan Terraform untuk mengelola konfigurasi.

Memverifikasi konfigurasi

Anda dapat menggunakan Metrics Explorer untuk memverifikasi bahwa Anda telah mengonfigurasi vLLM dengan benar. Cloud Monitoring mungkin memerlukan waktu satu atau dua menit untuk menyerap metrik Anda.

Untuk memverifikasi bahwa metrik telah diserap, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman  Metrics explorer:

    Buka Metrics explorer

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Di toolbar panel pembuat kueri, pilih tombol yang namanya adalah  PromQL.
  3. Masukkan dan jalankan kueri berikut:
    up{job="vllm", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Melihat dasbor

Integrasi Cloud Monitoring mencakup dasbor vLLM Prometheus Overview. Dasbor otomatis diinstal saat Anda mengonfigurasi integrasi. Anda juga dapat melihat pratinjau statis dasbor tanpa menginstal integrasi.

Untuk melihat dasbor yang terinstal, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman  Dashboards:

    Buka Dashboards

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Pilih tab Dashboard List.
  3. Pilih kategori Integrations.
  4. Klik nama dasbor, misalnya, vLLM Prometheus Overview.

Untuk melihat pratinjau statis dasbor, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman  Integrations:

    Buka Integrations

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Klik filter platform deployment Kubernetes Engine.
  3. Temukan integrasi vLLM, lalu klik View Details.
  4. Pilih tab Dashboards.

Pemecahan masalah

Untuk mengetahui informasi tentang cara memecahkan masalah penyerapan metrik, lihat Masalah dengan koleksi dari pengekspor di Memecahkan masalah sisi penyerapan.