SGLang

Dokumen ini menjelaskan cara mengonfigurasi deployment Google Kubernetes Engine Anda sehingga Anda dapat menggunakan Google Cloud Managed Service for Prometheus untuk mengumpulkan metrik dari SGLang. Dokumen ini menunjukkan cara melakukan hal berikut:

Petunjuk ini hanya berlaku jika Anda menggunakan koleksi terkelola dengan Managed Service for Prometheus. Jika Anda menggunakan koleksi yang di-deploy sendiri, lihat dokumentasi SGLang untuk mengetahui informasi penginstalan.

Petunjuk ini diberikan sebagai contoh dan diharapkan berfungsi di sebagian besar lingkungan Kubernetes. Jika Anda mengalami masalah saat menginstal aplikasi atau pengekspor karena kebijakan keamanan atau organisasi yang ketat, sebaiknya lihat dokumentasi open source untuk mendapatkan dukungan.

Untuk mengetahui informasi tentang SGLang, lihat SGLang.

Prasyarat

Untuk mengumpulkan metrik dari SGLang menggunakan Managed Service for Prometheus dan koleksi terkelola, deployment Anda harus memenuhi persyaratan berikut:

  • Cluster Anda harus menjalankan Google Kubernetes Engine versi 1.28.15-gke.2475000 atau yang lebih baru.
  • Anda harus menjalankan Managed Service for Prometheus dengan koleksi terkelola diaktifkan. Untuk informasi selengkapnya, lihat Mulai menggunakan koleksi terkelola.

SGLang mengekspos metrik berformat Prometheus saat diluncurkan dengan flag --enable-metrics; Anda tidak perlu menginstal pengekspor secara terpisah. Untuk memverifikasi bahwa SGLang memancarkan metrik di endpoint yang diharapkan, lakukan hal berikut:

  1. Siapkan penerusan port menggunakan perintah berikut: 
    kubectl -n NAMESPACE_NAME port-forward POD_NAME 30000
  2. Akses endpoint localhost:30000/metrics menggunakan browser atau utilitas curl di sesi terminal lain.

Menggunakan pemantauan aplikasi otomatis

SGLang mendukung penggunaan pemantauan aplikasi otomatis. Saat Anda menggunakan pemantauan aplikasi otomatis, Google Kubernetes Engine akan melakukan hal berikut:

  • Mendeteksi instance workload SGLang yang di-deploy.
  • Men-deploy resource PodMonitoring untuk setiap instance workload yang terdeteksi.
  • Menginstal dasbor Cloud Monitoring untuk metrik SGLang.

Untuk menggunakan pemantauan aplikasi otomatis, Anda harus mengaktifkan fitur ini di cluster GKE. Anda dapat menggunakan Google Cloud konsol, Google Cloud CLI (versi 492.0.0 atau yang lebih baru), atau GKE API. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan pemantauan aplikasi otomatis.

Menentukan resource PodMonitoring

Untuk penemuan target, Operator Managed Service for Prometheus memerlukan resource PodMonitoring yang sesuai dengan SGLang di namespace yang sama.

Anda dapat menggunakan konfigurasi PodMonitoring berikut:


apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: sglang
  labels:
    app.kubernetes.io/name: sglang
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 30000
    scheme: http
    interval: 15s
    path: /metrics
  selector:
    matchLabels:
      app: sglang-server
Pastikan nilai kolom port dan matchLabels cocok dengan nilai pod SGLang yang ingin Anda pantau.

Untuk menerapkan perubahan konfigurasi dari file lokal, jalankan perintah berikut: 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Anda juga dapat menggunakan Terraform untuk mengelola konfigurasi.

Memverifikasi konfigurasi

Anda dapat menggunakan Metrics Explorer untuk memverifikasi bahwa Anda telah mengonfigurasi SGLang dengan benar. Mungkin perlu waktu satu atau dua menit bagi Cloud Monitoring untuk menyerap metrik Anda.

Untuk memverifikasi bahwa metrik diserap, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman  Metrics explorer:

    Buka Metrics explorer

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Di toolbar panel pembuat kueri, pilih tombol yang namanya  PromQL.
  3. Masukkan dan jalankan kueri berikut:
    up{job=~"sglang|gke-ac-.*", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Pemecahan masalah

Untuk mengetahui informasi tentang cara memecahkan masalah penyerapan metrik, lihat Masalah pengumpulan dari eksportir di Memecahkan masalah sisi penyerapan.