vLLM

במאמר הזה מוסבר איך להגדיר את הפריסה של Google Kubernetes Engine כדי שתוכלו להשתמש בשירות המנוהל של Google Cloud ל-Prometheus כדי לאסוף מדדים מ-vLLM. במאמר הזה מוסבר איך:

• מפעילים מעקב אוטומטי אחרי אפליקציות עבור vLLM, או מגדירים את vLLM באופן ידני כדי לדווח על מדדים.
• אפשר לגשת למרכז בקרה מוגדר מראש ב-Cloud Monitoring כדי לראות את המדדים.

ההוראות האלה רלוונטיות רק אם אתם משתמשים ב אוסף מנוהל עם השירות המנוהל ל-Prometheus. אם אתם משתמשים באיסוף שמוטמע באופן עצמאי, תוכלו לעיין במאמרי העזרה בנושא vLLM כדי לקבל מידע על ההתקנה.

ההוראות האלה הן דוגמה, והן אמורות לפעול ברוב סביבות Kubernetes. אם נתקלתם בבעיה בהתקנת אפליקציה או כלי לייצוא בגלל מדיניות אבטחה או מדיניות ארגונית מגבילה, מומלץ לעיין במסמכי קוד פתוח לקבלת תמיכה.

מידע על vLLM זמין במאמר vLLM. מידע על הגדרת vLLM ב-Google Kubernetes Engine זמין ב מדריך GKE ל-vLLM.

דרישות מוקדמות

כדי לאסוף מדדים מ-vLLM באמצעות שירות מנוהל ל-Prometheus ואיסוף מנוהל, הפריסה צריכה לעמוד בדרישות הבאות:

• האשכול צריך להריץ את Google Kubernetes Engine בגרסה ‎1.28.15-gke.2475000 ואילך.
• צריך להפעיל את השירות המנוהל ל-Prometheus עם איסוף מנוהל. מידע נוסף זמין במאמר תחילת השימוש באוסף מנוהל.

‫vLLM חושף מדדים בפורמט Prometheus באופן אוטומטי, ולא צריך להתקין אותו בנפרד. כדי לוודא ש-vLLM שולח מדדים לנקודות הקצה הצפויות:

1. מגדירים העברה ליציאה אחרת באמצעות הפקודה הבאה:

   kubectl -n NAMESPACE_NAME port-forward POD_NAME 8000
   

2. ניגשים לנקודת הקצה localhost:8000/metrics באמצעות הדפדפן או כלי השירות curl בסשן טרמינל אחר.

שימוש במעקב אוטומטי אחרי אפליקציות

‫vLLM תומך בשימוש במעקב אוטומטי אחרי אפליקציות. כשמשתמשים בניטור אוטומטי של אפליקציות, Google Kubernetes Engine מבצע את הפעולות הבאות:

• מזהה פריסות של עומסי עבודה של vLLM.
• פורס משאב PodMonitoring לכל מופע של עומס עבודה שזוהה.
• התקנה של לוחות בקרה של Cloud Monitoring למדדים של vLLM.

כדי להשתמש בניטור אוטומטי של אפליקציות, צריך להפעיל את התכונה באשכול GKE. אפשר להשתמש במסוף Google Cloud , ב-Google Cloud CLI (גרסה 492.0.0 ואילך) או ב-GKE API. מידע נוסף מופיע במאמר בנושא הפעלה של מעקב אוטומטי אחרי אפליקציות.

הגדרה של משאב PodMonitoring

לגילוי יעדים, ל-Managed Service for Prometheus Operator נדרש משאב PodMonitoring שתואם ל-vLLM באותו מרחב שמות.

אפשר להשתמש בהגדרה הבאה של PodMonitoring:

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: vllm
  labels:
    app.kubernetes.io/name: vllm
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 8000
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app: vllm-gemma-server

מוודאים שהערכים של השדות port ו-matchLabels תואמים לערכים של תרמילי ה-vLLM שרוצים לנטר.

כדי להחיל שינויים בתצורה מקובץ מקומי, מריצים את הפקודה הבאה:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

אפשר גם להשתמש ב-Terraform כדי לנהל את ההגדרות.

אימות ההגדרה

אתם יכולים להשתמש בכלי Metrics Explorer כדי לוודא שהגדרתם את vLLM בצורה נכונה. יכול להיות שיחלפו דקה או שתיים עד שמערכת Cloud Monitoring תעבד את המדדים.

כדי לוודא שהמדדים נאספים, מבצעים את הפעולות הבאות:

1. במסוף Google Cloud , עוברים לדף  Metrics explorer:

   כניסה אל Metrics Explorer

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

2. בסרגל הכלים של חלונית הכלי ליצירת שאילתות, לוחצים על הלחצן ששמו הוא  MQL או  PromQL.
3. מוודאים שהאפשרות PromQL נבחרה במתג שפה. המתג לשפה נמצא באותו סרגל כלים שבו אפשר לעצב את השאילתה.
4. מזינים ומריצים את השאילתה הבאה:
   

   up{job="vllm", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

הצגת מרכזי בקרה

השילוב עם Cloud Monitoring כולל את לוח הבקרה vLLM Prometheus Overview. לוחות הבקרה מותקנים באופן אוטומטי כשמגדירים את השילוב. אפשר גם לראות תצוגות מקדימות סטטיות של מרכזי בקרה בלי להתקין את האינטגרציה.

כדי לראות מרכז בקרה שהותקן:

1. במסוף Google Cloud , עוברים לדף  Dashboards:

   מעבר אל מרכזי בקרה

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

2. לוחצים על הכרטיסייה רשימת מרכזי בקרה.
3. בוחרים בקטגוריה שילובים.
4. לוחצים על השם של מרכז הבקרה, למשל vLLM Prometheus Overview.

כדי לראות תצוגה מקדימה סטטית של מרכז הבקרה:

1. נכנסים לדף  Integrations במסוף Google Cloud :

   עוברים אל Integrations

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

2. לוחצים על המסנן Kubernetes Engine של פלטפורמת הפריסה.
3. מוצאים את השילוב של vLLM ולוחצים על הצגת פרטים.
4. לוחצים על הכרטיסייה מרכזי בקרה.

פתרון בעיות

מידע על פתרון בעיות בהוספת מדדים זמין במאמר פתרון בעיות שקשורות להוספה, בקטע בעיות באיסוף נתונים ממייצאים.