הצגת מדדי DCGM של Vertex AI Inference

בדף הזה מוסבר איך לבדוק את מדדי NVIDIA Data Center GPU Manager (DCGM)‎ שמשויכים לנקודות הקצה של Vertex AI Inference.

מה זה DCGM

‫NVIDIA Data Center GPU Manager‏ (DCGM) הוא חבילת כלים של NVIDIA שמאפשרת לנהל ולנטר מעבדי GPU של NVIDIA. אם נקודות הקצה שלכם משתמשות ביחידות GPU נתמכות, המערכת של Vertex AI Inference מייצאת באופן אוטומטי את מדדי DCGM של Gemini Enterprise Agent Platform ל-Cloud Monitoring. המדדים האלה מספקים תצוגה מקיפה של ניצול ה-GPU, הביצועים והתקינות.

דרישות מוקדמות

לפני שמתחילים, צריך לוודא שהפעלתם את Cloud Monitoring בפרויקט. למידע נוסף, קראו את המאמר הפעלת Cloud Monitoring API.

שימוש במדדי DCGM

כדי לראות את המדדים של DCGM ב-Metrics Explorer:

  1. נכנסים לדף Metrics Explorer במסוף Google Cloud .

    לדף Metrics Explorer

  2. בקטע Select a metric, בוחרים באפשרות Prometheus Target.

  3. בקטע Active metric categories, בוחרים באפשרות Vertex.

  4. בקטע Active metrics, בוחרים את המדד הרצוי.

  5. לוחצים על אישור.

אפשר גם לשלוח שאילתות לגבי מדדים באמצעות Grafana או ממשק המשתמש או ה-API של Prometheus.

מכסה

מדדי DCGM צורכים את המכסה בקשות הטמעת סדרת זמנים לדקה של Cloud Monitoring API. לפני שמפעילים את חבילות המדדים, בודקים את השיא האחרון בשימוש במכסה הזו. אם אתם כבר מתקרבים למגבלת המכסה, אתם יכולים לבקש להגדיל את מגבלת המכסה.

מדדי DCGM של Gemini Enterprise Agent Platform

לשמות של מדדי Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהרשומות בטבלה.

בנוסף לתוויות במשאב prometheus_target במעקב, לכל מדדי ה-DCGM שנאספו ב-Gemini Enterprise Agent Platform מצורפות התוויות הבאות:

תוויות GPU:

  • ‫gpu_model: דגם מכשיר ה-GPU, למשל NVIDIA L4.
  • ‫gpu_uuid: המזהה הייחודי האוניברסלי (UUID) של מכשיר ה-GPU.
  • ‫gpu_i_id: המזהה של המכונה של NVIDIA Multi-Instance GPU (MIG).

תוויות של Gemini Enterprise Agent Platform:

  • ‫deployed_model_id: המזהה של מודל שנפרס ומשרת בקשות להסקת מסקנות.
  • ‫model_display_name: השם המוצג של מודל שנפרס.
  • ‫replica_id: המזהה הייחודי שתואם לרפליקה של המודל שנפרס (שם ה-pod).
  • ‫endpoint_id: המזהה של נקודת הקצה של המודל.
  • ‫endpoint_display_name: השם המוצג של נקודת קצה (endpoint) של מודל.
  • ‫product: שם התכונה ב-Gemini Enterprise Agent Platform. הערך הזה הוא תמיד Online Inference.
שם המדד ב-PromQL
שם המדד ב-Monitoring
סוג, סוג, יחידה
משאבים במעקב 		תיאור
vertex_dcgm_fi_dev_fb_free
vertex_dcgm_fi_dev_fb_free/gauge
‫GAUGE, DOUBLE, 1 prometheus_target מאגר פריימים פנוי ב-MB.
vertex_dcgm_fi_dev_fb_total
vertex_dcgm_fi_dev_fb_total/gauge
‫GAUGE, DOUBLE, 1 prometheus_target הנפח הכולל של מאגר הנתונים הזמני של הפריימים ב-GPU, ב-MB.
vertex_dcgm_fi_dev_fb_used
vertex_dcgm_fi_dev_fb_used/gauge
‫GAUGE, DOUBLE, 1 prometheus_target מאגר הנתונים הזמני של הפריימים בשימוש, ב-MB.
vertex_dcgm_fi_dev_gpu_temp
vertex_dcgm_fi_dev_gpu_temp/gauge
‫GAUGE, DOUBLE, 1 prometheus_target קריאות הטמפרטורה הנוכחיות של המכשיר (במעלות צלזיוס).
vertex_dcgm_fi_dev_gpu_util
vertex_dcgm_fi_dev_gpu_util/gauge
GAUGE, DOUBLE, 1 prometheus_target ניצול ה-GPU (באחוזים).
vertex_dcgm_fi_dev_mem_copy_util
vertex_dcgm_fi_dev_mem_copy_util/gauge
GAUGE, DOUBLE, 1 prometheus_target ניצול הזיכרון (באחוזים).
vertex_dcgm_fi_dev_memory_temp
vertex_dcgm_fi_dev_memory_temp/gauge
‫GAUGE, DOUBLE, 1 prometheus_target טמפרטורת הזיכרון של המכשיר (במעלות צלזיוס).
vertex_dcgm_fi_dev_power_usage
vertex_dcgm_fi_dev_power_usage/gauge
‫GAUGE, DOUBLE, 1 prometheus_target צריכת החשמל של המכשיר (בוואט).
vertex_dcgm_fi_dev_sm_clock
vertex_dcgm_fi_dev_sm_clock/gauge
‫GAUGE, DOUBLE, 1 prometheus_target תדר השעון של SM (במגה-הרץ).
vertex_dcgm_fi_dev_total_energy_consumption
vertex_dcgm_fi_dev_total_energy_consumption/counter
‫CUMULATIVE, DOUBLE, 1 prometheus_target צריכת האנרגיה הכוללת של ה-GPU במילי-ג'אול מאז הטעינה מחדש האחרונה של מנהל ההתקן.
vertex_dcgm_fi_prof_dram_active
vertex_dcgm_fi_prof_dram_active/gauge
GAUGE, DOUBLE, 1 prometheus_target היחס בין המחזורים שבהם ממשק הזיכרון של המכשיר פעיל ושולח או מקבל נתונים.
vertex_dcgm_fi_prof_gr_engine_active
vertex_dcgm_fi_prof_gr_engine_active/gauge
‫GAUGE, DOUBLE, 1 prometheus_target היחס של הזמן שבו מנוע הגרפיקה פעיל.
vertex_dcgm_fi_prof_nvlink_rx_bytes
vertex_dcgm_fi_prof_nvlink_rx_bytes/gauge
‫GAUGE, DOUBLE, 1 prometheus_target קצב הנתונים הפעילים של NvLink rx (קריאה) בבייטים, כולל הכותרת והמטען הייעודי (payload).
vertex_dcgm_fi_prof_nvlink_tx_bytes
vertex_dcgm_fi_prof_nvlink_tx_bytes/gauge
‫GAUGE, DOUBLE, 1 prometheus_target קצב הנתונים הפעילים של NvLink tx (שידור) בבייטים, כולל הכותרת והמטען הייעודי (payload).
vertex_dcgm_fi_prof_pcie_rx_bytes
vertex_dcgm_fi_prof_pcie_rx_bytes/gauge
‫GAUGE, DOUBLE, 1 prometheus_target קצב נתוני ה-PCIe rx (קריאה) הפעילים בבייטים, כולל הכותרת והמטען הייעודי (payload).
vertex_dcgm_fi_prof_pcie_tx_bytes
vertex_dcgm_fi_prof_pcie_tx_bytes/gauge
‫GAUGE, DOUBLE, 1 prometheus_target קצב נתוני ה-tx (שידור) הפעילים של PCIe בבייטים, כולל הכותרת והמטען הייעודי (payload).
vertex_dcgm_fi_prof_pipe_fp16_active
vertex_dcgm_fi_prof_pipe_fp16_active/gauge
‫GAUGE, DOUBLE, 1 prometheus_target היחס בין המחזורים שבהם צינור עיבוד הנתונים fp16 פעיל.
vertex_dcgm_fi_prof_pipe_fp32_active
vertex_dcgm_fi_prof_pipe_fp32_active/gauge
‫GAUGE, DOUBLE, 1 prometheus_target היחס בין המחזורים שבהם צינור עיבוד הנתונים fp32 פעיל.
vertex_dcgm_fi_prof_pipe_fp64_active
vertex_dcgm_fi_prof_pipe_fp64_active/gauge
‫GAUGE, DOUBLE, 1 prometheus_target היחס בין המחזורים שבהם צינור עיבוד הנתונים fp64 פעיל.
vertex_dcgm_fi_prof_pipe_tensor_active
vertex_dcgm_fi_prof_pipe_tensor_active/gauge
‫GAUGE, DOUBLE, 1 prometheus_target היחס בין המחזורים שבהם צינור נתונים כלשהו של Tensor פעיל.
vertex_dcgm_fi_prof_sm_active
vertex_dcgm_fi_prof_sm_active/gauge
‫GAUGE, DOUBLE, 1 prometheus_target היחס בין המחזורים שבהם הוקצה לפחות warp אחד ל-SM.

מעבדי GPU נתמכים

כל המעבדים הגרפיים של NVIDIA נתמכים, חוץ מהמעבדים הבאים, בגלל אילוצי משאבים:

  1. NVIDIA P100
  2. NVIDIA V100
  3. NVIDIA P4
  4. NVIDIA T4

המאמרים הבאים