איסוף מדדים של DCGM וצפייה בהם

אתם יכולים לעקוב אחרי השימוש ב-GPU, הביצועים והתקינות שלו על ידי הגדרת GKE לשליחת מדדים של NVIDIA Data Center GPU Manager (DCGM) אל Cloud Monitoring.

כשמפעילים את המדדים של DCGM, ‏GKE מתקין את הכלי DCGM-Exporter, מתקין מנהלי התקנים של GPU בניהול Google ופורס משאב ClusterPodMonitoring כדי לשלוח מדדים לשירות המנוהל של Google Cloud ל-Prometheus. באשכולות GKE חדשים שנוצרו עם גרסה 1.32.1-gke.1357000 ואילך, חבילת המדדים של DCGM מופעלת כברירת מחדל. באשכולות שמופעלות בהם גרסאות קודמות, אפשר להפעיל את איסוף המדדים של DCGM באמצעות מסוף Google Cloud , ה-CLI של gcloud או Terraform.

אתם יכולים גם להגדיר DCGM בניהול עצמי אם אתם רוצים להתאים אישית את קבוצת המדדים של DCGM, או אם יש לכם אשכול שלא עומד בדרישות של מדדי DCGM מנוהלים.

מה זה DCGM

‫NVIDIA Data Center GPU Manager (DCGM) היא סדרה של כלים מבית NVIDIA שמאפשרים לכם לנהל ולנטר מעבדי GPU של NVIDIA. ‫DCGM חושף מבנים שונים של יכולת צפייה ומונים באמצעות מה שהוא מכנה fields. לכל שדה יש מזהה סמלי ומספר שדה. רשימה מלאה של המזהים האלה זמינה ב-NVIDIA DCGM list of Field IDs.

אם מפעילים מדדי DCGM ב-GKE, המדדים הנתמכים זמינים אוטומטית ב-Cloud Monitoring. המדדים האלה מספקים תמונה מקיפה של ניצול ה-GPU, הביצועים והתקינות.

  • מדדי השימוש ב-GPU מציינים עד כמה ה-GPU שבמעקב עמוס, ואם הוא מנוצל בצורה יעילה לעיבוד משימות. הנתונים האלה כוללים מדדים של עיבוד ליבה, זיכרון, קלט/פלט וניצול הספק.
  • מדדי הביצועים של ה-GPU מתייחסים ליעילות שבה ה-GPU יכול לבצע משימה חישובית. המדדים האלה כוללים את מהירות השעון והטמפרטורה.
  • מדדי קלט/פלט של GPU כמו NVlink ו-PCIe מודדים את רוחב הפס של העברת הנתונים.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:

  • מפעילים את ממשק ה-API של Google Kubernetes Engine.
  • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם התקנתם בעבר את ה-CLI של gcloud, מריצים את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שבגרסאות קודמות של ה-CLI של gcloud אי אפשר להריץ את הפקודות שבמסמך הזה.

דרישות למדדים של NVIDIA Data Center GPU Manager ‏ (DCGM)

כדי לאסוף מדדים של NVIDIA Data Center GPU Manager‏ (DCGM), אשכול GKE צריך לעמוד בדרישות הבאות:

  • האשכולות צריכים להריץ את גרסת GKE‏ ‎1.30.1-gke.1204000 ואילך.
  • צריך להפעיל את האיסוף של מדדי המערכת
  • צריך להפעיל את האיסוף המנוהל של השירות המנוהל של Google Cloud ל-Prometheus
  • מאגרי הצמתים צריכים להריץ מנהלי התקנים של GPU מנוהלים ב-GKE. כלומר, צריך ליצור את מאגרי הצמתים באמצעות default או latest עבור --gpu-driver-version.
  • ב-GKE גרסה ‎1.32.0-gke.1764000 ואילך, מדדי פרופילים נאספים עבור כל סוגי ה-GPU שנתמכים ב-GKE. בגרסאות קודמות של GKE, מדדי פרופילים נאספים רק עבור מעבדי GPU מסוג NVIDIA H100 בנפח 80GB.

מגבלות

  • אם אתם מריצים חבילת מדדים של NVIDIA Data Center GPU Manager ‏ (DCGM) שפרסתם בעצמכם, אתם צריכים להפסיק לאסוף אותם לפני שתפעילו את המדדים המנוהלים של NVIDIA Data Center GPU Manager ‏ (DCGM). אחרת, יכול להיות שתקבלו מדדים כפולים או שגויים.

  • מדדי DCGM מנוהלים, כולל המניפסטים וקובצי האימג' של הקונטיינרים שעליהם הם מבוססים, מיועדים לפעול רק באשכולות GKE. אסור להשתמש במדדי DCGM מנוהלים באופן עצמאי או להפעיל אותם מחוץ ל-GKE.

הגדרת איסוף מדדים של DCGM

אפשר להפעיל את GKE כדי לאסוף מדדים של DCGM עבור אשכול קיים באמצעות Google Cloud המסוף, ה-CLI של gcloud או Terraform.

המסוף

  1. יצירת מאגר צמתים של GPU.

    צריך להשתמש ב-Default או ב-Latest בשביל GPU Driver Installation.

  2. נכנסים לדף Google Kubernetes Engine במסוף Google Cloud .

    כניסה ל-Google Kubernetes Engine

  3. לוחצים על שם האשכול.

  4. לצד Cloud Monitoring, לוחצים על .

  5. בוחרים באפשרות SYSTEM ואז באפשרות DCGM.

  6. לוחצים על 'שמירה'.

gcloud

  1. יוצרים מאגר צמתים של GPU.

    חובה להשתמש ב-default או ב-latest בשביל --gpu-driver-version.

  2. מעדכנים את האשכול:

    gcloud container clusters update CLUSTER_NAME \
        --location=COMPUTE_LOCATION \
        --enable-managed-prometheus \
        --monitoring=SYSTEM,DCGM
    

    מחליפים את מה שכתוב בשדות הבאים:

Terraform

כדי להגדיר את איסוף המדדים של DCGM באמצעות Terraform, אפשר לעיין בבלוק monitoring_config במאגר Terraform עבור google_container_cluster. מידע כללי על שימוש ב- Google Cloud עם Terraform זמין במאמר Terraform עם Google Cloud.

שימוש במדדים של DCGM

אפשר לראות את המדדים של DCGM באמצעות מרכזי הבקרה במסוףGoogle Cloud , או ישירות בדפים 'סקירה כללית של האשכול' ו'דף פרטי האשכול'. מידע נוסף מופיע במאמר הצגת מדדי יכולת התבוננות.

אפשר לראות את המדדים באמצעות לוח הבקרה של מדדי Grafana DCGM. מידע נוסף זמין במאמר בנושא שאילתות באמצעות Grafana. אם נתקלים בשגיאות, אפשר לעיין במאמר בנושא תאימות ל-API.

תמחור

מדדי DCGM משתמשים ב-השירות המנוהל של Google Cloud ל-Prometheus כדי לטעון מדדים ל-Cloud Monitoring. החיובים על הטמעה של המדדים האלה ב-Cloud Monitoring מבוססים על מספר הדגימות שהוטמעו.

מידע נוסף זמין במאמר בנושא תמחור של Cloud Monitoring.

מכסה

מדדי DCGM צורכים את המכסה בקשות הטמעת סדרת זמנים לדקה של Cloud Monitoring API. לפני שמפעילים את חבילות המדדים, כדאי לבדוק את השימוש המקסימלי האחרון במכסה הזו. אם יש לכם הרבה אשכולות באותו פרויקט או שאתם כבר מתקרבים למגבלת המכסה הזו, אתם יכולים לבקש להגדיל את מכסת המגבלה לפני הפעלת חבילת הניטור.

מדדי DCGM

לשמות המדדים של Cloud Monitoring בטבלה הזו צריך להוסיף את הקידומת prometheus.googleapis.com/. התחילית הזו הושמטה מהערכים בטבלה.

בנוסף לתוויות במשאב prometheus_target שבמעקב, כל מדדי ה-DCGM שנאספו ב-GKE כוללים את התוויות הבאות:

תוויות GPU:

  • ‫UUID: המזהה הייחודי האוניברסלי (UUID) של מכשיר ה-GPU
  • ‫device: שם מכשיר ה-GPU.
  • ‫gpu: מספר האינדקס כמספר שלם של מכשיר ה-GPU בצומת. לדוגמה, אם יש 8 יחידות GPU מצורפות, הערך הזה יכול להיות בין 0 ל-7.
  • ‫modelName: השם של דגם ה-GPU, למשל NVIDIA L4.

תוויות Kubernetes:

  • ‫container: השם של קונטיינר Kubernetes שמשתמש במכשיר ה-GPU.
  • ‫namespace: מרחב השמות של Kubernetes של ה-Pod והקונטיינר שמשתמשים במכשיר ה-GPU.
  • ‫pod: ה-Pod של Kubernetes שמשתמש במכשיר ה-GPU.
שם המדד ב-PromQL
שם המדד ב-Cloud Monitoring
‫Kind, Type, Unit
Monitored resources
Required GKE version
תיאור
DCGM_FI_DEV_FB_FREE
DCGM_FI_DEV_FB_FREE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
מאגר פריימים פנוי ב-MB.
DCGM_FI_DEV_FB_TOTAL
DCGM_FI_DEV_FB_TOTAL/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
מאגר הפריימים הכולל של ה-GPU ב-MB.
DCGM_FI_DEV_FB_USED
DCGM_FI_DEV_FB_USED/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
הזיכרון של מאגר המסגרות בשימוש (ב-MB).
DCGM_FI_DEV_GPU_TEMP
DCGM_FI_DEV_GPU_TEMP/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
קריאות הטמפרטורה הנוכחיות של המכשיר (במעלות צלזיוס).
DCGM_FI_DEV_GPU_UTIL
DCGM_FI_DEV_GPU_UTIL/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
ניצול ה-GPU (ב-%).
DCGM_FI_DEV_MEM_COPY_UTIL
DCGM_FI_DEV_MEM_COPY_UTIL/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
ניצול הזיכרון (באחוזים).
DCGM_FI_DEV_MEMORY_TEMP
DCGM_FI_DEV_MEMORY_TEMP/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
טמפרטורת הזיכרון של המכשיר (במעלות צלזיוס).
DCGM_FI_DEV_POWER_USAGE
DCGM_FI_DEV_POWER_USAGE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
צריכת החשמל של המכשיר (בוואט).
DCGM_FI_DEV_SM_CLOCK
DCGM_FI_DEV_SM_CLOCK/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
תדר השעון של SM (במגה-הרץ).
DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION
DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION/counter

CUMULATIVE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
צריכת האנרגיה הכוללת של ה-GPU במילי-ג'אול מאז הטעינה מחדש האחרונה של מנהל ההתקן.
DCGM_FI_PROF_DRAM_ACTIVE
DCGM_FI_PROF_DRAM_ACTIVE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
היחס בין המחזורים שבהם ממשק הזיכרון של המכשיר פעיל ושולח או מקבל נתונים.
DCGM_FI_PROF_GR_ENGINE_ACTIVE
DCGM_FI_PROF_GR_ENGINE_ACTIVE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
היחס בין הזמן שבו מנוע הגרפיקה פעיל.
DCGM_FI_PROF_NVLINK_RX_BYTES
DCGM_FI_PROF_NVLINK_RX_BYTES/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
קצב הנתונים הפעילים של NvLink rx (קריאה) בבייטים, כולל הכותרת והמטען הייעודי (payload).
DCGM_FI_PROF_NVLINK_TX_BYTES
DCGM_FI_PROF_NVLINK_TX_BYTES/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
קצב הנתונים הפעילים של NvLink tx (שידור) בבייט, כולל הכותרת והמטען הייעודי (payload).
DCGM_FI_PROF_PCIE_RX_BYTES
DCGM_FI_PROF_PCIE_RX_BYTES/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
שיעור הנתונים הפעילים של PCIe rx (קריאה) בבייט, כולל כותרת ומטען ייעודי.
DCGM_FI_PROF_PCIE_TX_BYTES
DCGM_FI_PROF_PCIE_TX_BYTES/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
שיעור הנתונים הפעילים של PCIe tx (שידור) בבייט, כולל כותרת ומטען ייעודי.
DCGM_FI_PROF_PIPE_FP16_ACTIVE
DCGM_FI_PROF_PIPE_FP16_ACTIVE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
היחס בין המחזורים שבהם צינור ה-fp16 פעיל.
DCGM_FI_PROF_PIPE_FP32_ACTIVE
DCGM_FI_PROF_PIPE_FP32_ACTIVE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
היחס בין המחזורים שבהם צינור ה-fp32 פעיל.
DCGM_FI_PROF_PIPE_FP64_ACTIVE
DCGM_FI_PROF_PIPE_FP64_ACTIVE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
היחס בין המחזורים שבהם צינור ה-fp64 פעיל.
DCGM_FI_PROF_PIPE_TENSOR_ACTIVE
DCGM_FI_PROF_PIPE_TENSOR_ACTIVE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
היחס בין המחזורים שבהם צינור טנסור כלשהו פעיל.
DCGM_FI_PROF_SM_ACTIVE
DCGM_FI_PROF_SM_ACTIVE/gauge

GAUGE, DOUBLE, 1 prometheus_target
1.30.1-gke.1204000
היחס בין המחזורים שבהם ל-SM מוקצה לפחות warp אחד.

כדי לעזור לכם להבין איך אפשר להשתמש במדדים האלה, חילקנו אותם לקבוצות הבאות:

ניצול משאבי המחשוב או הליבה

המדדים האלה מאפשרים לכם לזהות מכשירים שלא מנוצלים מספיק, ולשנות את הקצאת המחשוב או ה-GPU כדי לבצע אופטימיזציה של הניצול. ניצול נמוך של ה-GPU מצביע על כך שאתם משלמים על קיבולת GPU גבוהה יותר ממה שאתם צריכים. המדדים האלה יכולים לעזור לכם לחסוך בעלויות על ידי איחוד החישובים למספר קטן יותר של מכשירים.

DCGM_FI_DEV_GPU_UTIL

המדד הזה מייצג את חלקיק הזמן שבו ה-GPU היה פעיל.

השימוש הצפוי: סקירה כללית של השימוש הממוצע ב-GPU. המדד הזה דומה ל-DCGM_FI_PROF_GR_ENGINE_ACTIVE, שיכול להיות מדד מדויק יותר לניצול GPU.

DCGM_FI_PROF_GR_ENGINE_ACTIVE

המדד הזה מייצג את מידת העומס על מנוע הגרפיקה בכל מרווח דגימה. הערך נגזר מהמספר הממוצע של מחזורים פעילים לעומת המספר המקסימלי האפשרי של מחזורים זמינים במרווח הדגימה. לדוגמה, אם במהלך מרווח דגימה של שנייה אחת היו זמינים 1, 000 מחזורים ובפועל היו פעילים בממוצע 324 מחזורים (ביצעו עבודה), ערך המדד שיתקבל יהיה 0.324. אפשר לפרש את הנתון הזה בערך כך: (0.324 x 100) 32.4%‎ שימוש.

השימוש הצפוי: סקירה כללית של השימוש הממוצע ב-GPU. ערכי ניצול גבוהים באופן עקבי מצביעים על כך שה-GPU עלול להיות צוואר בקבוק שגורם לבעיות בביצועי המערכת. ערכים נמוכים באופן עקבי של ניצול משאבים מצביעים על כך שהאפליקציה לא משתמשת במלוא כוח העיבוד הזמין.

DCGM_FI_PROF_PIPE_FP16_ACTIVE, DCGM_FI_PROF_PIPE_FP32_ACTIVE, DCGM_FI_PROF_PIPE_FP64_ACTIVE, DCGM_FI_PROF_PIPE_TENSOR_ACTIVE

המדדים האלה מייצגים את היחס בין מחזורי הפעילות של צינור GPU נתון לבין מחזורי הזמן שחלפו בשיא הפעילות.

שימוש צפוי: מדד שמשקף את מידת היעילות של השימוש בצינורות החישוב השונים ב-GPU.

DCGM_FI_PROF_SM_ACTIVE

המדד הזה מייצג את חלק הזמן שבו לפחות warp אחד היה פעיל בבלוק SM ‏(Streaming Multiprocessor), בממוצע בכל בלוקי ה-SM. לדוגמה, אם ל-GPU יש 80 יחידות SM זמינות, ובמהלך תקופת הדגימה 16 יחידות SM ביצעו עיוות, הערך שיתקבל של sm_active יהיה (16/80) 0.20, שאפשר לפרש אותו כ-20% מהיחידות הזמינות של SM ביצעו עיוות.

שימוש צפוי: מדד למידת השימוש במקביליות של ה-GPU.

ניצול הזיכרון

השימוש העיקרי במדדים האלה הוא לזהות מתי למכשירי GPU אין מספיק זיכרון לאפליקציות. יכול להיות שכדאי להקצות לאפליקציות האלה יותר קיבולת GPU.

DCGM_FI_DEV_FB_FREE, DCGM_FI_DEV_FB_USED, DCGM_FI_DEV_FB_TOTAL

המדדים האלה מתייחסים לזיכרון של מאגר הפריימים, שהוא הזיכרון ב-GPU. בדוח המדדים מופיעים הנתונים 'זיכרון פנוי' ו'זיכרון בשימוש', שסכומם הוא הזיכרון הכולל. וגם, הזיכרון הכולל שזמין.

שימוש צפוי: קביעת דפוסי השימוש בזיכרון ה-GPU. כך אפשר לקשר בין השימוש בפועל בזיכרון של ה-GPU לבין השימוש הצפוי, כדי לקבוע את יעילות הזיכרון של האפליקציה.

DCGM_FI_DEV_MEM_COPY_UTIL

המדד הזה מייצג את החלק היחסי של הזמן בתקופת הדגימה האחרונה שבו בוצעה קריאה או כתיבה בזיכרון הגלובלי (של המכשיר).

שימוש צפוי: קובעים את דפוסי העברת הנתונים אל זיכרון ה-GPU וממנו. ערכים גבוהים של המדד הזה, בשילוב עם ערכים נמוכים של מדדי ניצול המחשוב, עשויים להצביע על כך שהעברת הזיכרון היא צוואר הבקבוק באפליקציות שפועלות.

DCGM_FI_PROF_DRAM_ACTIVE

המדד הזה מייצג את היחס בין המחזורים שבהם ממשק הזיכרון של ה-GPU שולח או מקבל נתונים. הנתונים האלה כוללים טעינות ואחסונים משרשורים שמופעלים ב-SM, וגם עותקים של זיכרון אל זיכרון ה-GPU וממנו. ערכים גבוהים יותר מציינים רמות גבוהות יותר של תנועה בזיכרון.

שימוש צפוי: המדד הזה דומה למדד DCGM_FI_DEV_MEM_COPY_UTIL, אבל הוא יכול להיות מדויק יותר.

ניצול קלט/פלט

המדדים הבאים מספקים תובנות לגבי השימוש בהעברת נתונים בין ה-GPU לבין המארח, או בין כמה מכשירי GPU. אחת הדרכים להשתמש במדדים האלה היא לזהות מתי אפליקציה מעמיסה יתר על המידה על החיבור. בגלל האופי של שידור כזה, כדאי לבדוק נתונים ברזולוציה גבוהה יותר (למשל, התפלגות) כדי לקבל תמונה מפורטת יותר של אופן הפעולה של הקישוריות.

DCGM_FI_PROF_NVLINK_RX_BYTES, DCGM_FI_PROF_NVLINK_TX_BYTES

המדדים האלה מייצגים את קצב העברת הנתונים (tx) ואת קצב קבלת הנתונים (rx) של NVLink בבייטים.

שימוש צפוי: מעקב אחרי העומס על מחברי NVLink (בין שבבי GPU). אם הערך של המדדים האלה קרוב לרוחב הפס הכולל שזמין ב-NVLink, והמדדים של ניצול המחשוב נמוכים, יכול להיות ש-NVLink הוא צוואר בקבוק באפליקציות שפועלות.

DCGM_FI_PROF_PCIE_RX_BYTES, DCGM_FI_PROF_PCIE_TX_BYTES

המדדים האלה מייצגים את קצב העברת הנתונים (throughput) של PCIe בשליחה (tx) וקבלה (rx) בבייטים, כאשר tx הוא ה-GPU ששולח נתונים, ו-rx הוא ה-GPU שמקבל נתונים.

שימוש צפוי: מעקב אחרי העומס על אפיק ה-PCIe (בין המעבד ל-GPU). אם הערכים של המדדים האלה קרובים לרוחב הפס הכולל של אפיק ה-PCIe, והמדדים של ניצול המחשוב נמוכים, יכול להיות שאפיק ה-PCIe הוא צוואר בקבוק באפליקציות שפועלות.

צריכת חשמל

המדדים הבאים מספקים תובנות לגבי ניצול החשמל של ה-GPU, שלפעמים חיוני לביצועים וליעילות של עומס העבודה.

DCGM_FI_DEV_GPU_TEMP

המדד הזה מייצג את הטמפרטורה הממוצעת בכל ליבות ה-GPU.

שימוש צפוי: מעקב אחרי מצב ה-GPU כשמתקרב להתחממות יתר, בעיקר כדי ליצור קורלציה עם ויסות מהירות השעון. אתם יכולים גם להשתמש במדד הזה כדי לזהות מעבדים גרפיים שנוטים להתחמם יותר מדי, ולהפעיל עליהם עומס קל יותר באפליקציות מתקדמות יותר.

DCGM_FI_DEV_POWER_USAGE

המדד הזה מייצג את צריכת החשמל של ה-GPU בוואט. כדאי לעקוב אחרי צריכת החשמל כמדד לזמן הפעילות של ה-GPU. יחידות ה-GPU של NVIDIA מתאימות את שעוני המנוע בהתאם לכמות העבודה שהן מבצעות. ככל שמהירות השעון (ולכן גם השימוש) עולה, כך גם צריכת החשמל.

שימוש צפוי: מעקב אחרי כמות החשמל שה-GPU צורך באפליקציות של המשתמשים.

DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION

המדד הזה מייצג את צריכת האנרגיה הכוללת של ה-GPU במיליג'ול (mJ) אחרי הטעינה האחרונה של מנהל ההתקן. השיעור שמחושב לפי המדד הזה צריך להתאים למדד צריכת החשמל.

שימוש צפוי: מעקב אחרי כמות החשמל שה-GPU צורך עבור אפליקציות משתמשים.

מדדי ביצועים של GPU

ביצועי ה-GPU מתייחסים ליעילות שבה ה-GPU יכול לבצע משימת חישוב.

DCGM_FI_DEV_MEMORY_TEMP

המדד הזה מציין את הטמפרטורה הממוצעת של בלוק הזיכרון.

שימוש צפוי: כדי להציג את הטמפרטורה של בלוק הזיכרון ולבצע קורלציה עם טמפרטורת ה-GPU.

DCGM_FI_DEV_SM_CLOCK

המדד הזה מייצג את מהירות השעון הממוצעת בכל מעבדי ה-SM. המדד הזה מחושב במרווח זמן שצוין.

שימוש צפוי: מעקב אחרי מהירות השעון כדי לזהות הגבלת רוחב פס ולבצע קורלציה עם ביצועי האפליקציה.

המאמרים הבאים