יצירת מופע A3 High או A2

במאמר הזה נסביר איך ליצור מכונה וירטואלית (VM) שמשתמשת בסוג מכונה מסדרת המכונות A2 או A3 High שממוטבת למאיצים.

במקרה של סוגי מכונות A3 High, המסמך הזה מתייחס רק לסוגי מכונות עם פחות מ-8 יחידות GPU שמחוברות אליהן. אפשר ליצור את סוגי המכונות האלה מסוג A3 High עם פחות מ-8 מעבדי GPU רק כ-VM במודל Spot או כ-Flex-start VM. כדי ליצור מכונה מסוג A3 עם 8 מעבדי GPU מצורפים, קראו את המאמר יצירת מכונה מסוג A3 Mega,‏ A3 High או A3 Edge עם GPUDirect מופעל.

כדי ליצור כמה מכונות וירטואליות מסוג A3 או A2, אתם יכולים גם להשתמש באחת מהאפשרויות הבאות:

לפני שמתחילים

  • כדי לעיין במגבלות ובשלבי הכנה נוספים ליצירת מכונות עם GPU מצורף, כמו בחירת קובץ אימג' של מערכת ההפעלה ובדיקת מכסת ה-GPU, אפשר לעיין במאמר סקירה כללית על יצירת מכונה עם GPU מצורף.
  • אם עדיין לא עשיתם את זה, תצטרכו להגדיר אימות. אימות הוא התהליך שבו מאמתים את הזהות שלכם כדי לקבל גישה לממשקי API ולשירותים של Google Cloud . כדי להריץ קוד או דוגמאות מסביבת פיתוח מקומית, אפשר לבצע אימות ל-Compute Engine באחת מהדרכים הבאות:

    צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:

    המסוף

    כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי ה-API, לא צריך להגדיר אימות.

    gcloud

    1. התקינו את ה-CLI של Google Cloud. אחר כך, מאתחלים את ה-CLI של Google Cloud באמצעות הפקודה הבאה: 

      gcloud init

      אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  • הגדרת אזור ותחום כברירת מחדל

    • REST

    כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

      התקינו את ה-CLI של Google Cloud.

      אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

    מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות ליצירת מכונות וירטואליות, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין מכונות של Compute ‏ (v1) (roles/compute.instanceAdmin.v1) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות ליצירת מכונות וירטואליות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור מכונות וירטואליות, צריך את ההרשאות הבאות:

  • ‫compute.instances.create בפרויקט
  • כדי להשתמש באימג' בהתאמה אישית ליצירת המכונה הווירטואלית (VM)‏: ‫compute.images.useReadOnly בקובץ אימג'
  • כדי להשתמש ב-snapshot ליצירת המכונה הווירטואלית: ‫compute.snapshots.useReadOnly בקובץ snapshot
  • כדי להשתמש בתבנית של הגדרות מכונה ליצירת המכונה הווירטואלית: compute.instanceTemplates.useReadOnly בתבנית של הגדרות המכונה
  • כדי לציין רשת משנה למכונה הווירטואלית: ‫compute.subnetworks.use בפרויקט או ברשת המשנה שנבחרה
  • כדי לציין כתובת IP סטטית למכונה הווירטואלית: ‫compute.addresses.use בפרויקט
  • כדי להקצות כתובת IP חיצונית למכונה הווירטואלית כשמשתמשים ברשת VPC: ‫compute.subnetworks.useExternalIp בפרויקט או ברשת המשנה שנבחרה
  • כדי להקצות רשת מדור קודם למכונה הווירטואלית: ‫compute.networks.use בפרויקט
  • כדי להקצות כתובת IP חיצונית למכונה הווירטואלית כשמשתמשים ברשת מדור קודם: ‫compute.networks.useExternalIp בפרויקט
  • כדי להגדיר מטא-נתונים של המכונה הווירטואלית: ‫compute.instances.setMetadata בפרויקט
  • כדי להגדיר תגים למכונה הווירטואלית: ‫compute.instances.setTags במכונה הווירטואלית
  • כדי להגדיר תוויות למכונה הווירטואלית: ‫compute.instances.setLabels במכונה הווירטואלית
  • כדי להגדיר חשבון שירות לשימוש של המכונה הווירטואלית: ‫compute.instances.setServiceAccount במכונה הווירטואלית
  • כדי ליצור דיסק חדש למכונה הווירטואלית: ‫compute.disks.create בפרויקט
  • כדי לצרף דיסק קיים במצב קריאה-בלבד או במצב קריאה וכתיבה: ‫compute.disks.use בדיסק
  • כדי לצרף דיסק קיים במצב קריאה-בלבד: ‫compute.disks.useReadOnly בדיסק

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

יצירת מכונה וירטואלית עם GPUs מצורפים

כדי ליצור מכונת GPU וירטואלית שמציינת מדיניות למיקום קומפקטי, משתמשים ב-CLI של gcloud או ב-API בארכיטקטורת REST. אם לא, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף Create an instance במסוף Google Cloud .

    כניסה לדף Create an instance
  2. בשדה Name, מזינים שם ייחודי למכונה. מוסכמות למתן שמות למשאבים
  3. בוחרים אזור ותחום שבהם סוגי המכונות האלה של GPU זמינים. מידע נוסף זמין במאמר בנושא אזורים ותחומים (Zones) של GPU.
  4. בקטע של סוגי המכונות, בוחרים באפשרות GPUs.
    1. ברשימה GPU type, בוחרים את סוג ה-GPU.
      • למכונות וירטואליות שעברו אופטימיזציה למאיץ A2, בוחרים באפשרות NVIDIA A100 40GB או באפשרות NVIDIA A100 80GB.
      • למכונות וירטואליות שעברו אופטימיזציה להאצת A3, בוחרים באפשרות NVIDIA H100 80GB
    2. ברשימה Number of GPUs (מספר יחידות ה-GPU), בוחרים את מספר יחידות ה-GPU.
  5. מגדירים את דיסק האתחול באופן הבא:
    1. בקטע מערכת הפעלה ואחסון, לוחצים על שינוי. ייפתח הדף Boot disk configuration (הגדרת דיסק האתחול).
    2. בדף הגדרות דיסק אתחול, מבצעים את הפעולות הבאות:
      1. בכרטיסייה Public images, בוחרים תמונה נתמכת של Compute Engine או Deep Learning VM Images.
      1. מציינים גודל של דיסק אתחול של 40 GiB לפחות.
      2. כדי לאשר את האפשרויות של דיסק האתחול, לוחצים על Select.
  6. מגדירים את מודל הקצאת ההרשאות. בקטע Advanced options (אפשרויות מתקדמות), בקטע VM provisioning model (מודל הקצאת מכונות וירטואליות), בוחרים באחת מהאפשרויות הבאות:
    • Standard: לעומסי עבודה למטרות כלליות.
    • ‫Flex-start: לעומסי עבודה קצרים שיכולים לסבול שעת התחלה גמישה. מידע נוסף זמין במאמר מידע על Flex-start VM.
    • Spot: לעומסי עבודה (workloads) עמידים בכשלים שאפשר להפסיק אותם. מידע נוסף זמין במאמר בנושא VM במודל Spot.
  7. אופציונלי: ברשימה On VM termination בוחרים מה יקרה כש-Compute Engine יבצע דחיקה של VM במודל Spot או כש-Flex-start VM יגיעו לסוף משך ההפעלה שלהן:
    • כדי לעצור את מכונת ה-VM במהלך הדחיקה, בוחרים באפשרות Stop (ברירת מחדל).
    • כדי למחוק את המכונה הווירטואלית במהלך ההפסקה לפני הזמן, בוחרים באפשרות מחיקה.
  8. כדי ליצור את המכונה הווירטואלית ולהפעיל אותה, לוחצים על Create.

gcloud

כדי ליצור ולהפעיל מכונה וירטואלית, משתמשים בפקודה gcloud compute instances create עם הדגלים הבאים. מכונות וירטואליות עם GPUs לא יכולות לעבור מיגרציה פעילה, לכן צריך להגדיר את הדגל --maintenance-policy לערך TERMINATE.

בפקודה לדוגמה מוצג גם הדגל --provisioning-model. הדגל הזה מגדיר את מודל ההקצאה של המכונה הווירטואלית. חובה להשתמש בדגל הזה כשיוצרים סוגי מכונות A3 עם פחות מ-8 מעבדי GPU, והערך שלו חייב להיות SPOT או FLEX_START. בסוגי מכונות A2, הדגל הזה הוא אופציונלי. אם לא מציינים מודל, Compute Engine משתמש במודל ההקצאה הרגיל. מידע נוסף זמין במאמר בנושא מודלים של הקצאת מופעים ב-Compute Engine.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      --provisioning-model=PROVISIONING_MODEL

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VM_NAME: השם של המכונה הווירטואלית החדשה.
  • ‫MACHINE_TYPE: סוג מכונה A2 או סוג מכונה A3 עם 1, 2 או 4 יחידות GPU. עבור סוגי מכונות A3, צריך לציין מודל הקצאת משאבים.
  • ‫ZONE: האזור של ה-VM. האזור הזה חייב לתמוך במודל ה-GPU שבחרתם.
  • ‫DISK_SIZE: הגודל של דיסק האתחול ב-GiB. מציינים גודל של דיסק אתחול של 40 GiB לפחות.
  • ‫IMAGE: קובץ אימג' של מערכת הפעלה שתומכת במעבדי GPU. כדי להשתמש בתמונה העדכנית ביותר במשפחת תמונות, מחליפים את הדגל --image בדגל --image-family ומגדירים את הערך שלו למשפחת תמונות שתומכת ב-GPU. לדוגמה: --image-family=rocky-linux-8-optimized-gcp.
    אפשר גם לציין תמונה מותאמת אישית או תמונות VM של למידה עמוקה (Deep Learning).
  • ‫IMAGE_PROJECT: פרויקט האימג' של Compute Engine שאליו שייך קובץ אימג' של מערכת ההפעלה. אם משתמשים בתמונה בהתאמה אישית או בתמונות של מכונות וירטואליות ללמידה עמוקה, צריך לציין את הפרויקט שאליו התמונות האלה שייכות.
  • ‫PROVISIONING_MODEL: מודל ההקצאה שמשמש ליצירת המכונה הווירטואלית. אפשר לציין SPOT או FLEX_START. אם מסירים את הדגל --provisioning-model מהפקודה, Compute Engine משתמש במודל ההקצאה הרגיל. חובה להשתמש בדגל הזה כשיוצרים מכונות וירטואליות מסוג A3 עם פחות מ-8 מעבדי GPU. למידע על הדגלים הנדרשים למודלים של הקצאת משאבים מסוג Spot או Flex-start, אפשר לעיין במאמרים בנושא יצירת VM במודל Spot או יצירת Flex-start VM.

REST

שולחים בקשת POST אל ה-method‏ instances.insert. בגלל שלא ניתן לבצע מיגרציה פעילה של מכונות וירטואליות עם GPUs, צריך להגדיר את השדה onHostMaintenance לערך TERMINATE.

הבקשה לדוגמה כוללת את השדה provisioningModel בגוף הבקשה. בשדה הזה מגדירים את מודל ההקצאה למכונה הווירטואלית. חובה למלא את השדה הזה כשיוצרים סוגי מכונות A3 עם פחות מ-8 מעבדי GPU, והערך שלו חייב להיות SPOT או FLEX_START. בשדות של סוגי מכונות A2, השדה הזה הוא אופציונלי. אם לא מציינים מודל הקצאה, מערכת Compute Engine משתמשת במודל ההקצאה הרגיל. מידע נוסף זמין במאמר בנושא מודלים של הקצאת מופעים ב-Compute Engine.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances

{
  "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "disks":
  [
    {
      "type": "PERSISTENT",
      "initializeParams": {
        "diskSizeGb": "DISK_SIZE",
        "sourceImage": "SOURCE_IMAGE_URI"
      },
      "boot": true
    }
  ],
  "name": "VM_NAME",
  "networkInterfaces":
  [
    {
      "network": "projects/PROJECT_ID/global/networks/NETWORK"
    }
  ],
  "scheduling": {
    "automaticRestart": true,
    "onHostMaintenance": "TERMINATE",
    "provisioningModel": "PROVISIONING_MODEL"
  }
}
מחליפים את מה שכתוב בשדות הבאים:
  • ‫VM_NAME: השם של המכונה הווירטואלית החדשה.
  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫ZONE: האזור של ה-VM. האזור חייב לתמוך בדגם ה-GPU שבחרתם.
  • ‫MACHINE_TYPE: סוג מכונה A2 או סוג מכונה A3 עם 1, 2 או 4 יחידות GPU. עבור סוגי מכונות A3, צריך לציין מודל הקצאת משאבים.
  • ‫SOURCE_IMAGE_URI: ה-URI של האימג' או משפחת האימג'ים הספציפיים שרוצים להשתמש בהם. לדוגמה:
    • תמונה ספציפית: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-10-optimized-gcp-v20251017"
    • סדרת תמונות: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-10-optimized-gcp"
    כשמציינים משפחת קובצי אימג', Compute Engine יוצר מכונה וירטואלית מקובץ האימג' של מערכת ההפעלה העדכני ביותר שלא יצא משימוש באותה משפחה. מידע נוסף על המקרים שבהם כדאי להשתמש במשפחות תמונות זמין במאמר בנושא שיטות מומלצות לשימוש במשפחות תמונות.
  • ‫DISK_SIZE: גודל דיסק האתחול ב-GB. מציינים גודל של דיסק אתחול של 40GB לפחות.
  • ‫NETWORK: רשת ה-VPC שבה רוצים להשתמש עבור מכונת ה-VM. אפשר לציין את הערך <code>default</code> כדי להשתמש ברשת ברירת המחדל.
  • ‫PROVISIONING_MODEL: מודל ההקצאה שמשמש ליצירת המכונה הווירטואלית. אפשר לציין SPOT או FLEX_START. אם מסירים את השדה provisioningModel מגוף הבקשה, Compute Engine משתמש במודל ההקצאה הרגיל. חובה למלא את השדה הזה כשיוצרים מכונות וירטואליות מסוג A3 עם פחות מ-8 יחידות GPU. למידע על שדות חובה במודל הקצאת המשאבים מסוג Spot או Flex-start, אפשר לעיין במאמרים יצירת מכונה וירטואלית (VM) מסוג Spot או יצירת מכונה וירטואלית (VM) מסוג Flex-start.

התקנת מנהלי התקנים

כדי שהמכונה הווירטואלית תשתמש ב-GPU, צריך להתקין את הדרייבר של ה-GPU במכונה הווירטואלית.

דוגמאות

בדוגמאות האלה, רוב המכונות הווירטואליות נוצרות באמצעות Google Cloud CLI. עם זאת, אפשר גם להשתמש ב- Google Cloud console או ב-REST כדי ליצור את המכונות הווירטואליות האלה.

בדוגמאות הבאות אפשר לראות איך ליצור VM במודל Spot מסוג A3 באמצעות קובץ אימג' של מערכת ההפעלה רגילה, ומכונה וירטואלית מסוג A2 באמצעות תמונה של Deep Learning VM Images.

יצירת מכונה וירטואלית מסוג A3 Spot באמצעות משפחת תמונות של מערכת ההפעלה Debian 13

בדוגמה הזו נוצרת מכונה וירטואלית מסוג Spot‏ (a3-highgpu-1g) A3 באמצעות משפחת תמונות של מערכת ההפעלה Debian 13.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=a3-highgpu-1g \
    --provisioning-model=SPOT \
    --maintenance-policy=TERMINATE \
    --image-family=debian-13 \
    --image-project=debian-cloud \
    --boot-disk-size=200GB \
    --scopes=https://www.googleapis.com/auth/cloud-platform

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VM_NAME: השם של המכונה הווירטואלית
  • ‫PROJECT_ID : מזהה הפרויקט
  • ‫ZONE: האזור של המכונה הווירטואלית

יצירת מכונה וירטואלית מסוג A2 עם מכונה של Vertex AI Workbench ל-notebooks בניהול משתמשים במכונה הווירטואלית

בדוגמה הזו נוצרת מכונה וירטואלית (VM) מסוג A2 Standard ‏(a2-highgpu-1g) באמצעות תמונת tf2-ent-2-3-cu110 Deep Learning VM Images. בדוגמה הזו, צוינו דגלים אופציונליים כמו גודל דיסק האתחול והיקף ההרשאות.

השימוש בתמונות DLVM הוא הדרך הקלה ביותר להתחיל, כי מנהלי ההתקנים של NVIDIA וספריות CUDA כבר מותקנים מראש בתמונות האלה.

התמונות האלה גם מספקות אופטימיזציה של הביצועים.

אפשר להשתמש בתמונות הבאות של DLVM עם NVIDIA A100:

  • ‫common-cu110: דרייבר NVIDIA ו-CUDA מותקנים מראש
  • ‫tf-ent-1-15-cu110: מנהל התקן של NVIDIA, ‏ CUDA, ‏ TensorFlow Enterprise 1.15.3 מותקנים מראש
  • ‫tf2-ent-2-1-cu110: NVIDIA driver, CUDA, TensorFlow Enterprise 2.1.1 מותקנים מראש
  • ‫tf2-ent-2-3-cu110: מנהל התקן של NVIDIA, ‏ CUDA, ‏ TensorFlow Enterprise 2.3.1 מותקנים מראש
  • ‫pytorch-1-6-cu110: מנהל התקן של NVIDIA, ‏ CUDA, ‏ Pytorch 1.6

למידע נוסף על קובצי האימג' של DLVM שזמינים ועל החבילות שמותקנות בקובצי האימג', קראו את המסמכים של Deep Learning VM.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=a2-highgpu-1g \
    --maintenance-policy=TERMINATE \
    --image-family=tf2-ent-2-3-cu110 \
    --image-project=deeplearning-platform-release \
    --boot-disk-size=200GB \
    --metadata="install-nvidia-driver=True,proxy-mode=project_editors" \
    --scopes=https://www.googleapis.com/auth/cloud-platform

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VM_NAME: השם של המכונה הווירטואלית
  • ‫PROJECT_ID : מזהה הפרויקט
  • ‫ZONE: האזור של המכונה הווירטואלית

פקודת הדוגמה הקודמת יוצרת גם מכונה של notebook בניהול משתמשים של Vertex AI Workbench עבור המכונה הווירטואלית. כדי לגשת ל-notebook, במסוף Google Cloud , עוברים לדף Vertex AI Workbench > User-managed notebooks.

כניסה לדף User-managed notebooks

Multi-Instance GPU

Multi-Instance GPU מחלק GPU אחד מסוג NVIDIA A100 או NVIDIA H100 באותו VM לעד שבעה מכונות GPU נפרדות. הן פועלות בו-זמנית, ולכל אחת מהן יש זיכרון, מטמון ובלוקי SM ‏(Streaming Multiprocessor) משלה. ההגדרה הזו מאפשרת ל-GPU מסוג NVIDIA A100 ו-H100 לספק איכות שירות (QoS) עקבית עם ניצול גבוה פי 7 בהשוואה לדגמי GPU קודמים.

אפשר ליצור עד שבעה כרטיסי GPU עם כמה מופעים במקביל. ב-GPU מסוג A100 40GB, לכל GPU רב-מופע מוקצים 5GB של זיכרון. עם מעבדי ה-GPU‏ A100 80GB, הזיכרון שהוקצה מוכפל ל-10GB כל אחד. עם מעבדי GPU מסוג H100 80GB, לכל GPU מרובה מופעים מוקצה גם זיכרון בנפח 10GB.

למידע נוסף על השימוש ב-GPU עם כמה מופעים במקביל, קראו את המדריך למשתמש של NVIDIA בנושא GPU עם כמה מופעים במקביל.

כדי ליצור מעבדי GPU עם כמה מופעים במקביל, השלם את השלבים הבאים:

  1. יוצרים מכונה וירטואלית שעברה אופטימיזציה לשימוש במאיץ A2‏ (A100) או A3‏ (H100).

  2. מתחברים למכונה הווירטואלית. מידע נוסף זמין במאמרים איך מתחברים למכונות וירטואליות של Linux או איך מתחברים למכונות וירטואליות של Windows.

  3. מפעילים את מנהלי ההתקנים (דרייברים) של NVIDIA GPU.

  4. הפעלת מעבדי GPU עם כמה מופעים במקביל.

    sudo nvidia-smi -mig 1

  5. בודקים את צורות ה-GPU מרובות המופעים שזמינות.

    sudo nvidia-smi mig --list-gpu-instance-profiles

    הפלט אמור להיראות כך:

    +-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

  6. יוצרים את ה-Multi-Instance GPU (GI) ואת מכונות החישוב (CI) המשויכות שרוצים. כדי ליצור את המכונות האלה, צריך לציין את השם המלא או המקוצר של הפרופיל, את מזהה הפרופיל או שילוב של שניהם. למידע נוסף, קראו את המאמר בנושא יצירת מכונות וירטואליות עם GPU.

    בדוגמה הבאה נוצרות שתי מכונות GPU‏ MIG 3g.20gb באמצעות מזהה הפרופיל (9).

    הדגל -C מצוין גם כדי ליצור את מכונות ה-Compute המשויכות לפרופיל הנדרש.

    sudo nvidia-smi mig -cgi 9,9 -C

  7. בודקים ששני כרטיסי ה-GPU עם כמה מופעים במקביל נוצרו:

    sudo nvidia-smi mig -lgi

  8. בודקים שנוצרו גם ה-GI וגם ה-CI התואם.

    sudo nvidia-smi

    הפלט אמור להיראות כך:

    +-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

מה השלב הבא?