הגדרה ושימוש ב-GPU של NVIDIA

המודל bring your own node בתוכנת Google Distributed Cloud לשרת פיזי בלבד מאפשר להריץ עומסי עבודה עם האצת GPU בחומרה שלכם. כדי להכין את אשכולות ה-Bare Metal לשימוש ב-GPU של NVIDIA, צריך להתקין את NVIDIA GPU Operator ואז לוודא שה-GPU מזוהה ופועל.

סקירה כללית של NVIDIA GPU Operator

‫NVIDIA GPU Operator משתמש ב-Operator Framework כדי לנהל את רכיבי התוכנה של NVIDIA שנדרשים להקצאה ולניהול של מכשירי GPU. מומלץ להשתמש ב-NVIDIA GPU Operator בגלל היתרונות והגמישות הבאים:

  • בחירה של סוג ה-GPU: תוכנת Google Distributed Cloud תואמת רק למגוון רחב של סוגי GPU שנתמכים על ידי NVIDIA GPU Operator העדכני.

  • בחירה של מערכת הפעלה נתמכת: צומתי העובדים של האשכול יכולים להשתמש בכל מערכת הפעלה (OS) נתמכת עם מעבדי GPU של NVIDIA, ויש לכם אפשרות להשתמש במנהלי התקנים של GPU שהותקנו מראש או בהתקנה דינמית של מנהלי התקנים באמצעות NVIDIA GPU Operator.

  • מבחר מודלים לפריסה: אתם יכולים להשתמש במעבדי GPU של NVIDIA בכל סוג של אשכול עם צומתי עובדים: אשכולות משתמשים, אשכולות עצמאיים או אשכולות היברידיים.

לפני שמתחילים

לפני שתבצעו את השלבים בקטעים הבאים, ודאו שאתם עומדים בדרישות הבאות:

  • אשכול תפעולי: ודאו שיש לכם אשכול תקין של שרת פיזי שנוצר באמצעות Google Distributed Cloud.

  • ‫NVIDIA GPUs: ודאו שה-NVIDIA GPUs מותקנים בצומתי העובדים של האשכול. בקטע הבא, שעוסק בהתקנת NVIDIA GPU Operator, מפורטים השלבים שצריך לבצע כדי לוודא שהמעבדים הגרפיים הותקנו כמו שצריך וזוהו על ידי מערכת ההפעלה.

  • גרסה תואמת של מנהל ההתקן של NVIDIA: גרסת מנהל ההתקן של NVIDIA שבה אתם משתמשים צריכה להיות תואמת ל-GPU, למערכת ההפעלה ולגרסת ה-CUDA שבה האפליקציות שלכם משתמשות. אלה האפשרויות להתקנת מנהל ההתקן של NVIDIA:

    • כדי להתקין את הגרסה המתאימה של מנהל ההתקן של NVIDIA GPU, צריך להשתמש ב-NVIDIA GPU Operator, כמו שמתואר בקטעים הבאים.

    • משתמשים במנהל ההתקן של NVIDIA שמותקן מראש בקובץ האימג' של מערכת ההפעלה.

    • כדי להתקין ידנית את מנהל ההתקן של NVIDIA, צריך לפעול לפי ההוראות במדריך למתחילים להתקנת מנהל ההתקן של NVIDIA.

  • ‫Helm בגרסה 3.0.0 ואילך: מתקינים את ממשק שורת הפקודה של Helm לניהול חבילות בתחנת העבודה של האדמין. אתם משתמשים ב-Helm כדי להתקין את NVIDIA GPU Operator. כדי להוריד ולהתקין את כלי שורת הפקודה של Helm, אפשר להריץ את הפקודות הבאות:

    curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 \
      && chmod 700 get_helm.sh \
      && ./get_helm.sh
    

התקנה ואימות של NVIDIA GPU Operator

כדי להתקין את NVIDIA GPU Operator באשכול ה-bare metal ולוודא שהוא פועל עם יחידות ה-GPU, צריך לבצע את השלבים הבאים:

  1. במכשירי GPU שמחוברים באמצעות Peripheral Component Interconnect Express ‏(PCIe), מריצים את הפקודה הבאה כדי לקבל רשימה של אפיקי PCI במערכת עם השם NVIDIA:

    sudo lspci | grep NVIDIA
    

    הפלט אמור להיראות כך:

    25:00.0 3D controller: NVIDIA Corporation Device 20b5 (rev a1)
    
  2. כדי לקבל מידע מפורט יותר על מכשירי ה-GPU, אפשר להשתמש בכלי שורת הפקודה של ממשק הניהול של מערכת NVIDIA‏ (nvidia-smi) בצומת נתון:

    nvidia-smi
    

    הפלט אמור להיראות כך:

    +---------------------------------------------------------------------------------------+
    | NVIDIA-SMI 535.183.01             Driver Version: 535.183.1    CUDA Veersion 12.2     |
    |-----------------------------------------+----------------------+----------------------|
    | GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
    |                                         |                      |               MIG M. |
    |=========================================+======================+======================|
    |   0  NVIDIA A100 80GB PCIe          Off | 00000000:25:00.0 Off |                    0 |
    | N/A   30C    P0              44W / 300W |      0MiB / 81920MiB |      0%      Default |
    |                                         |                      |             Disabled |
    +-----------------------------------------+----------------------+----------------------+
    
    +---------------------------------------------------------------------------------------+
    | Processes:                                                                            |
    |  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
    |        ID   ID                                                             Usage      |
    |=======================================================================================|
    |  No running processes found                                                           |
    +---------------------------------------------------------------------------------------+
    
  3. מוסיפים את מאגר NVIDIA Helm בתחנת העבודה של האדמין:

    helm repo add nvidia https://helm.ngc.nvidia.com/nvidia \
        && helm repo update
    
  4. מתקינים את NVIDIA GPU Operator.

    כשמתקינים את NVIDIA GPU Operator, יש שלוש וריאציות בסיסיות של פקודות:

    • מתקינים את NVIDIA GPU Operator עם הגדרות ברירת המחדל:

      helm install --wait --generate-name \
          -n gpu-operator --create-namespace \
          nvidia/gpu-operator \
          --set cdi.enabled=true \
          --set cdi.default=true
      
    • משתמשים בדגל --set כדי להעביר קבוצה של צמדי מפתח/ערך מופרדים בפסיקים, כדי לציין אפשרויות הגדרה:

      helm install --wait --generate-name \
          -n gpu-operator --create-namespace \
          nvidia/gpu-operator \
          --set cdi.enabled=true \
          --set cdi.default=true \
          --set OPTION_1_NAME=OPTION_1_VALUE,OPTION_2_NAME=OPTION_2_VALUE
      

      לרשימה מפורטת של אפשרויות ההגדרה, עיינו בקטע Common Chart Customization Options במסמכי התיעוד של NVIDIA. למידע על הלוגיסטיקה של השימוש בדגל --set, קראו את המאמר The Format and Limitations of --set במסמכי התיעוד של Helm.

    • אם כבר התקנתם את מנהל ההתקן של NVIDIA GPU בצמתים, השביתו את התקנת מנהל ההתקן:

      כברירת מחדל, מפעיל ה-GPU של NVIDIA פורס את מנהל ההתקן העדכני או שצוין של ה-GPU בכל צומתי העובדים של ה-GPU באשכול. לכן, כדי להשתמש בקונטיינר של מנהל ההתקן של NVIDIA GPU, כל צומתי העובדים עם GPUs צריכים להריץ את אותה גרסה של מערכת ההפעלה. כדי לעקוף את הבעיה, אתם יכולים להתקין באופן ידני מנהלי התקנים של GPU בצמתים, ולהריץ את הפקודה helm install עם --set driver.enabled=false כדי למנוע פריסה של מנהלי התקנים על ידי NVIDIA GPU Operator.

      helm install --wait --generate-name \
          -n gpu-operator --create-namespace \
          nvidia/gpu-operator \
          --set cdi.enabled=true \
          --set cdi.default=true \
          --set driver.enabled=false
      

    לתרחישי פריסה נפוצים ופקודות לדוגמה, ראו תרחישי פריסה נפוצים במסמכי התיעוד של NVIDIA.

  5. אימות הייצוא של משאבי ה-GPU:

    אחרי שמתקינים את NVIDIA GPU Operator עם מנהל התקן של GPU ופלאגין של מכשיר שפועל כמו שצריך, מספר ה-GPU אמור להיות מוגדר נכון בשדה Allocatable של משאב הצומת.

    kubectl describe node GPU_NODE_NAME | grep Allocatable -A7
    

    מחליפים את GPU_NODE_NAME בשם של מכונת הצומת עם ה-GPU שבודקים.

    הפלט אמור להיראות כך:

    Allocatable:
      cpu:                127130m
      ephemeral-storage:  858356868519
      hugepages-1Gi:      0
      hugepages-2Mi:      0
      memory:             509648288Ki
      nvidia.com/gpu:     1
      pods:               250
    
  6. כדי לוודא שה-GPUs פועלים, מריצים את המשימה הבאה לדוגמה ב-GPU, שמריצה את הפקודה nvidia-smi:

    export NODE_NAME=GPU_NODE_NAME
    
    cat <<EOF | kubectl create --kubeconfig=CLUSTER_KUBECONFIG -f -
    apiVersion: batch/v1
    kind: Job
    metadata:
      name: test-job-gpu
    spec:
      template:
        spec:
          runtimeClassName: nvidia
          containers:
          - name: nvidia-test
            image: nvidia/cuda:12.0.0-base-ubuntu22.04
            command: ["nvidia-smi"]
            resources:
              limits:
                nvidia.com/gpu: 1
          nodeSelector:
            kubernetes.io/hostname: ${NODE_NAME}
          restartPolicy: Never
    EOF
    

    מחליפים את CLUSTER_KUBECONFIG בנתיב של קובץ ה-kubeconfig של האשכול.

  7. בודקים את היומנים של פלט המשימה לדוגמה:

    kubectl logs job/test-job-gpu --kubeconfig=CLUSTER_KUBECONFIG
    

    הפלט אמור להיראות כך:

    +---------------------------------------------------------------------------------------+
    | NVIDIA-SMI 535.183.01             Driver Version: 535.183.1    CUDA Veersion 12.2     |
    |-----------------------------------------+----------------------+----------------------|
    | GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
    |                                         |                      |               MIG M. |
    |=========================================+======================+======================|
    |   0  NVIDIA A100 80GB PCIe          Off | 00000000:25:00.0 Off |                    0 |
    | N/A   30C    P0              44W / 300W |      0MiB / 81920MiB |      0%      Default |
    |                                         |                      |             Disabled |
    +-----------------------------------------+----------------------+----------------------+
    
    +---------------------------------------------------------------------------------------+
    | Processes:                                                                            |
    |  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
    |        ID   ID                                                             Usage      |
    |=======================================================================================|
    |  No running processes found                                                           |
    +---------------------------------------------------------------------------------------+
    

מגבלות

המגבלות הבאות חלות כשמשתמשים ב-NVIDIA GPU Operator עם אשכולות שנוצרו באמצעות Google Distributed Cloud:

  • אם מתקינים גרסה עדכנית של NVIDIA GPU Operator, יכול להיות שההגדרות של containerd שהופעלו על ידי ה-operator יוחלפו במהלך עדכונים או שדרוגים של האשכול או של מאגר הצמתים.

  • משתמשים בממשק Container Device Interface ‏(CDI) לעומסי עבודה של GPU. בגרסאות קודמות של Google Distributed Cloud שמשתמשות ב-containerd 1.6, יכול להיות שחלק מהיכולות של CDI לא יהיו זמינות.

  • מאגרי צמתים של מאזני עומסים מריצים באופן אוטומטי משימת עדכון כל 7 ימים. המשימה הזו מחליפה את ההגדרות של containerd, כולל אלה שנוספו על ידי NVIDIA GPU Operator.

שיטות מומלצות

כדי לצמצם את מספר ההתנגשויות והבעיות בהגדרות של NVIDIA, מומלץ לנקוט את אמצעי הזהירות הבאים:

  • לפני שמשדרגים או מעדכנים את האשכול או את מאגרי הצמתים, מגבים את קובץ התצורה של containerd,‏ /etc/containerd/config.toml. הקובץ הזה מכיל את הגדרות זמן הריצה של nvidia. אחרי שהשדרוג או העדכון מסתיימים, משחזרים את הקובץ config.toml ומפעילים מחדש את containerd כדי שהשינויים בהגדרות ייכנסו לתוקף.

  • כדי למנוע התנגשויות או בעיות פוטנציאליות בהגדרת containerd, אל תשתמשו בצומתי GPU כצומתי איזון עומסים (loadBalancer.nodePoolSpec).

תמיכה

אם אתם צריכים עזרה נוספת בנוגע לשימוש במעבדים גרפיים ב-Google Distributed Cloud, פנו אל Cloud Customer Care.

אם נתקלתם בבעיות שקשורות להגדרה או לשימוש בחומרת GPU במערכת ההפעלה, פנו לספק החומרה או ישירות לתמיכה של NVIDIA, אם רלוונטי.

תודה על המשוב.