יצירת מדיניות לעומסי עבודה עבור קבוצות של מכונות מנוהלות

במאמר הזה מוסבר איך ליצור מדיניות של עומסי עבודה לקבוצות מנוהלות של מכונות (MIG) עם מכונות Compute Engine מסוג A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs) או H4D. כדי ליצור מדיניות של עומסי עבודה לפרוסות TPU עם כמה מארחים, קראו את המאמר יצירת קבוצת מכונות מנוהלת (MIG) עם פרוסת TPU עם כמה מארחים.

מדיניות עומס העבודה מאפשרת לכם לציין את המיקום או הטופולוגיה של המכונות של Compute Engine בקבוצת ה-MIG. לדוגמה, אתם יכולים להשתמש במדיניות של עומסי עבודה כדי למקם מכונות קרוב יותר זו לזו, וכך לצמצם את זמן האחזור ברשת לעומסי עבודה של בינה מלאכותית (AI), למידת מכונה (ML) או מחשוב עתיר ביצועים (HPC). במאמר מידע על מדיניות עומסי עבודה מוסבר בהרחבה על הדרישות והמגבלות שחלות כשיוצרים מדיניות עומסי עבודה.

לפני שמתחילים

  • אם עדיין לא עשיתם את זה, תצטרכו להגדיר אימות. אימות הוא התהליך שבו מאמתים את הזהות שלכם כדי לקבל גישה לממשקי API ולשירותים של Google Cloud . כדי להריץ קוד או דוגמאות מסביבת פיתוח מקומית, אפשר לבצע אימות ל-Compute Engine באחת מהדרכים האלה:

    צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:

    gcloud

    1. התקינו את ה-CLI של Google Cloud. אחר כך, אתחלו את ה-CLI של Google Cloud באמצעות הפקודה הבאה: 

      gcloud init

      אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  • הגדרת אזור ותחום כברירת מחדל.

    • REST

    כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

      התקינו את ה-CLI של Google Cloud.

      אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

    מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות ליצירה ולהחלה של מדיניות עומסי עבודה על קבוצות MIG, צריך לבקש מהאדמין להקצות לכם את התפקיד אדמין מכונות של Compute ‏ (v1) (roles/compute.instanceAdmin.v1) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות כדי ליצור מדיניות של עומסי עבודה ולהחיל אותה על קבוצות MIG. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור מדיניות של עומסי עבודה ולהחיל אותה על קבוצות MIG, צריך את ההרשאות הבאות:

  • כדי ליצור מדיניות עומסי עבודה: ‫compute.resourcePolicies.create בפרויקט

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

יצירת מדיניות עומס עבודה

כדי ליצור מדיניות לעומסי עבודה, צריך להשתמש באחת מהשיטות הבאות, בהתאם לסדרת המכונות שבהן משתמשות המכונות ב-MIG:

יצירת מדיניות עומס עבודה למכונות A4X Max או A4X

אם אתם מחילים מדיניות עומס עבודה על מכונות A4X Max או A4X ב-MIG, אתם צריכים לציין ערך טופולוגיית מאיץ כשאתם יוצרים את המדיניות. הפעולה הזו עוזרת לעומסי העבודה להשיג ביצועי רשת בקנה מידה גדול, ללא חסימות.

כדי ליצור מדיניות של עומסי עבודה למכונות A4X Max או A4X, בוחרים באחת מהאפשרויות הבאות:

gcloud

כדי ליצור מדיניות עומסי עבודה למכונות A4X Max או A4X, משתמשים בפקודה gcloud compute resource-policies create workload-policy עם הדגל --accelerator-topology=1x72:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫WORKLOAD_POLICY_NAME: השם של מדיניות עומס העבודה.

  • ‫REGION: האזור שבו יוצרים את מדיניות עומס העבודה. מציינים את האזור שבו רוצים ליצור את ה-MIG, ושבו סוג המכונה שבה רוצים להשתמש זמין. כדי לבדוק באילו אזורים אפשר להשתמש בסוגי המכונות A4X Max או A4X, קראו את המאמר אזורים זמינים.

REST

כדי ליצור מדיניות עומסי עבודה למכונות A4X Max או A4X, שולחים בקשת POST ל-resourcePolicies.insert method. בגוף הבקשה, כוללים את השדה acceleratorTopology שמוגדר לערך 1x72:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט שבו רוצים ליצור את מדיניות עומסי העבודה.

  • ‫REGION: האזור שבו יוצרים את מדיניות עומס העבודה. מציינים את האזור שבו רוצים ליצור את ה-MIG, ושבו סוג המכונה שבה רוצים להשתמש זמין. כדי לבדוק באילו אזורים אפשר להשתמש במכונות מסוג A4X Max או A4X, קראו את המאמר אזורים זמינים.

  • ‫WORKLOAD_POLICY_NAME: השם של מדיניות עומס העבודה.

יצירת מדיניות עומסי עבודה למכונות A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 מעבדי GPU) או H4D

אם רוצים להחיל מדיניות עומס עבודה על מכונות מסוג A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 מעבדים גרפיים) או H4D בקבוצת מכונות מנוהלת, אפשר לציין ערך מרחק טופולוגי מקסימלי כשיוצרים את המדיניות.

כשמחליטים אם לציין מרחק טופולוגי מקסימלי, צריך לשקול את היתרונות והחסרונות של מיקום פיזי משותף קפדני לעומת הזמינות של מכונות וביטחון בקיבולת:

  • מרחק לא מוגדר: אתם נותנים עדיפות לזמינות של מכונות וליכולת להשיג אותן על פני מיקום משותף קפדני. עם זאת, אם הקיבולת מוגבלת, יכול להיות ש-Compute Engine ימקם את המכונות במרחק גדול יותר ממה שהאפליקציה יכולה לסבול.

  • מרחק ספציפי: אתם צריכים מיקום פיזי קרוב יותר כדי להפחית את זמן האחזור ברשת, מה שמפחית באופן ישיר את הזמינות של המכונות ואת הבטחת הקיבולת. אם דרישות המיקום שלכם מחמירות מדי ביחס לקיבולת הזמינה באזור, יכול להיות שתקבלו שגיאות שקשורות לזמינות המשאבים. כדי לפתור את השגיאות האלה, צריך להשתמש במדיניות עומס עבודה עם ערך מרחק טופולוגיה מקסימלי פחות מחמיר, כמו CLUSTER במקום SUBBLOCK, או להשאיר את הערך לא מוגדר.

כדי ליצור מדיניות עומסי עבודה למכונות מסוג A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs) או H4D, בוחרים באחת מהאפשרויות הבאות:

gcloud

כדי ליצור מדיניות עומסי עבודה, משתמשים בפקודה gcloud compute resource-policies create workload-policy. בהתאם למידת הקרבה שבה רוצים למקם את המכונות ב-MIG, כוללים בפקודה את הדגלים הבאים:

  • כדי למקם את המכונות קרוב ככל האפשר זו לזו, מוסיפים את הדגל --type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • כדי לשלוט במיקום של המכונות, צריך לכלול את הדגלים --max-topology-distance ו---type=high-throughput:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫WORKLOAD_POLICY_NAME: השם של מדיניות עומס העבודה.

  • ‫REGION: האזור שבו יוצרים את מדיניות עומס העבודה. מציינים את האזור שבו רוצים ליצור את ה-MIG, ושבו סוג המכונה שבה רוצים להשתמש זמין. כדי לבדוק באילו אזורים סוגי המכונות של GPU זמינים, קראו את המאמר אזורים זמינים.

  • ‫TOPOLOGY_DISTANCE: המרחק המקסימלי בטופולוגיה. מציינים את אחד מהערכים הבאים:

    • כדי למקם מכונות A4 או H4D באותו אשכול: CLUSTER

    • כדי למקם מכונות מסוג A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs) או H4D באותו בלוק: BLOCK

    • כדי למקם מכונות מסוג A4,‏ A3 Ultra או H4D באותו בלוק משנה: SUBBLOCK

REST

כדי ליצור מדיניות עומסי עבודה, שולחים בקשת POST ל-method‏ resourcePolicies.insert. בהתאם למידת הקרבה שבה רוצים למקם את המכונות ב-MIG, כוללים את השדות הבאים בגוף הבקשה:

  • כדי למקם את המכונות קרוב אחת לשנייה על בסיס "המאמץ המרבי", צריך לכלול את השדה type בגוף הבקשה:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • כדי לשלוט עוד יותר במיקום של המכונות, צריך לכלול את השדות maxTopologyDistance ו-type בגוף הבקשה:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט שבו רוצים ליצור את מדיניות עומסי העבודה.

  • ‫REGION: האזור שבו יוצרים את מדיניות עומס העבודה. מציינים את האזור שבו רוצים ליצור את ה-MIG, ושבו סוג המכונה שבה רוצים להשתמש זמין. כדי לבדוק באילו אזורים סוגי המכונות של GPU זמינים, קראו את המאמר אזורים זמינים.

  • ‫WORKLOAD_POLICY_NAME: השם של מדיניות עומס העבודה.

  • ‫TOPOLOGY_DISTANCE: המרחק המקסימלי בטופולוגיה. מציינים אחד מהערכים הבאים:

    • כדי למקם מכונות A4 או H4D באותו אשכול: CLUSTER

    • כדי למקם מכונות מסוג A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs) או H4D באותו בלוק: BLOCK

    • כדי למקם מכונות מסוג A4,‏ A3 Ultra או H4D באותו בלוק משנה: SUBBLOCK

המאמרים הבאים