ניהול מכונות TPU Spot VM

מכונות VM מסוג Spot מאפשרות להשתמש בקיבולת לא מנוצלת במחירים מוזלים מאוד. אפשר להפסיק את השימוש במכונות וירטואליות מסוג Spot בכל שלב, אבל בניגוד ל-TPU שאפשר להפסיק את השימוש בו, אין הגבלה על משך זמן הריצה. אי אפשר להפעיל מחדש מכונות וירטואליות מסוג TPU Spot, וצריך ליצור אותן מחדש אחרי שהן נדחקות. בנוסף, אי אפשר להשתמש בפרק זמן של 120 שניות להודעה על הפסקת השימוש (תצוגה מקדימה) עם מכונות וירטואליות מסוג TPU Spot. מידע נוסף על מכונות וירטואליות מסוג Spot זמין במאמרי העזרה של Compute Engine בנושא מכונות וירטואליות מסוג Spot.

יצירת מכונות וירטואליות מסוג TPU במודל Spot

אפשר ליצור מכונות וירטואליות מסוג TPU Spot באמצעות משאבים בתור, מה שמוסיף את בקשת היצירה שלכם לתור ומאפשר לכם לקבל קיבולת כשהיא זמינה. מומלץ ליצור יחידות TPU כמשאבים בתור. מידע נוסף זמין במדריך למשתמש בנושא משאבים בהמתנה.

בדוגמה הבאה מוצג איך ליצור מכונות וירטואליות מסוג TPU Spot באמצעות משאבים בתור:

gcloud

מוסיפים את הדגל --spot לפקודה gcloud compute tpus queued-resources:

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --node-id=NODE_ID \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --runtime-version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

מוסיפים את spot: {} לגוף הבקשה:

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        tpu: {
        node_spec: {
            parent: "projects/PROJECT_ID/locations/europe-west4-a",
            node_id: "NODE_ID",
            node: {
            accelerator_type: "v3-8",
            runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt"
            }
        }
        },
        spot: {}
    }'

המסוף

  1. נכנסים לדף TPUs במסוף Google Cloud .

    מעבר אל TPUs

  2. לוחצים על יצירת TPU.

  3. בשדה שם, מזינים שם ל-TPU.

  4. בתיבה תחום, בוחרים את התחום שבו רוצים ליצור את ה-TPU.

  5. בתיבה TPU type, בוחרים סוג של מאיץ. סוג המאיץ מציין את הגרסה והגודל של Cloud TPU שרוצים ליצור. מידע נוסף על סוגי המאיצים הנתמכים לכל גרסת TPU זמין במאמר גרסאות TPU.

  6. בתיבה TPU software version (גרסת התוכנה של ה-TPU), בוחרים גרסת תוכנה. כשיוצרים מכונת TPU וירטואלית ב-Cloud TPU, גרסת התוכנה של ה-TPU מציינת את גרסת זמן הריצה של ה-TPU שמותקנת. מידע נוסף זמין במאמר בנושא גרסאות תוכנה של TPU.

  7. לוחצים על המתג הפעלת הוספה לתור.

  8. נותנים לבקשה שם בשדה Queued resource name.

  9. מרחיבים את הקטע ניהול.

  10. מסמנים את תיבת הסימון הפיכת המכונה הווירטואלית הזו ל-TPU Spot VM.

  11. לוחצים על יצירה.

אפשר גם ליצור מכונות וירטואליות מסוג TPU Spot בלי להשתמש במשאבים בתור:

gcloud

מוסיפים את הדגל --spot לפקודה gcloud compute tpus tpu-vm:

gcloud compute tpus tpu-vm create TPU_NAME \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

מוסיפים את scheduling_config: {spot: true} לגוף הבקשה:

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        accelerator_type: "v3-8",
        runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt",
        network_config: {enable_external_ips: true},
        scheduling_config: {spot: true}
    }'

המסוף

  1. נכנסים לדף TPUs במסוף Google Cloud .

    מעבר אל TPUs

  2. לוחצים על יצירת TPU.

  3. בשדה שם, מזינים שם ל-TPU.

  4. בתיבה תחום, בוחרים את התחום שבו רוצים ליצור את ה-TPU.

  5. בתיבה TPU type, בוחרים סוג של מאיץ. סוג המאיץ מציין את הגרסה והגודל של Cloud TPU שרוצים ליצור. מידע נוסף על סוגי המאיצים הנתמכים לכל גרסת TPU זמין במאמר גרסאות TPU.

  6. בתיבה TPU software version (גרסת התוכנה של ה-TPU), בוחרים גרסת תוכנה. כשיוצרים מכונת TPU וירטואלית ב-Cloud TPU, גרסת התוכנה של ה-TPU מציינת את גרסת זמן הריצה של ה-TPU שמותקנת. מידע נוסף זמין במאמר בנושא גרסאות תוכנה של TPU.

  7. מרחיבים את הקטע ניהול.

  8. מסמנים את תיבת הסימון הפיכת המכונה הווירטואלית הזו ל-TPU Spot VM.

  9. לוחצים על יצירה.

בדיקה אם מכונת TPU וירטואלית היא VM במודל Spot

gcloud

כדי לוודא שמכונת ה-TPU הווירטואלית היא VM במודל Spot, משתמשים בפקודה describe:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

אם ה-TPU VM הוא VM במודל Spot, הפלט כולל את השדה spot עם הערך true, כמו בדוגמה הבאה:

...
schedulingConfig:
spot: true
...

המסוף

  1. נכנסים לדף TPUs במסוף Google Cloud .

    מעבר אל TPUs

  2. לוחצים על השם של Cloud TPU.

    אם מכונת ה-TPU הווירטואלית היא VM במודל Spot, אז המסלול הוא VM במודל Spot.

תמחור ומכסות

התמחור של מכונות וירטואליות מסוג TPU Spot נמוך משמעותית מהתמחור של TPUs לפי דרישה ושל TPUs שמורים. למידע נוסף על תמחור, ראו תמחור של Cloud TPU.

כדי להשתמש במכונות וירטואליות זמניות במודל Spot של TPU, צריך מכסה זמנית. מידע נוסף זמין במאמר בנושא מכסות.

המאמרים הבאים