יצירת מכונה וירטואלית של Cloud TPU באמצעות Compute Engine
במאמר הזה נסביר איך ליצור מכונת TPU אחת באמצעות הפקודה gcloud compute instances create של Compute Engine. אפשר גם ליצור מכונה וירטואלית של TPU על ידי ציון תבנית של הגדרות מכונה. מידע נוסף זמין במאמר יצירת מכונה וירטואלית מתבנית של הגדרות מכונה.
דרישות מוקדמות
צריך לוודא שמתקיימות הדרישות המוקדמות הבאות:
יוצרים Google Cloud פרויקט עבור ה-TPU כמו שמתואר במאמר הגדרת Google Cloud פרויקט ל-TPU.
קובעים את הדרישות שלכם ל-TPU כמו שמתואר במאמר תכנון משאבי Cloud TPU.
יצירת מכונת TPU וירטואלית
הפרמטרים שבהם משתמשים כדי ליצור מכונה וירטואלית של TPU תלויים באפשרות הצריכה שבה משתמשים: לפי דרישה, Spot, מוגבלת להזמנה או הפעלה גמישה. מידע נוסף זמין במאמר בנושא תכנון משאבי TPU.
יצירת מכונת TPU וירטואלית על פי דרישה
כדי ליצור מכונה וירטואלית של TPU על פי דרישה, משתמשים בפקודה gcloud compute instances create:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--maintenance-policy=TERMINATE
מחליפים את ה-placeholders הבאים:
- TPU_NAME: שם למכונת ה-TPU הווירטואלית.
- MACHINE_TYPE: סוג המכונה של מכונת ה-TPU הווירטואלית (לדוגמה
ct6e-standard-8t). - IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל
--image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה. - IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה.
בתמונות TPU, הערך הוא
ubuntu-os-accelerator-images. - ZONE: האזור של ה-TPU VM (לדוגמה,
us-central1-b).
יצירת מכונה וירטואלית של TPU Spot
כדי ליצור מכונת TPU זמנית מסוג Spot, משתמשים בפקודה gcloud compute instances create עם הדגל --provisioning-model=SPOT:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=SPOT \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
מחליפים את ה-placeholders הבאים:
- TPU_NAME: שם למכונת ה-TPU הווירטואלית.
- MACHINE_TYPE: סוג המכונה של מכונת ה-TPU הווירטואלית (לדוגמה
ct6e-standard-8t). - IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל
--image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה. - IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה.
בתמונות TPU, הערך הוא
ubuntu-os-accelerator-images. - ZONE: האזור של ה-TPU VM (לדוגמה,
us-central1-b).
יצירת מכונה וירטואלית של TPU באמצעות בקשה לשמירת מקום
כדי ליצור מכונת TPU וירטואלית באמצעות אפשרות הצריכה שמקושרת להזמנה, משתמשים בפקודה gcloud compute instances create עם הדגלים --reservation-affinity=specific ו---reservation:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=reservation-bound \
--reservation-affinity=specific \
--reservation=RESERVATION_NAME \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
מחליפים את ה-placeholders הבאים:
- TPU_NAME: שם למכונת ה-TPU הווירטואלית.
- MACHINE_TYPE: סוג המכונה של מכונת ה-TPU הווירטואלית (לדוגמה
ct6e-standard-8t). - IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל
--image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה. - IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה.
בתמונות TPU, הערך הוא
ubuntu-os-accelerator-images. - ZONE: האזור של ה-TPU VM (לדוגמה,
us-central1-b). - RESERVATION_NAME: השם של ההזמנה.
יצירת מכונת TPU וירטואלית עם הפעלה גמישה
כדי ליצור מכונה וירטואלית של TPU Flex-start, משתמשים בפקודה gcloud compute instances create עם הדגל --provisioning-model=FLEX_START:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=FLEX_START \
--max-run-duration=MAX_RUN_DURATION \
--request-valid-for-duration=VALID_DURATION \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
מחליפים את ה-placeholders הבאים:
- TPU_NAME: שם למכונת ה-TPU הווירטואלית.
- MACHINE_TYPE: סוג המכונה של מכונת ה-TPU הווירטואלית (לדוגמה
ct6e-standard-8t). - IMAGE_FAMILY: משפחת תמונות מערכת ההפעלה של ה-TPU VM. אם רוצים להתקין גרסה ספציפית של מערכת ההפעלה, משתמשים בדגל
--image. מידע נוסף על תמונות של מערכת ההפעלה זמין במאמר תמונות של מערכת ההפעלה. - IMAGE_PROJECT: הפרויקט שמכיל את תמונת מערכת ההפעלה.
בתמונות TPU, הערך הוא
ubuntu-os-accelerator-images. - ZONE: האזור של ה-TPU VM (לדוגמה,
us-central1-b). - MAX_RUN_DURATION: משך ההרצה המקסימלי של מכונת ה-TPU (לדוגמה,
6h). - VALID_DURATION: משך הזמן המקסימלי שהבקשה תקפה.
מידע נוסף על יצירת מכונות של Compute Engine זמין במאמר יצירה והפעלה של מכונה של Compute Engine.
המאמרים הבאים
- איך יוצרים MIG עם פרוסות Cloud TPU במארח יחיד
- איך יוצרים MIG עם פרוסת Cloud TPU מרובת מארחים
- איך מנהלים מכונות וירטואליות של TPU
- מידע על TPU ב-GKE
- איך מריצים עומסי עבודה של ML ב-TPU, למשל, Serve Qwen2-72B-Instruct with vLLM on TPUs