יצירת אשכול Slurm מנוהל מלא עם שתי מכונות וירטואליות מסוג A4

יצירת אשכול Slurm מנוהל מלא עם שתי מכונות וירטואליות מסוג A4

במדריך המקוצר הזה מוסבר איך ליצור אשכול Slurm ולהתחבר אליו באמצעות Cluster Director. האשכול שתיצרו ישתמש בשתי מכונות וירטואליות (VM) מסוג A4, שנועדו לעזור לאשכול Slurm שלכם לטפל ביעילות בעומסי עבודה של אימון מודלים והסקת מסקנות בקנה מידה גדול.

חשוב: כדי להשלים את המדריך הזה, צריך שיהיו לכם מספיק משאבים ליצירת שתי מכונות וירטואליות מסוג A4. כדי לקבל את המשאבים האלה, צריך לשריין משאבים לתאריך ולשעה עתידיים, או ליצור מכונות וירטואליות מסוג A4 כמכונות וירטואליות עם הפעלה גמישה או כמכונות וירטואליות מסוג Spot. מידע נוסף מופיע במאמר בנושא בחירת אפשרות צריכה.

‫Cluster Director הוא שירות מנוהל שמפשט ומבצע אוטומציה של פריסת אשכולות, מצמצם את התקורה התפעולית ומאפשר לכם להתמקד בהרצת עומס העבודה. אם אתם רוצים יותר שליטה בפריסה ובניהול של האשכול, אתם יכולים ליצור אשכול Slurm באמצעות Cluster Toolkit.

---

לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :

תראו לי איך

---

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. מפעילים את ממשקי ה-API הבאים: Hypercompute Cluster API,‏ Compute Engine API,‏ Filestore API,‏ Google Cloud Managed Lustre API,‏ Cloud Logging API ו-Cloud Monitoring API:

   הפעלת ממשקי ה-API
2. מוודאים שלפרויקט ולחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את התפקידים הבאים של ניהול זהויות והרשאות גישה (IAM):

   • כדי לקבל את ההרשאות שדרושות לביצוע ההפעלה המהירה הזו, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

     • כדי ליצור ולנהל אשכול: עריכת אשכולים (roles/hypercomputecluster.editor)
     • כדי ליצור ולנהל מכונות וירטואליות באשכול: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1)
     • כדי להתחבר לצומת הכניסה באשכול:
       • OS Login ב-Compute (roles/compute.osLogin)
       • משתמש מנהרה באבטחת IAP (roles/iap.tunnelResourceAccessor)

     להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

     יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

   • כדי לקבל את ההרשאות שדרושות להשלמת המדריך הזה להתחלה מהירה, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine:

     • כדי ליצור אשכול: משתמש בחשבון שירות (roles/iam.serviceAccountUser)
     • כדי לנהל משאבים באשכול:
       • Logs Writer (roles/logging.logWriter)
       • כתיבת מדדי מעקב (roles/monitoring.metricWriter)
       • צפייה באובייקטים באחסון (roles/storage.objectViewer)

3. אם לארגון שבו הפרויקט קיים יש מדיניות בנושא קובצי אימג' מהימנים (constraints/compute.trustedImageProjects), צריך לוודא שהפרויקט clusterdirector-public-images כלול ברשימת הפרויקטים המותרים. כדי לראות את המדיניות בנושא קובצי אימג' מהימנים בארגון שלכם, אפשר לעיין במאמר בנושא הגדרת הגבלות על הגישה לקובצי אימג'.

עלויות

במדריך למתחילים הזה נעשה שימוש במשאבים הבאים שחלים עליהם חיובים: Google Cloud

• ‫Compute Engine:

  • שתי מכונות וירטואליות עם סוגי מכונות A4

  • כרך אחד של דיסק מתמיד (Persistent Disk) לצומת הכניסה של Slurm בנפח 100GB

  • נפח אחד של Google Cloud Hyperdisk Balanced בנפח 100GB למכונות הווירטואליות מסוג A4

• ‫Filestore: מכונת Filestore עם נפח אחסון של 10 TiB‏ (10,240 GiB)

כדי ליצור הערכת עלויות בהתאם לשימוש החזוי, אתם יכולים להיעזר במחשבון התמחור.

יצירת אשכול Slurm

כדי ליצור אשכול Slurm:

1. נכנסים לדף Cluster Director במסוף Google Cloud .

   מעבר אל Cluster Director

2. לוחצים על יצירת אשכול.

3. בתיבת הדו-שיח שמופיעה, לוחצים על הגדרה שלב אחר שלב. יופיע הדף Create cluster.

4. בשדה Cluster name (שם האשכול), מזינים את הערך cluster001.

5. בקטע מחשוב, לוחצים על הגדרת משאבים. בחלונית Add resource configuration (הוספת הגדרת משאב) שמופיעה, מבצעים את השלבים הבאים:

   1. ברשימה GPU type, בוחרים באפשרות NVIDIA B200 180GB.

   2. בשדה Number of instances, מזינים 2.

   3. בקטע Consumption options (אפשרויות צריכה), בוחרים את אפשרות הצריכה שבה רוצים להשתמש כדי לקבל משאבים.

   4. בקטע Location, מציינים את Region ו-Zone שבהם רוצים ליצור את מכונות ה-VM מסוג A4, או שבהם קיימת ההזמנה שרוצים להשתמש בה כדי ליצור את מכונות ה-VM.

   5. לוחצים על סיום.

6. בתפריט הניווט, לוחצים על אחסון.

7. בקטע אחסון, לוחצים על עריכת הגדרות האחסון. בחלונית Add storage configuration (הוספת הגדרת אחסון) שמופיעה, מבצעים את הפעולות הבאות:

   1. בקטע קיבולת, בוחרים באפשרות ‎10-100 TiB, with increments of 2.5 TiB (‎10-100 TiB, עם תוספות של ‎2.5 TiB).

   2. לוחצים על סיום.

8. לוחצים על יצירה. יופיע הדף אשכולות.

   יצירת האשכול יכולה להימשך זמן מה. זמן ההשלמה תלוי במספר המכונות הווירטואליות שאתם מבקשים ובזמינות המשאבים באזור של המכונות הווירטואליות. אם המשאבים שביקשתם לא זמינים, Cluster Director ישמור את בקשת היצירה עד שהמשאבים יהיו זמינים.

הצגת הבקשה ליצירת האשכול

כדי לבדוק את הבקשה ליצירת אשכול:

1. בטבלה Clusters (אשכולות), בעמודה Name (שם), לוחצים על cluster001. יופיע דף עם פרטי האשכול, והכרטיסייה Details תהיה מסומנת.

2. בקטע Compute, מאתרים את השורה Status. כשהערך של AI Hypercomputer משתנה ל-Ready, אפשר להמשיך לקטע הבא.

התחברות לאשכול באמצעות SSH

כדי להתחבר לאשכול באמצעות SSH, מבצעים את השלבים הבאים:

1. לוחצים על הכרטיסייה Nodes.

2. בטבלה Login nodes (צמתי התחברות), מחפשים את השורה שמכילה את הצומת cluster001-login-001. בשורה הזו, בעמודה Connect, לוחצים על הלחצן SSH. יופיע החלון SSH-in-browser.

3. אם מתבקשים, לוחצים על אישור. יכול להיות שיעבור קצת זמן עד להשלמת החיבור לאשכול. כשהטרמינל מוכן, ממשיכים לקטע הבא.

   הערה: אם נתקלתם בשגיאות כשניסיתם להתחבר לאשכול, כדאי לעיין במאמר בנושא פתרון בעיות של שגיאות ב-SSH.

הרצת משימות לדוגמה

בחלון SSH-in-browser (SSH בדפדפן), מבצעים את הפעולות הבאות:

1. כדי לוודא ש-Slurm פועל, מריצים את הפקודה הבאה:

   sinfo
   

2. כדי לשלוח עבודת בדיקה שמחזירה את שם המארח של הצומת, מריצים את הפקודה הבאה:

   srun hostname
   

3. כדי לשלוח משימה באצווה שמושהית למשך 30 שניות, מריצים את הפקודה הבאה:

   sbatch --wrap="sleep 30"
   

4. כדי לבדוק את סטטוס המשימות בתור, מריצים את הפקודה הבאה:

   squeue
   

5. כדי לראות את נתוני הנהלת החשבונות של המשימות, מריצים את הפקודה הבאה:

   sacct
   

יצרתם בהצלחה אשכול Slurm, התחברתם אליו והפעלתם משימות לדוגמה. אם AI Hypercomputer עדיין לא יצר את המכונות הווירטואליות A4, אפשר לחכות עד שהאשכול ייצור את המכונות הווירטואליות, לשנות את האשכול כדי להוסיף או להסיר מכונות וירטואליות, או למחוק את האשכול כדי להימנע מחיובים מיותרים.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

מחיקת פרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת האשכול

כדי למחוק את האשכול ואת המשאבים המשויכים אליו שיצרתם במסגרת המדריך למתחילים הזה, מבצעים את השלבים הבאים:

1. בדף שבו מופיעים פרטי האשכול, לוחצים על מחיקה.

2. בתיבת הדו-שיח שמופיעה, מזינים cluster001 ולוחצים על מחיקה כדי לאשר.

המאמרים הבאים

• אימות השימוש בהזמנה

• צפייה בטופולוגיית האשכול

• שינוי אשכול

• ניהול תקינות האשכול