במאמר הזה מוסבר איך לתכנן ולעצב מכונות או אשכולות של GPU באמצעות הנחיות ל-Compute Advisor, ממשק מבוסס-AI שמופעל על ידי Gemini. במאמר תכנון ויצירה של תשתית AI מוסבר על הרכיבים שצריך להגדיר לפני או בזמן שיוצרים אשכול.
בעזרת Compute Advisor אתם יכולים לבדוק אפשרויות חומרה, להעריך את עלויות הפריסה ולראות הגדרות מומלצות לאשכולות שלכם. כדי להתאים אישית את ההמלצות, Compute Advisor בודק את הפרויקט ב-Google Cloud , כולל מגבלות המכסות, ההזמנות הקיימות, ההנחות תמורת התחייבות לשימוש (CUD), האזור והתחום שמוגדרים כברירת מחדל והאילוצים על מיקום המשאבים. בעזרת Compute Advisor תוכלו לתכנן את ההגדרות האופטימליות לעומס העבודה לפני שתיצרו או תשנו אשכול.
מגבלות
כשמזינים הנחיה ל-Compute Advisor במסוף Google Cloud , אי אפשר ליצור, לשנות או למחוק משאבים באופן ישיר.
לפני שמתחילים
כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים ולממשקי ה-API של Google Cloud , לא צריך להגדיר אימות.
התפקידים הנדרשים
כדי לקבל את ההרשאות שנדרשות לגישה ל-Gemini ולשליחת הנחיות, בקשו מהאדמין להקצות לכם את התפקיד צפייה ב-Cluster Director (roles/hypercomputecluster.viewer) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות כדי לגשת ל-Gemini ולתת לו הנחיות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לגשת ל-Gemini ולתת לו הנחיות, נדרשות ההרשאות הבאות:
-
כדי להציג רשימה של אשכולות:
hypercomputecluster.clusters.list
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
איך פותחים את Compute Advisor במסוף Google Cloud
כדי לגשת ל-Compute Advisor במסוף Google Cloud :
במסוף Google Cloud , נכנסים לדף Compute Advisor.
כשהדף מוכן, אפשר לראות את הפרטים הבאים:
הרכיבים בממשק המשתמש שמוצגים בצילום המסך שלמעלה:
חלונית צדדית של היסטוריית השיחות: מציגה את השיחות האחרונות. אתם יכולים להשתמש בחלונית הזו בדרכים הבאות:
כדי להתחיל שיחה חדשה, לוחצים על שיחה חדשה.
כדי להמשיך שיחה מהזמן האחרון, לוחצים על השיחה בקטע שיחות מהזמן האחרון.
כדי לראות רשימה של כל השיחות, לוחצים על הצגת הכול. בדף ההיסטוריה שלי אתם יכולים לראות את הפרטים של שיחה קודמת ולהמשיך אותה, או למחוק שיחות אם אתם לא צריכים אותן יותר.
כרטיסי הנחיות לפעולה מהירה: קבוצת כרטיסים שכל אחד מהם מכיל הנחיה לדוגמה. אם לוחצים על כרטיס, מסוף Google Cloud מאכלס באופן אוטומטי את תיבת הפרומפט בהנחיה לדוגמה.
תיבת הפרומפט: בשדה הזה אתם יכולים להזין ולשלוח פרומפטים. כדי לשלוח הנחיה, לוחצים על שליחת הנחיה.
הנחיה ל-Compute Advisor
אחרי ששולחים הנחיה, Compute Advisor מתחיל ליצור תשובה. מופיע חלונית ו- Google Cloud console מציג את התשובה להנחיה בחלונית, כמו שמוצג בצילום המסך הבא:
בהתאם להנחיה שלכם, חלונית התשובה כוללת את הרכיבים הבאים:
עיגון לפי הקשר: הכלי Compute Advisor מעריך באופן אוטומטי את ההקשר של הפרויקט כדי לספק המלצות מותאמות אישית, כולל מגבלות מכסה, הזמנות קיימות, הנחות תמורת התחייבות לשימוש, אזור ברירת המחדל והתחום, וכל מגבלה על מיקום המשאבים.
קטעי קוד אינטראקטיביים: Compute Advisor יוצר פקודות gcloud, שיטות API בארכיטקטורת REST או משאבי Terraform. אתם יכולים להעתיק ולהדביק את קטעי הקוד האלה או להריץ אותם ב-Cloud Shell.
קנבס חזותי: Compute Advisor מארגן את ההמלצות בטבלאות מובנות ובהשוואה בטבלה. התצוגה הזו עוזרת לכם להעריך את תכונות המוצר ואת הגישות הארכיטקטוניות. הוא גם מספק תוכנית הטמעה לתרחיש לדוגמה שלכם.
בקטעים הבאים מפורטות השיטות המומלצות לכתיבת הנחיות, ודוגמאות להנחיות שאפשר להשתמש בהן לפני שיוצרים או משנים אשכול.
שיטות מומלצות לכתיבת הנחיות
כדי לקבל מ-Compute Advisor את ההמלצות הכי מדויקות ושימושיות, מומלץ לנסח את ההנחיות באותו אופן שבו הייתם מנסחים בלוק קוד. בגישה הזו, ה-AI הגנרטיבי מונחה באמצעות הצהרות ברורות על פרמטרים, הגדרות תפקידים, הוראות ספציפיות ופורמטים מפורשים של פלט.
כשמזינים הנחיות ל-Compute Advisor, כדאי לפעול לפי השיטות המומלצות הבאות:
התמקדו בתכנון ובעיצוב: מומלץ לא לבקש מ-Compute Advisor לפתור שגיאות באשכולות. כדי לפתור את השגיאות האלה, קראו את המאמר פתרון בעיות ביצירה, בעדכון ובמחיקה של מכונות Compute.
ציינו דמות או תפקיד: הגדירו תפקיד או דמות יעד, כמו אדמין ממחלקת IT, חוקר AI או מהנדס פלטפורמה, כדי ש-Compute Advisor יאמץ אותם. הגישה הזו משפיעה על הטון, העומק ורמת המומחיות של ההמלצות שמתקבלות.
תנו הוראות מפורשות וממוספרות: חלקו את המטרה לשאלות או למשימות קונקרטיות, שלב אחר שלב. הגישה הזו מארגנת את תהליך החשיבה של Compute Advisor ועוזרת לוודא שהוא מתייחס לכל הדרישות שלכם.
הגדירו פורמט פלט ספציפי: ציינו במפורש איך אתם רוצים שההמלצה תהיה מעוצבת, למשל הסבר מפורט, טבלת השוואה ב-Markdown או בלוק קוד gcloud מוכן לשימוש.
שימוש בהקשר אוטומטי: לא צריך לכלול בהנחיה את אזור ברירת המחדל, המכסות הזמינות, ההנחות תמורת התחייבות לשימוש או מגבלות המיקום של המשאבים. ל-Compute Advisor יש גישה למידע הזה בפרויקט Google Cloud .
לשפר את התכנון באופן הדרגתי: אתם יכולים לשנות או להרחיב את התשובה ש-Compute Advisor יצר על ידי שליחת הנחיות חדשות. לדוגמה, אתם יכולים לבקש מה-Assistant להוסיף המלצות לגבי רשתות לתוכנית הפריסה, או לשנות את דרישות האחסון בלי להתחיל שיחה חדשה.
פרומפטים לדוגמה
הנה כמה דוגמאות להנחיות שאתם יכולים להשתמש בהן כדי לתכנן את האשכול ולבצע בו אופטימיזציה:
טופולוגיית אשכולות ואסטרטגיית מיקום: כדי לקבוע את מודל הפריסה ומדיניות המיקום האופטימליים לעומס עבודה של AI עם ביצועים גבוהים, אפשר להשתמש בהנחיה כמו זו:
Act as an AI researcher. I need to design a GPU cluster topology in Cluster Director to train a foundation large language model that maximizes ML goodput and secures accelerator capacity. Please provide the following: 1. A comparison of clustered GPU machine series across available regions. 2. An explanation of how compact placement policies and workload policies reduce network latency and boost goodput. 3. The optimal configuration for future reservations in AI Hypercomputer to secure capacity for this workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.מודל הקצאה ואופטימיזציה של עלויות: כדי להעריך מודלים של הקצאה ולהפחית את העלויות של עיבוד באצווה, אפשר להשתמש בהנחיה כמו זו:
Act as an IT administrator. I need to select the most cost-effective consumption option to run large fault-tolerant AI batch jobs on clusters in Cluster Director without data loss. Please provide the following: 1. A cost and availability comparison of Flex-start VMs against Spot VMs for AI workloads. 2. An explanation of how atomic allocation in Flex-start VMs provisions all accelerator nodes at the exact same time. 3. A cluster configuration with checkpoint storage to save model state before Compute Engine reclaims a Spot VM. Format the comparison as a Markdown table, and provide the configuration steps to complete in the Google Cloud console.
המאמרים הבאים
במאמר סקירה כללית על קיבולת מוסבר איך מקבלים קיבולת ומכסות ב-AI Hypercomputer.
כדי להשוות בין אפשרויות של מאיצים ולבחור את סדרת ה-GPU המתאימה, קראו את המאמר בחירה בין מעבדי GPU כלליים לבין אשכולות GPU.
כדי לבחור כלים וליצור את האשכול, קראו את סקירה כללית של אפשרויות הפריסה.