במאמר הזה נסביר איך לתכנן ולעצב את המכונות או האשכולות של GPU באמצעות הנחיות ל-Compute Advisor, ממשק מבוסס-AI שמבוסס על Gemini. מידע נוסף על הרכיבים שצריך להגדיר לפני שיוצרים אשכול או במהלך היצירה שלו זמין במאמר תכנון ויצירה של תשתית AI.
הכלי Compute Advisor עוזר לכם להעריך את האפשרויות של החומרה, לאמוד את עלויות הפריסה ולראות את ההגדרות המומלצות לאשכולות שלכם. כדי להתאים את ההמלצות, Compute Advisor מעריך את פרויקטGoogle Cloud שלכם על ידי בדיקת מגבלות המכסה, ההזמנות הקיימות, ההנחות תמורת התחייבות לשימוש (CUD), האזור ואזור הזמינות שמוגדרים כברירת מחדל ואילוצים לגבי מיקום המשאבים. אם תשתמשו ב-Compute Advisor כדי לתכנן את הפעולות, תוכלו להגיע להגדרה אופטימלית של עומס העבודה לפני שתיצרו או תשנו אשכול.
מגבלות
כשמזינים הנחיה ל-Compute Advisor ב Google Cloud מסוף, אי אפשר ליצור, לשנות או למחוק משאבים באופן ישיר.
לפני שמתחילים
כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי API, לא צריך להגדיר אימות.
התפקידים הנדרשים
כדי לקבל את ההרשאות שנדרשות לגישה ל-Gemini ולשימוש בו, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM Cluster Director Viewer (roles/hypercomputecluster.viewer) בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות כדי לגשת ל-Gemini ולתת לו הנחיות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לגשת ל-Gemini ולתת לו הנחיות, צריך את ההרשאות הבאות:
-
כדי לראות רשימה של אשכולות:
hypercomputecluster.clusters.list
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
גישה ל-Compute Advisor במסוף Google Cloud
כדי לגשת ל-Compute Advisor במסוף Google Cloud :
במסוף Google Cloud , נכנסים לדף Compute Advisor.
כשהדף יהיה מוכן, תוכלו לראות את הפרטים הבאים:
רכיבי ממשק המשתמש שמוצגים בצילום המסך שלמעלה הם:
חלונית צדדית של היסטוריית השיחות: מציגה את הצ'אטים מהזמן האחרון. אפשר לבצע את הפעולות הבאות בחלונית הזו:
כדי להתחיל שיחה חדשה, לוחצים על צ'אט חדש.
כדי להמשיך שיחה מהזמן האחרון, לוחצים על השיחה בקטע שיחות מהזמן האחרון.
כדי לראות רשימה של כל השיחות, לוחצים על הצגת הכול. בדף ההיסטוריה שלי אפשר לראות את הפרטים של שיחות קודמות, להמשיך אותן או למחוק אותן אם הן כבר לא נחוצות.
כרטיסי הנחיות לפעולה מהירה: קבוצה של כרטיסים שכל אחד מהם מכיל הנחיה לדוגמה. אם לוחצים על כרטיס, תיבת הפרומפט מתמלאת Google Cloud באופן אוטומטי בפרומפט לדוגמה.
תיבת פרומפט: בשדה הזה אפשר להזין ולשלוח פרומפטים. כדי לשלוח הנחיה, לוחצים על שליחת הנחיה.
הנחיה של Compute Advisor
אחרי ששולחים הנחיה, הכלי Compute Advisor מתחיל ליצור תגובה. מוצגת חלונית ובמסוף Google Cloud מוצגת התשובה להנחיה בחלונית, כמו בצילום המסך הבא:
בהתאם להנחיה, חלונית התגובה כוללת את הרכיבים הבאים:
התאמה להקשר: הכלי Compute Advisor מעריך באופן אוטומטי את ההקשר של הפרויקט כדי לספק המלצות מותאמות אישית, כולל מגבלות מכסה, הזמנות קיימות, הנחות על שימוש מתמשך, האזור ואזור הזמינות שמוגדרים כברירת מחדל, ומגבלות על מיקום המשאבים.
קטעי קוד אינטראקטיביים: Compute Advisor יוצר פקודות gcloud, שיטות API בארכיטקטורת REST או משאבי Terraform. אפשר להעתיק ולהדביק את קטעי הקוד האלה או להריץ אותם ב-Cloud Shell.
אזור עבודה חזותי: הכלי Compute Advisor מארגן את ההמלצות בטבלאות מובנות ובהשוואות זו לצד זו. התצוגה הזו עוזרת לכם להעריך את תכונות המוצר ואת הגישות הארכיטקטוניות. הוא גם מספק תוכנית הטמעה לתרחיש לדוגמה שלכם.
בקטעים הבאים מפורטות שיטות מומלצות לכתיבת הנחיות, וגם דוגמאות להנחיות שאפשר להשתמש בהן לפני שיוצרים או משנים אשכול.
שיטות מומלצות לכתיבת פרומפטים
כדי לקבל המלצות מדויקות ושימושיות מ-Compute Advisor, מומלץ לבנות את ההנחיות באותו אופן שבו בונים בלוק קוד. הגישה הזו מנחה את ה-AI הגנרטיבי באמצעות הצהרות ברורות על פרמטרים, הגדרות תפקידים, הוראות ספציפיות ופורמטים מפורשים של פלט.
כשמזינים הנחיה ל-Compute Advisor, כדאי לפעול לפי השיטות המומלצות הבאות:
מתמקדים בתכנון ובעיצוב: אנחנו ממליצים לא להשתמש ב-Compute Advisor כדי לפתור בעיות בשגיאות של אשכולות. כדי לפתור את השגיאות האלה, אפשר לעיין במאמר פתרון בעיות ביצירה, בעדכון ובמחיקה של מכונות וירטואליות.
מציינים פרסונה או תפקיד: מגדירים תפקיד או פרסונה לטירגוט, כמו אדמין IT, חוקר AI או מהנדס פלטפורמה, כדי ש-Compute Advisor יאמץ אותם. הגישה הזו מכתיבה את הטון, העומק ורמת המומחיות של ההמלצות שמתקבלות.
נותנים הוראות מפורטות וממוספרות: מחלקים את המטרה לשאלות או למשימות קונקרטיות ומפורטות. הגישה הזו מארגנת את תהליך הנימוקים של Compute Advisor ועוזרת לוודא ש-Compute Advisor עונה על כל הדרישות שלכם.
הגדרת פורמט פלט ספציפי: מציינים במפורש איך רוצים שההמלצה תהיה מפורמטת, למשל הסבר מפורט, טבלת השוואה בפורמט Markdown או בלוק קוד gcloud מוכן לשימוש.
שימוש בהארקה אוטומטית של ההקשר: לא צריך לכלול בהנחיה את אזור ברירת המחדל, את האזורים, את המכסות הזמינות, את הנחות השימוש המחייב או את מגבלות המיקום של המשאבים. הכלי Compute Advisor יכול לגשת למידע הזה בפרויקט Google Cloud .
לשפר את העיצובים באופן איטרטיבי: אתם יכולים לשנות או להרחיב את התשובה שנוצרה על ידי Compute Advisor באמצעות שליחת הנחיות חדשות. לדוגמה, אתם יכולים לבקש מהעוזר הדיגיטלי להוסיף המלצות לגבי רשת לתוכנית הפריסה שלכם או לשנות את דרישות האחסון בלי להתחיל שיחה חדשה.
פרומפטים לדוגמה
אלה דוגמאות להנחיות שאפשר להשתמש בהן כדי לעצב ולאחר מכן לבצע אופטימיזציה של האשכול:
טופולוגיית אשכולות ואסטרטגיית מיקום: כדי לקבוע את מודל הפריסה ומדיניות המיקום האופטימליים לעומס עבודה של AI עם ביצועים גבוהים, אפשר להשתמש בהנחיה כמו הבאה:
Act as an AI researcher. I need to design a GPU cluster topology in Cluster Director to train a foundation large language model that maximizes ML goodput and secures accelerator capacity. Please provide the following: 1. A comparison of clustered GPU machine series across available regions. 2. An explanation of how compact placement policies and workload policies reduce network latency and boost goodput. 3. The optimal configuration for future reservations in AI Hypercomputer to secure capacity for this workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.מודל הקצאת משאבים ואופטימיזציה של עלויות: כדי להעריך מודלים של הקצאת משאבים ולהפחית את העלויות של עיבוד ברצף (batch processing), אפשר להשתמש בהנחיה כמו הבאה:
Act as an IT administrator. I need to select the most cost-effective consumption option to run large fault-tolerant AI batch jobs on clusters in Cluster Director without data loss. Please provide the following: 1. A cost and availability comparison of Flex-start VMs against Spot VMs for AI workloads. 2. An explanation of how atomic allocation in Flex-start VMs provisions all accelerator nodes at the exact same time. 3. A cluster configuration with checkpoint storage to save model state before Compute Engine reclaims a Spot VM. Format the comparison as a Markdown table, and provide the configuration steps to complete in the Google Cloud console.
המאמרים הבאים
כדי לראות איך מקבלים קיבולת ומכסת שימוש ב-AI Hypercomputer, אפשר לעיין במאמר סקירה כללית של הקיבולת.
כדי להשוות בין אפשרויות של מאיצים ולבחור את סדרת ה-GPU המתאימה, אפשר לעיין במאמר בחירה בין GPU כללי לבין GPU מקובץ.
כדי לבחור כלים וליצור את האשכול, אפשר לעיין במאמר סקירה כללית של אפשרויות הפריסה.