כדי להציג חיזויים אונליין ב-Google Distributed Cloud (GDC) עם air gap, צריך לעבוד עם מפעיל תשתית (IO) כדי ליצור אשכול חיזוי. ה-IO משייך את פרויקט החיזוי ומקצה את מאגרי הצמתים הנדרשים. לאחר מכן, פורסים את המשאבים המותאמים אישית לחיזוי באשכול הזה, שבו ה-IO יוצר עומסי עבודה של חיזוי.
בכל ארגון יכול להיות רק אשכול חיזוי אחד. עם זאת, אפשר לצרף ולשייך כמה פרויקטים לאשכול כדי להפריד ולארגן את נקודות הקצה.
לפני שמתחילים
כדי להגדיר פרויקט ולפרוס משאבי חיזוי באשכול החיזוי, אתם צריכים את ההרשאות הנדרשות.
בקשת תפקידים ב-IAM ברמת הארגון
כדי לבקש את התפקיד הבא, צריך לפנות למנהל החשבון הארגוני ב-IAM:
- יצירת פרויקטים (
project-creator): יצירת פרויקט חדש בארגון.
בקשת תפקידי IAM בפרויקט
כדי לבקש את התפקיד הבא במרחב השמות של הפרויקט, פנו לאדמין של הפרויקט ב-IAM:
- אדמין של Vertex AI Prediction (
vertex-ai-prediction-admin): ניהול המשאבים שמשמשים לפריסת מודלים באמצעות Online Prediction.
למידע נוסף על התפקידים האלה, ראו הכנת הרשאות IAM.
בקשה לאשכול חיזוי
כדי ליצור אשכול חיזוי, פועלים לפי השלבים הבאים:
מזהים את הפרויקט בארגון שרוצים לשייך לאשכול החדש לחיזויים אונליין.
כדי ליצור פרויקט, קראו את המאמר הגדרת פרויקט ל-Vertex AI. מזהה הפרויקט נדרש כשמבצעים קריאות ל-API.
בוחרים את סוג המכונה לצמתים שנדרשים לעומסי העבודה באשכול מתוך רשימת סוגי המכונות הזמינים ב-Distributed Cloud.
סוג המכונה שתבחרו תלוי בגודל ובמורכבות של מודל החיזוי, והוא קובע את משאבי המחשוב והמעבד הגרפי (GPU) שה-IO מספק לאשכול. כשבוחרים את סוג המכונה של הצמתים, כדאי לפעול לפי ההמלצות לבחירת צמתים.
שולחים אימייל ל-IO באמצעות תבנית הפנייה לאשכול חיזוי כדי לפתוח פנייה ולטפל בבקשה ליצירת האשכול.
במקרה הצורך, פנו ל-IO עד שהם יסיימו ליצור את אשכול החיזוי שמשויך לפרויקט שלכם ולהקצות את מאגרי הצמתים המתאימים בתוך האשכול.
אחרי שהקצאת האשכול מסתיימת, אשכול החיזוי מוכן לחיזויים אונליין.
המלצות לבחירת צומת
כשה-IO יוצר מאגרי צמתים באשכול, הוא מקצה אחד מסוגי המכונות הזמינים ב-Distributed Cloud כדי לספק קבוצה מוגדרת מראש של משאבים לצומתי העובדים. בהתאם לגודל ולמורכבות של המודל, אתם צריכים ביצועי מחשוב שונים, ולכן גם כמות ספציפית של מעבד (CPU), זיכרון ומעבד גרפי (GPU). כשאתם רוצים ליצור אשכול חיזוי, אתם צריכים לספק את הפרטים האלה בפנייה שלכם ל-IO.
כשאתם קובעים עם ה-IO את סוג המכונה של מאגרי הצמתים שאתם צריכים באשכול החיזוי, אתם צריכים לפעול לפי השיטות הבאות:
- ב-Distributed Cloud, נוסף תקורה של מחשוב לצמתים בשביל רכיבי מערכת חובה. לכן, צריך לבחור סוג מכונה גדול יותר למאגרי הצמתים, מאשר זה שבו אתם מתכוונים להשתמש במאגר המשאבים למודלים.
- בחרו את הפתרון שמספק את משאבי הזיכרון והמחשוב המינימליים שנדרשים לכם. לדוגמה, אם המודל דורש שמונה מעבדי vCPU, בחרו בסוג המכונה
n2-highcpu-8-gdc, הפתרון הקטן ביותר עם שמונה מעבדי vCPU וזיכרון בנפח 8GB ב-Distributed Cloud. - ככל שמתקדמים, כדאי לשקול פתרונות עם ביצועים גבוהים יותר רק אם פתרונות קטנים יותר לא מתאימים לצרכים שלכם ולגודל ולמורכבות של המודל. חשוב מאוד לפעול לפי העיקרון של הרשאות מינימליות, ולהשתמש רק במשאבים שדרושים לכם כדי להריץ את תהליך העבודה הספציפי. הגישה האחראית הזו מבטיחה שימוש מתחשב במשאבים בסביבת Distributed Cloud.
- בחרו פתרונות עם מעבדי GPU רק אם אתם צריכים אותם למודל שלכם.
- אם המודל שלכם דורש מעבדי GPU, כדאי לשקול את סוג המכונה
a2-highgpu-1g-gdc, הפתרון הקטן ביותר שמספק מעבדי GPU.
תבנית של מקרה חיזוי באשכול
אתם יכולים להשתמש בתבנית הבאה כדי לשלוח אימייל למשרד החינוך. האימייל פותח בקשה ליצירת אשכול החיזוי שאתם צריכים בשביל חיזויים אונליין.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]