סקירה כללית של Ray ב-Agent Platform

‫Ray היא מסגרת קוד פתוח להרחבת אפליקציות של AI ו-Python. ‫Ray מספקת את התשתית לביצוע מחשוב מבוזר ועיבוד מקבילי בתהליך העבודה של למידת מכונה (ML).

השוואה בין Ray ו-Agent Platform

אם אתם כבר משתמשים ב-Ray, אתם יכולים להשתמש באותו קוד Ray בקוד פתוח כדי לכתוב תוכניות ולפתח אפליקציות בפלטפורמת הסוכנים של Gemini Enterprise עם שינויים מינימליים. לאחר מכן תוכלו להשתמש בשילובים של פלטפורמת הסוכנים של Gemini Enterprise עם שירותים אחרים Google Cloud כמו Vertex AI Inference ו-BigQuery כחלק מתהליך העבודה של למידת המכונה.

אם אתם כבר משתמשים ב-Gemini Enterprise Agent Platform ואתם צריכים דרך פשוטה יותר לנהל משאבי מחשוב, אתם יכולים להשתמש בקוד Ray כדי להרחיב את האימון.

תהליך העבודה לשימוש ב-Ray ב-Agent Platform

משתמשים ב-Colab Enterprise וב-Agent Platform SDK ל-Python כדי להתחבר ל-Ray Cluster.

שלבים תיאור
‫1. הגדרה של Ray ב-Agent Platform מגדירים את פרויקט Google, מתקינים את הגרסה של Agent Platform SDK for Python שכוללת את הפונקציונליות של Ray Client, ומגדירים רשת VPC peering, שזה אופציונלי.
2. יצירת אשכול Ray ב-Gemini Enterprise Agent Platform יוצרים אשכול Ray ב-Gemini Enterprise Agent Platform. נדרש תפקיד אדמין ב-Gemini Enterprise Agent Platform.
3. פיתוח אפליקציית Ray ב-Gemini Enterprise Agent Platform מתחברים לאשכול Ray ב-Gemini Enterprise Agent Platform ומפתחים אפליקציה. נדרש תפקיד משתמש ב-Gemini Enterprise Agent Platform.
4. (אופציונלי) שימוש ב-Ray ב-Agent Platform עם BigQuery קריאה, כתיבה והמרה של נתונים באמצעות BigQuery.
5. (אופציונלי) פריסת מודל ב-Gemini Enterprise Agent Platform וקבלת היסקים פריסת מודל לנקודת קצה אונליין ב-Gemini Enterprise Agent Platform וקבלת היסקים.
6. איך מנטרים את אשכול Ray ב-Gemini Enterprise Agent Platform עוקבים אחרי היומנים שנוצרו ב-Cloud Logging ואחרי המדדים ב-Cloud Monitoring.
7. מחיקת אשכול Ray ב-Gemini Enterprise Agent Platform כדי להימנע מחיובים מיותרים, מוחקים אשכול Ray ב-Gemini Enterprise Agent Platform.

סקירה כללית

אשכולות Ray מובנים כדי להבטיח זמינות של קיבולת לעומסי עבודה קריטיים של ML או במהלך עונות שיא. בניגוד למשימות בהתאמה אישית, שבהן שירות ההדרכה משחרר את המשאב אחרי שהמשימה מסתיימת, קלאסטרים של Ray נשארים זמינים עד שהם נמחקים.

הערה: כדאי להשתמש באשכולות Ray שפועלים לאורך זמן בתרחישים הבאים:

  • אם שולחים את אותה משימת Ray כמה פעמים, אפשר ליהנות מנתונים ומקאש של תמונות על ידי הרצת המשימות באותו אשכול Ray שפועל לאורך זמן.
  • אם מריצים הרבה משימות Ray קצרות, שזמן העיבוד בפועל שלהן קצר יותר מזמן ההפעלה של המשימה, כדאי להשתמש באשכול שפועל לאורך זמן.

אפשר להגדיר אשכולות Ray ב-Gemini Enterprise Agent Platform עם קישוריות ציבורית או פרטית. בתרשימים הבאים מוצגים הארכיטקטורה ותהליך העבודה של Ray ב-Agent Platform. מידע נוסף זמין במאמר קישוריות ציבורית או פרטית.

אדריכלות עם קישוריות ציבורית

קישוריות ציבורית של Ray ב-Agent Platform

  1. יוצרים את אשכול Ray ב-Gemini Enterprise Agent Platform באמצעות האפשרויות הבאות:

    א. משתמשים במסוף Google Cloud כדי ליצור את אשכול Ray ב-Gemini Enterprise Agent Platform.

    ב. יוצרים את אשכול Ray ב-Gemini Enterprise Agent Platform באמצעות Agent Platform SDK ל-Python.

  2. כדי להתחבר לאשכול Ray ב-Gemini Enterprise Agent Platform לצורך פיתוח אינטראקטיבי, אפשר להשתמש באפשרויות הבאות:

    א. כדי להתחבר בצורה חלקה, משתמשים ב-Colab Enterprise במסוף Google Cloud .

    ב. אפשר להשתמש בכל סביבת Python שאפשר לגשת אליה באינטרנט הציבורי.

  3. פיתוח האפליקציה ואימון המודל באשכול Ray ב-Gemini Enterprise Agent Platform:

    • משתמשים ב-Agent Platform SDK for Python בסביבה המועדפת (Colab Enterprise או כל מחברת Python).

    • כותבים סקריפט Python באמצעות הסביבה המועדפת.

    • שולחים Ray Job לאשכול Ray ב-Gemini Enterprise Agent Platform באמצעות Agent Platform SDK for Python,‏ Ray Job CLI או Ray Job Submission API.

  4. פורסים את המודל שאומן לנקודת קצה של Gemini Enterprise Agent Platform באינטרנט כדי לבצע היסק בזמן אמת.

  5. משתמשים ב-BigQuery כדי לנהל את הנתונים.

ארכיטקטורה עם VPC

בתרשים הבא מוצגים הארכיטקטורה ותהליך העבודה של Ray ב-Agent Platform אחרי שמגדירים את Google Cloud הפרויקט ואת רשת ה-VPC (הגדרה אופציונלית):

רשת ה-VPC של Ray ב-Agent Platform

  1. מגדירים את (א) פרויקט Google ואת (ב) רשת ה-VPC.

  2. יוצרים את אשכול Ray ב-Gemini Enterprise Agent Platform באמצעות האפשרויות הבאות:

    א. משתמשים במסוף Google Cloud כדי ליצור את אשכול Ray ב-Gemini Enterprise Agent Platform.

    ב. יוצרים את אשכול Ray ב-Gemini Enterprise Agent Platform באמצעות Agent Platform SDK ל-Python.

  3. אפשר להתחבר לאשכול Ray ב-Gemini Enterprise Agent Platform דרך רשת VPC שכנה באמצעות האפשרויות הבאות:

  4. מפתחים את האפליקציה ומאמנים את המודל באשכול Ray ב-Gemini Enterprise Agent Platform באמצעות האפשרויות הבאות:

    • משתמשים ב-Agent Platform SDK for Python בסביבה המועדפת (Colab Enterprise או מחברת Agent Platform Workbench).

    • כותבים סקריפט Python באמצעות הסביבה המועדפת. שליחת משימת Ray לאשכול Ray ב-Gemini Enterprise Agent Platform באמצעות Agent Platform SDK for Python,‏ Ray Job CLI או לוח הבקרה של Ray.

  5. פורסים את המודל שאומן לנקודת קצה של Gemini Enterprise Agent Platform אונליין כדי להסיק מסקנות.

  6. משתמשים ב-BigQuery כדי לנהל את הנתונים.

הסברים על המונחים

רשימה מלאה של המונחים מופיעה במילון המונחים של Agent Platform בנושא AI ניבויי.

  • שינוי גודל אוטומטי
    • התאמה אוטומטית לעומס (autoscaling) היא היכולת של משאב מחשוב, כמו מאגר העובדים של אשכול Ray, להתאים באופן אוטומטי את מספר הצמתים (nodes) בהתאם לדרישות של עומס העבודה, כדי לייעל את השימוש במשאבים ולחסוך בעלויות. מידע נוסף זמין במאמר בנושא התאמת הגודל של אשכולות Ray ב-Vertex AI: שינוי גודל אוטומטי.
  • היסק ב-Batch
  • BigQuery
    • ‫BigQuery הוא מחסן נתונים (data warehouse) מנוהל, ללא שרת ועם יכולת התאמה רחבה במיוחד, שמסופק על ידי Google Cloud. הוא מיועד לניתוח של מערכי נתונים עצומים באמצעות שאילתות SQL במהירויות גבוהות במיוחד. ‫BigQuery מאפשר בינה עסקית וניתוח נתונים מתקדמים בלי שהמשתמשים יצטרכו לנהל תשתית כלשהי. מידע נוסף זמין במאמר ממחסן נתונים לפלטפורמת נתונים ו-AI אוטונומית.
  • Cloud Logging
    • ‫Cloud Logging הוא שירות רישום ביומן בזמן אמת שמנוהל באופן מלא על ידי Google Cloud. השירות מאפשר לכם לאסוף, לאחסן, לנתח ולנטר יומנים מכל המשאבים של Google Cloud, מאפליקציות מקומיות ואפילו ממקורות מותאמים אישית. Cloud Logging מרכז את ניהול היומנים, מה שמקל על פתרון בעיות, ביקורת והבנת ההתנהגות והתקינות של האפליקציות והתשתיות שלכם. מידע נוסף זמין במאמר סקירה כללית על Cloud Logging.
  • ‫Colab Enterprise
    • ‫Colab Enterprise היא סביבת Jupyter notebook מנוהלת ושיתופית שמביאה את חוויית המשתמש הפופולרית של Google Colab אל Google Cloud, ומציעה יכולות אבטחה ותאימות ברמה ארגונית. ‫Colab Enterprise מספק חוויה שמתמקדת במחברות, ללא צורך בהגדרה, עם משאבי מחשוב שמנוהלים על ידי Vertex AI, ומשולב עם שירותים אחרים של Google Cloud כמו BigQuery. מידע נוסף זמין במאמר מבוא ל-Colab Enterprise.
  • קובץ אימג' של קונטיינר בהתאמה אישית
    • קובץ אימג' מותאם אישית של קונטיינר הוא חבילה עצמאית שניתנת להרצה וכוללת את קוד האפליקציה של המשתמש, את זמן הריצה שלה, את הספריות, את יחסי התלות ואת הגדרות הסביבה. בהקשר של Google Cloud, ובמיוחד של Vertex AI, התכונה הזו מאפשרת למשתמש לארוז את קוד האימון של למידת המכונה או את אפליקציית ההצגה עם התלות המדויקת שלה, כדי להבטיח שחזור ולאפשר למשתמש להריץ עומס עבודה בשירותים מנוהלים באמצעות גרסאות תוכנה ספציפיות או הגדרות ייחודיות שלא מסופקות על ידי סביבות רגילות. מידע נוסף זמין במאמר בנושא דרישות של קונטיינרים בהתאמה אישית להסקת מסקנות.
  • נקודת קצה
    • משאבים שאפשר לפרוס אליהם מודלים מאומנים כדי להציג מסקנות. מידע נוסף זמין במאמר בחירת סוג נקודת קצה.
  • הרשאות של ניהול זהויות והרשאות גישה (IAM)
    • הרשאות בניהול זהויות והרשאות גישה (IAM) הן יכולות פרטניות ספציפיות שמגדירות למי יש אפשרות לבצע פעולות מסוימות במשאבים מסוימים ב-Google Cloud. הם מוקצים לישויות מורשות (כמו משתמשים, קבוצות או חשבונות שירות) באמצעות תפקידים, ומאפשרים שליטה מדויקת בגישה לשירותים ולנתונים בתוך פרויקט בענן או ארגון ב-Google Cloud. מידע נוסף מופיע במאמר בקרת גישה באמצעות IAM.
  • הסקת מסקנות
    • בהקשר של פלטפורמת Vertex AI, הסקה מתייחסת לתהליך של הפעלת נקודות נתונים דרך מודל של למידת מכונה כדי לחשב פלט, כמו ציון מספרי יחיד. התהליך הזה נקרא גם 'הפעלת מודל למידת מכונה' או 'העברת מודל למידת מכונה לייצור'. הסקת מסקנות היא שלב חשוב בתהליך העבודה של למידת מכונה, כי היא מאפשרת להשתמש במודלים כדי להסיק מסקנות לגבי נתונים חדשים. ב-Vertex AI, אפשר לבצע הסקה בדרכים שונות, כולל הסקה באצווה והסקה אונליין. הסקת מסקנות באצווה כוללת הפעלה של קבוצת בקשות להסקת מסקנות והצגת התוצאות בקובץ אחד, בעוד שהסקת מסקנות אונליין מאפשרת להסיק מסקנות בזמן אמת לגבי נקודות נתונים ספציפיות.
  • Network File System ‏ (NFS)
    • מערכת לקוח/שרת שמאפשרת למשתמשים לגשת לקבצים ברשת ולהתייחס אליהם כאילו הם נמצאים בספריית קבצים מקומית. מידע נוסף זמין במאמר בנושא הוספת שיתוף של מערכת קבצים ברשת.
  • הסקת מסקנות אונליין
  • משאב קבוע
    • סוג של משאב מחשוב ב-Vertex AI, כמו אשכול Ray, שנשאר מוקצה וזמין עד למחיקה מפורשת. זה מועיל לפיתוח איטרטיבי ומפחית את תקורה ההפעלה בין משימות. מידע נוסף זמין במאמר קבלת מידע על משאבים קבועים.
  • pipeline
    • צינורות ML הם תהליכי עבודה ניידים וניתנים להרחבה של למידת מכונה שמבוססים על קונטיינרים. מידע נוסף זמין במאמר מבוא ל-Vertex AI Pipelines.
  • מאגר מוכן מראש
  • Private Service Connect‏ (PSC)
    • ‫Private Service Connect היא טכנולוגיה שמאפשרת ללקוחות Compute Engine למפות כתובות IP פרטיות ברשת שלהם לרשת VPC אחרת או ל-Google APIs. מידע נוסף זמין במאמר Private Service Connect.
  • Ray cluster on Vertex AI
    • אשכול Ray ב-Vertex AI הוא אשכול מנוהל של צמתי מחשוב שאפשר להשתמש בו כדי להריץ אפליקציות מבוזרות של למידת מכונה (ML) ו-Python. הוא מספק את התשתית לביצוע חישוב מבוזר ועיבוד מקבילי לתהליך העבודה של למידת מכונה (ML). אשכולות Ray מובנים ב-Vertex AI כדי להבטיח זמינות של קיבולת לעומסי עבודה קריטיים של ML או בעונות שיא. בניגוד למשימות בהתאמה אישית, שבהן שירות ההדרכה משחרר את המשאב אחרי שהמשימה מסתיימת, קלאסטרים של Ray נשארים זמינים עד שהם נמחקים. מידע נוסף זמין במאמר סקירה כללית על Ray ב-Vertex AI.
  • ‫Ray on Vertex AI (RoV)
    • ‫Ray on Vertex AI מתוכנן כך שתוכלו להשתמש באותו קוד Ray בקוד פתוח כדי לכתוב תוכניות ולפתח אפליקציות ב-Vertex AI עם שינויים מינימליים. מידע נוסף זמין במאמר סקירה כללית על Ray ב-Vertex AI.
  • Ray on Vertex AI SDK ל-Python
    • ‫Ray on Vertex AI SDK for Python היא גרסה של Vertex AI SDK ל-Python שכוללת את הפונקציונליות של Ray Client,‏ Ray BigQuery connector,‏ Ray cluster management ב-Vertex AI והסקת מסקנות ב-Vertex AI. מידע נוסף זמין במאמר מבוא ל-Vertex AI SDK ל-Python.
  • Ray on Vertex AI SDK ל-Python
    • ‫Ray on Vertex AI SDK for Python היא גרסה של Vertex AI SDK ל-Python שכוללת את הפונקציונליות של Ray Client,‏ Ray BigQuery connector,‏ Ray cluster management ב-Vertex AI והסקת מסקנות ב-Vertex AI. מידע נוסף זמין במאמר מבוא ל-Vertex AI SDK ל-Python.
  • חשבון שירות
    • חשבונות שירות הם חשבונות מיוחדים ב-Google Cloud שאפליקציות או מכונות וירטואליות משתמשות בהם כדי לבצע קריאות מורשות ל-API של שירותי Google Cloud. בניגוד לחשבונות משתמשים, הם לא קשורים לאדם פרטי, אלא משמשים כזהות לקוד שלכם, ומאפשרים גישה מאובטחת למשאבים באמצעות תוכנה, בלי שיהיה צורך בהזנת פרטי כניסה של אדם. מידע נוסף מופיע במאמר סקירה כללית על חשבונות שירות.
  • Vertex AI Workbench
    • ‫Vertex AI Workbench היא סביבת פיתוח מאוחדת שמבוססת על מחברת Jupyter, ותומכת בכל תהליך העבודה של מדעי הנתונים, החל מחיפוש וניתוח נתונים ועד לפיתוח, לאימון ולפריסה של מודלים. ‫Vertex AI Workbench מספק תשתית מנוהלת וניתנת להרחבה עם שילובים מובנים לשירותים אחרים של Google Cloud, כמו BigQuery ו-Cloud Storage. כך מדעני נתונים יכולים לבצע את משימות למידת המכונה שלהם ביעילות בלי לנהל את התשתית הבסיסית. מידע נוסף זמין במאמר מבוא ל-Vertex AI Workbench.
  • צומת עובד
    • צומת עובד הוא מכונה או מופע חישובי בתוך אשכול, שאחראי להפעלת משימות או לביצוע עבודה. במערכות כמו אשכולות Kubernetes או Ray, הצמתים הם יחידות המחשוב הבסיסיות. מידע נוסף זמין במאמר מהו מחשוב עתיר ביצועים (HPC)?
  • מאגר של עובדים
    • רכיבים של אשכול Ray שמריצים משימות מבוזרות. אפשר להגדיר מאגרי עובדים עם סוגים ספציפיים של מכונות, והם תומכים גם בהרחבה אוטומטית וגם בהרחבה ידנית. מידע נוסף זמין במאמר בנושא המבנה של אשכול האימון.

תמחור

התמחור של Ray ב-Agent Platform מחושב באופן הבא:

  • החיוב על משאבי המחשוב שבהם אתם משתמשים מבוסס על תצורת המכונה שאתם בוחרים כשאתם יוצרים את אשכול Ray בפלטפורמת הסוכנים של Gemini Enterprise. למחירון של Ray on Agent Platform

  • בנוגע לאשכולות Ray, החיוב מתבצע רק במהלך הסטטוסים RUNNING ו-UPDATING. לא נגבה תשלום במדינות אחרות. הסכום שמחויב מבוסס על גודל האשכול בפועל באותו רגע.

  • כשמבצעים משימות באמצעות אשכול Ray ב-Gemini Enterprise Agent Platform, נוצרים יומנים באופן אוטומטי והחיוב מתבצע על סמך תמחור Cloud Logging.

  • אם אתם פורסים את המודל שלכם לנקודת קצה להסקת מסקנות אונליין, תוכלו לעיין בסעיף 'חיזוי והסבר' בדף התמחור של Gemini Enterprise Agent Platform.

  • אם אתם משתמשים ב-BigQuery עם Ray ב-Agent Platform, כדאי לעיין בתמחור של BigQuery.

המאמרים הבאים