איך מתחילים לעבוד עם אשכולות אימון

אם אתם מעוניינים באשכולות אימון של Gemini Enterprise Agent Platform, אתם יכולים ליצור קשר עם נציג המכירות שלכם כדי לקבל גישה.

לפני שפורסים את האשכול הראשון באשכולות האימון של Gemini Enterprise Agent Platform, צריך להגדיר את הפרויקט והסביבה. במדריך הזה מפורטים כל התנאים המוקדמים הנדרשים, שמחולקים לשלוש קטגוריות עיקריות:Google Cloud

  • גישה לפרויקט: קבלת גישה לשירות, שמתבצעת בהזמנה בלבד.

  • הגדרת משאבים: הפעלת ממשקי API והגדרת שירותי האחסון ורשת ה-VPC הנדרשים.

  • הרשאות משתמש: הקצאת תפקידי IAM הנדרשים לניהול אשכולות ולגישה למשאבים.

השלמת השלבים האלה תכין את הפרויקט לפריסה מוצלחת.

דרישות מוקדמות

כדי להשתמש באשכולות אימון, צריך:

  1. כדי לקבל גישה, צריך להוסיף את הפרויקט לרשימת ההיתרים. לשם כך, פנו לנציג המכירות שלכם.
  2. קבלת קיבולת לאשכולות GPU באזורים נתמכים.
  3. מפעילים את ממשקי ה-API הנדרשים, כולל Compute Engine,‏ Filestore,‏ Cloud Storage,‏ Managed Lustre (אופציונלי),‏ Hypercomputer Configuration Service וממשקי Agent Platform API.
  4. מגדירים את הרשת על ידי וידוא שרשת קיימת עומדת בתנאים ספציפיים (למשל, גישה פרטית של Google, כללי חומת אש) או על ידי יצירת רשת VPC ורשת משנה חדשות.
  5. מגדירים אחסון על ידי יצירת מופע Filestore אזורי או של תחום מוגדר שישמש כספריית /home, ואפשר גם להגדיר Google Cloud מופע מנוהל של Lustre.
  6. מקצים הרשאות IAM למשתמשים לניהול אשכולות, לגישה לאחסון ולגישת SSH לצמתי אשכולות, כמו שמתואר בקטע הרשאות IAM.

אזורים נתמכים

  • us-central1
  • us-east1
  • us-east4
  • us-east5
  • us-south1
  • us-west1
  • us-west4
  • asia-southeast1
  • europe-west1
  • europe-west4
  • europe-north1
  • asia-south2

הרשאות IAM

  1. מעניקים את התפקיד roles/aiplatform.admin למשתמשים שינהלו את אשכולות האימון.
  2. נותנים את התפקיד roles/aiplatform.viewer למשתמשים שצריכים רק לצפות באשכולות ובהגדרות שלהם.

  3. מקצים למשתמש או לחשבון השירות שינהלו את אשכולות האימון המנוהלים (יצירה, מחיקה ועדכון) את תפקידי ה-IAM הבאים:

    שם התפקיד מזהה התפקיד
    מנהל מכונות של Compute (גרסה 1) roles/compute.instanceAdmin.v1
    בעל הרשאת כתיבה של יומנים roles/logging.logWriter
    בעל הרשאת כתיבה של מדדי מעקב roles/monitoring.metricWriter
    Service Account User roles/iam.serviceAccountUser
    אדמין של Service Networking roles/servicenetworking.networksAdmin

  4. כדי לאפשר לצמתים של האשכול לקרוא מקטגוריות של Cloud Storage ולכתוב בהן באמצעות Google Cloud Storage FUSE, צריך להעניק את התפקיד Storage Object User ‏ (roles/storage.objectUser) לחשבון השירות שבו נעשה שימוש במכונות הווירטואליות.

  5. כדי לקבל גישת SSH לצמתי הכניסה של Slurm, צריך להעניק את ההרשאות הבאות:

    הרשאות תיאורים מטרה
    OS Login ב-Compute נכנסים למכונה וירטואלית כמשתמשים רגילים (לא אדמינים). אם נדרש sudo, צריך להשתמש במקום זאת ב-Compute OS Admin Login. התחברות באמצעות SSH לצומת הכניסה שנפרס
    משתמש מנהרה באבטחת IAP משאבי Access Tunnel שמשתמשים בשרת proxy לאימות זהויות (IAP). התחברות באמצעות SSH לצומת הכניסה שנפרס

הפעלת ממשקי ה-API

  1. מפעילים את Google Compute Engine API:

       gcloud services enable compute.googleapis.com

  2. מפעילים את שירות הרשת כי צריך לפרוס את Filestore לפני שיוצרים את האשכול.

       gcloud services enable servicenetworking.googleapis.com

  3. מפעילים את Cloud Storage API:

        gcloud services enable storage.googleapis.com

  4. מפעילים את Lustre API (אם משתמשים ב-Lustre):

    gcloud services enable lustre.googleapis.com

  5. מפעילים את HCS API:

    gcloud services enable hypercomputecluster.googleapis.com

  6. מפעילים את Gemini Enterprise API:

    gcloud services enable aiplatform.googleapis.com

  7. מפעילים את Cloud Resource Manager API:

    gcloud services enable cloudresourcemanager.googleapis.com

המאמרים הבאים

לקבלת מדריך מפורט ליצירת אשכול אימון ולהפעלת עומסי עבודה של AI/ML, אפשר לפנות לנציג המכירות.