איך שומרים מקום בעזרת אימון

במסמך הזה מוסבר איך להשתמש בהזמנות של Compute Engine כדי להבטיח ברמה גבוהה שלמשימות האימון ללא שרת (serverless) יש את המשאבים הנדרשים של המכונה הווירטואלית (VM) כדי לפעול.

הזמנות הן תכונה של Compute Engine. אתם יכולים לשמור מקום כדי לוודא שמתי שתצטרכו יהיו לכם משאבים בשביל ליצור מכונות וירטואליות עם אותה חומרה (זיכרון ו-vCPU) ומשאבים אופציונליים (מעבדי CPU,‏ GPU,‏ TPU ודיסקים מקומיים של SSD).

כשיוצרים מקום שמור, המערכת של Compute Engine בודקת אם הקיבולת שביקשתם זמינה באזור שציינתם. אם כן, המשאבים נשמרים ב-Compute Engine, נוצרת בקשה לשמירת מקום ומתרחשים הדברים הבאים:

  • אתם יכולים להשתמש במשאבים השמורים באופן מיידי, והם יישארו זמינים עד שתמחקו את ההזמנה.
  • החיוב על המשאבים השמורים הוא לפי אותו תעריף על פי דרישה כמו של מכונות וירטואליות פועלות, כולל כל ההנחות הרלוונטיות, עד למחיקת ההזמנה. מכונה וירטואלית שמשתמשת במקום שמור לא צוברת חיובים נפרדים. החיוב הוא רק על המשאבים שמחוץ להזמנה, כמו דיסקים או כתובות IP. למידע נוסף, ראו תמחור של הזמנות.

מגבלות ודרישות

כשמשתמשים בהזמנות של Compute Engine עם Agent Platform, חשוב להביא בחשבון את המגבלות והדרישות הבאות:

  • ב-Agent Platform אפשר להשתמש רק בהקצאות ל-CPU, למכונות וירטואליות עם GPU או ל-TPU (גרסת טרום-השקה (Preview)).
  • פלטפורמת Agent לא יכולה להשתמש בהקצאות של מכונות וירטואליות שמחוברים אליהן ידנית דיסקים מסוג Local SSD.
  • אפשר להשתמש במקומות שמורים ב-Compute Engine ב-Agent Platform רק לאימון ללא שרת (serverless), להסקת מסקנות ול-Gemini Enterprise Agent Platform Workbench (גרסת טרום-השקה).
  • כדי להשתמש במאפייני ה-VM של ההזמנה, הם צריכים להתאים בדיוק לעומס העבודה של Agent Platform. לדוגמה, אם בהזמנה מצוין סוג מכונה a2-ultragpu-8g, עומס העבודה של Agent Platform יכול לצרוך את ההזמנה רק אם הוא משתמש גם בסוג מכונה a2-ultragpu-8g. דרישות
  • כדי להשתמש במאגר משותף של מכונות וירטואליות עם GPU או TPU, צריך להשתמש בו באמצעות הפרויקט הבעלים או פרויקט צרכן שהמאגר משותף איתו. איך פועלות הזמנות משותפות
  • כדי לתמוך בעדכונים שוטפים של פריסות Agent Platform, מומלץ להגדיל את מספר המכונות הווירטואליות במכונה וירטואלית אחת לפחות לכל פריסה בו-זמנית.
  • אפשר להשתמש ב-Flex Start עם מתזמן משימות לפריסת workload דינמית (DWS) ולהריץ משימות אימון במשאב לטווח ארוך, אבל לא כשמשתמשים במקומות שמורים ב-Compute Engine עם אימון ב-Agent Platform.

חיוב

כשאתם משתמשים במקומות שמורים ב-Compute Engine, אתם מחויבים על הדברים הבאים:

לפני שמתחילים

איך מאפשרים שימוש בהזמנה

לפני שמשתמשים במקום שמור למעבדי CPU, למכונות וירטואליות של GPU או למעבדי TPU, צריך להגדיר את מדיניות השיתוף שלו כך שתאפשר לפלטפורמת הסוכנים להשתמש במקום השמור. כדי לעשות את זה, אפשר להשתמש באחת מהשיטות הבאות:

אישור צריכה בזמן יצירת הזמנה

כשיוצרים הזמנה לפרויקט יחיד או הזמנה משותפת של מכונות וירטואליות של GPU, אפשר לאפשר ל-Agent Platform להשתמש בהזמנה באופן הבא:

  • אם משתמשים במסוף Google Cloud , בקטע Google Cloud services בוחרים באפשרות Share reservation.
  • אם אתם משתמשים ב-Google Cloud CLI, צריך לכלול את הדגל --reservation-sharing-policy ולהגדיר אותו ל-ALLOW_ALL.
  • אם משתמשים ב-API בארכיטקטורת REST, בגוף הבקשה כוללים את השדה serviceShareType ונותנים לו את הערך ALLOW_ALL.

איך מאפשרים שימוש בהזמנה קיימת

אפשר לשנות מקום שמור לעתיד שנוצר אוטומטית למכונות וירטואליות עם GPU או TPU רק אחרי שעת ההתחלה של המקום השמור.

כדי לאפשר ל-Agent Platform להשתמש בהזמנה קיימת, אפשר להשתמש באחת מהשיטות הבאות:

איך בודקים אם נעשה שימוש בהזמנה

כדי לוודא שההזמנה מנוצלת, קראו את המאמר אימות ניצול ההזמנות במסמכי התיעוד של Compute Engine.

יצירת משימת אימון ללא שרת (serverless) עם הזמנה

משתמשים ב-API בארכיטקטורת REST כדי ליצור משימת אימון ללא שרת (serverless) שצורכת הזמנה של מכונות וירטואליות עם GPU ב-Compute Engine.

איך פועלים השיוך והאימות של ההזמנות

כששולחים משימת אימון בהתאמה אישית שמציינת הגדרה של reservationAffinity, פלטפורמת Agent מאמתת את הגדרת ההזמנה לפני שהיא מוסיפה את המשימה לתור:

  • ב-ANY_RESERVATION:

    • באזור של המשימה צריכה להיות לפחות הזמנה אחת שנוצלה באופן אוטומטי, והיא צריכה להיות משותפת עם Agent Platform (וגם עם הפרויקט שלכם, אם ההזמנה נמצאת בפרויקט מארח אחר).

    • השדות key ו-values ב-reservationAffinity צריכים להיות מושמטים או ריקים.

    כשמשתמשים ב-ANY_RESERVATION, יכול להיות שהמתזמן האזורי יבחר אזור מחוץ למקום ששמרתם. במקרה כזה, יכול להיות שהמשימה תיכשל ותופיע השגיאה "Resources are insufficient", גם אם יש לכם קיבולת לא מנוצלת באזור אחר. כדי לוודא שפלטפורמת הסוכן משתמשת באופן דטרמיניסטי בהזמנה הספציפית שלכם, צריך להחיל לחיצת יד קפדנית. יוצרים מחדש את ההזמנה ב-Compute Engine עם הדגל --require-specific-reservation (ואם רלוונטי, --reservation-sharing-policy=ALLOW_ALL), ומגדירים את reservationAffinityType של צינור עיבוד הנתונים של Agent Platform לערך SPECIFIC_RESERVATION.

  • ב-SPECIFIC_RESERVATION:

    • בשדה key צריך להגדיר את הערך compute.googleapis.com/reservation-name, ובשדה values צריך לציין הזמנה אחת קיימת באזור בתוך האזור של המשימה.

    • המקום השמור שציינתם צריך להיות מוגדר לטירגוט ספציפי (לא לצריכה אוטומטית), וצריך לשתף אותו עם Agent Platform (ועם הפרויקט שלכם, אם המקום השמור נמצא בפרויקט מארח אחר).

אם אחת מבדיקות האימות האלה נכשלת, ה-API דוחה מיד את הבקשה עם שגיאת INVALID_ARGUMENT. האימות המקדים לא בודק את התאימות של סוג המכונה או את קיבולת ההזמנה הזמינה בזמן שליחת המשימה.

בטבלה הבאה מוסבר איך Agent Platform מטפלת במשימת אימון, בהתאם למצב ההזמנה ולערך של reservationAffinityType:

תרחיש התנהגות עם ANY_RESERVATION התנהגות עם SPECIFIC_RESERVATION
יש מקום שמור שתואם למאפייני המכונה, ויש בו קיבולת פנויה המשימה מתקבלת, מנותבת לאזור של ההזמנה וצורכת את ההזמנה. המשימה תאושר ותשתמש בהזמנה שצוינה.
ההזמנה קיימת ותואמת למאפייני המכונה, אבל היא מלאה המשימה תאושר ותנותב לאזור שבו נמצאת ההזמנה התואמת. מכיוון שהקיבולת השמורה מוצתה, Agent Platform מנסה להקצות קיבולת על פי דרישה. המשימה מתקבלת, אבל אם לא מתפנה קיבולת בהזמנה המטורגטת, Agent Platform. הוא לא חוזר לקיבולת על פי דרישה.
ההזמנה קיימת, אבל היא לא משותפת עם Agent Platform או עם פרויקט הצרכן המשימה נכשלת מיד עם השליחה ומוצגת השגיאה INVALID_ARGUMENT (אלא אם קיימת באזור הזמנה אחרת שנגישה ומוקצית באופן אוטומטי). המשימה נכשלת מיד עם השליחה ומופיעה השגיאה INVALID_ARGUMENT.
אין הזמנה נגישה באזור של המשימה המשימה נכשלת מיד עם השליחה ומופיעה השגיאה INVALID_ARGUMENT. היא לא עוברת לקיבולת על פי דרישה. המשימה נכשלת מיד עם השליחה ומופיעה השגיאה INVALID_ARGUMENT.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫LOCATION: האזור שבו יופעל הקונטיינר או חבילת Python.
  • ‫PROJECT_ID: הפרויקט שבו נוצרה ההזמנה. כדי להשתמש בהזמנה משותפת מפרויקט אחר, צריך לשתף את ההזמנה עם הפרויקט הזה. מידע נוסף זמין במאמר שינוי הפרויקטים הצרכניים בהזמנה משותפת.
  • ‫JOB_NAME: שדה חובה. שם לתצוגה של CustomJob.
  • ‫MACHINE_TYPE: סוג המכונה שבה משתמשים למשימה. הגדרת ברירת המחדל היא n1-standard-2. למידע נוסף על סוגי המכונות הנתמכים, קראו את המאמר הגדרת משאבי מחשוב לאימון בהתאמה אישית.
  • ‫ACCELERATOR_TYPE: סוג המאיץ שרוצים לצרף למכונה. למידע נוסף על סוג ה-GPU שכל סוג מכונה תומך בו, קראו את המאמר מעבדי GPU לעומסי עבודה של Compute.
  • ‫ACCELERATOR_COUNT: מספר המאיצים שרוצים לצרף למכונה.
  • מגדירים את משימת האימון בהתאמה אישית:
    • ‫RESERVATION_AFFINITY_TYPE: הערך צריך להיות ANY_RESERVATION, SPECIFIC_RESERVATION או NO_RESERVATION.

      • ‫ANY_RESERVATION פירושו שהמכונות הווירטואליות של customJob יכולות להשתמש באופן אוטומטי בכל הזמנה עם מאפיינים תואמים.
      • ‫SPECIFIC_RESERVATION פירושו שהמכונות הווירטואליות של customJob יכולות להשתמש רק בבקשה שהמכונות הווירטואליות מטרגטות באופן ספציפי לפי שם.
      • ‫NO_RESERVATION פירושו שהמכונות הווירטואליות של customJob לא יכולות לצרוך אף הזמנה. ההשפעה של ציון NO_RESERVATION זהה להשפעה של השמטת מפרט של זיקה להזמנה.
    • ‫ZONE: האזור שבו נוצרה ההזמנה.
    • ‫RESERVATION_NAME: שם ההזמנה.
    • ‫DISK_TYPE: אופציונלי. סוג דיסק האתחול שבו משתמשים למשימה, pd-standard (ברירת המחדל) או pd-ssd. מידע נוסף על סוגי דיסקים
    • ‫DISK_SIZE: אופציונלי. גודל דיסק האתחול ב-GB שבו משתמשים במשימה. ערך ברירת המחדל הוא 100.
    • ‫REPLICA_COUNT: מספר הרפליקות של ה-worker שבהן צריך להשתמש. ברוב המקרים, צריך להגדיר את הערך 1 למאגר ה-Workers הראשון.
    • אם אפליקציית האימון פועלת בקונטיינר בהתאמה אישית, צריך לציין את הפרטים הבאים:
      • ‫CUSTOM_CONTAINER_IMAGE_URI: ה-URI של קובץ אימג' של קונטיינר ב-Artifact Registry או ב-Docker Hub, שצריך להריץ בכל רפליקה של Worker.
      • ‫CUSTOM_CONTAINER_COMMAND: אופציונלי. הפקודה שמופעלת כשהקונטיינר מופעל. הפקודה הזו מבטלת את נקודת הכניסה שמוגדרת כברירת מחדל בקונטיינר.
      • ‫CUSTOM_CONTAINER_ARGS: אופציונלי. הארגומנטים שצריך להעביר כשמפעילים את הקונטיינר.
    • אם אפליקציית האימון היא חבילת Python שפועלת בקונטיינר מוגדר מראש, צריך לציין את הפרטים הבאים:
      • ‫EXECUTOR_IMAGE_URI: ה-URI של קובץ האימג' של הקונטיינר שמריץ את הקוד שסופק. קונטיינרים זמינים מוגדרים מראש לאימון.
      • ‫PYTHON_PACKAGE_URIS: רשימה מופרדת בפסיקים של מזהי URI של Cloud Storage, שמציינים את קובצי חבילת Python שהם תוכנית האימון והחבילות התלויות שלה. המספר המקסימלי של מזהי URI של חבילות הוא 100.
      • ‫PYTHON_MODULE: השם של מודול Python שצריך להריץ אחרי התקנת החבילות.
      • ‫PYTHON_PACKAGE_ARGS: אופציונלי. ארגומנטים של שורת הפקודה שיועברו למודול Python.
    • ‫TIMEOUT: אופציונלי. זמן הריצה המקסימלי של המשימה.
  • מציינים את הערכים של LABEL_NAME ו-LABEL_VALUE לכל התוויות שרוצים להחיל על משימה ייעודית זו.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

גוף בקשת JSON:

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE",
          "acceleratorType": "ACCELERATOR_TYPE",
          "acceleratorCount": ACCELERATOR_COUNT,
          "reservationAffinity": {
            "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
            // Use the following key and values only if
            // the reservationAffinityType is SPECIFIC_RESERVATION.
            "key": "compute.googleapis.com/reservation-name",
            "values": [
              "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
            ]
          },
        },
        "replicaCount": REPLICA_COUNT,
        "diskSpec": {
          "bootDiskType": DISK_TYPE,
          "bootDiskSizeGb": DISK_SIZE
        },

        // Union field task can be only one of the following:
        "containerSpec": {
          "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
          "command": [
            CUSTOM_CONTAINER_COMMAND
          ],
          "args": [
            CUSTOM_CONTAINER_ARGS
          ]
        },
        "pythonPackageSpec": {
          "executorImageUri": EXECUTOR_IMAGE_URI,
          "packageUris": [
            PYTHON_PACKAGE_URIS
          ],
          "pythonModule": PYTHON_MODULE,
          "args": [
            PYTHON_PACKAGE_ARGS
          ]
        }
        // End of list of possible types for union field task.
      }
      // Specify one workerPoolSpec for single replica training, or multiple workerPoolSpecs
      // for distributed training.
    ],
    "scheduling": {
      "timeout": TIMEOUT
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

התגובה מכילה מידע על המפרטים וגם את TRAININGPIPELINE_ID.

המאמרים הבאים