תזמון משימות אימון על סמך זמינות המשאבים

במשימות אימון ללא שרת (serverless) שדורשות משאבי GPU, אתם יכולים להשתמש ב-"מתזמן משימות לפריסת workload דינמית" כדי לתזמן את המשימות לפי הזמינות של משאבי ה-GPU הנדרשים. בדף הזה מוסבר איך לתזמן משימות אימון ללא שרת באמצעות מתזמן משימות לפריסת workload דינמית (DWS), ואיך להתאים אישית את התזמון ב-Gemini Enterprise Agent Platform.

תרחישים מומלצים לדוגמה

מומלץ להשתמש במתזמן משימות לפריסת workload דינמית (DWS) כדי לתזמן משימות אימון בלי שרת (serverless) במצבים הבאים:

  • משימת האימון בלי שרת (serverless) מבקשת מעבדי GPU מסוג L4, ‏ A100, ‏ H100, ‏ H200 או B200, ואתם רוצים להריץ את המשימה ברגע שהמשאבים המבוקשים יהיו זמינים. לדוגמה, כש-Gemini Enterprise Agent Platform מקצה את משאבי ה-GPU מחוץ לשעות השיא.
  • עומס העבודה שלכם דורש כמה צמתים, ואי אפשר להתחיל להריץ אותו עד שכל צומתי ה-GPU מוקצים ומוכנים בו-זמנית. לדוגמה, אתם יוצרים משימת אימון מבוזרת.

דרישות

כדי להשתמש במתזמן משימות לפריסת workload דינמית (DWS), משימת האימון בלי שרת (serverless) צריכה לעמוד בדרישות הבאות:

  • משימת האימון ללא שרת מבקשת מעבדי GPU מסוג L4,‏ A100,‏ H100,‏ H200 או B200.
  • משימת האימון ללא שרת (serverless) נמשכת timeout של 7 ימים לכל היותר.
  • במשימת האימון ללא שרת (serverless) נעשה שימוש באותה הגדרת מכונה לכל מאגרי ה-workers.

סוגי העבודות הנתמכים

כל סוגי משימות האימון ללא שרת נתמכים, כולל CustomJob,‏ HyperparameterTuningjob ו-TrainingPipeline.

הפעלת מתזמן משימות לפריסת workload דינמית (DWS) במשימת האימון ללא שרת (serverless)

כדי להפעיל את מתזמן משימות לפריסת workload דינמית (DWS) במשימת האימון בלי שרת (serverless), מגדירים את השדה scheduling.strategy ב-API לערך FLEX_START כשיוצרים את המשימה.

בקישורים הבאים מוסבר איך ליצור משימת אימון ללא שרת (serverless).

הגדרת משך ההמתנה עד שהמשאב יהיה זמין

בשדה scheduling.maxWaitDuration אתם יכולים להגדיר כמה זמן המשימה יכולה להמתין למשאבים. הערך 0 מציין שהמשימה ממתינה ללא הגבלת זמן עד שהמשאבים המבוקשים יהיו זמינים. ערך ברירת המחדל הוא יום אחד.

דוגמאות

בדוגמאות הבאות מוסבר איך להפעיל את מתזמן המשימות לפריסת workload דינמית (DWS) ב-customJob. בוחרים את הכרטיסייה של הממשק שבו רוצים להשתמש.

gcloud

כששולחים משימה באמצעות Google Cloud CLI, מוסיפים את השדה scheduling.strategy לקובץ config.yaml.

קובץ תצורה לדוגמה ב-YAML:

workerPoolSpecs:
  machineSpec:
    machineType: a2-highgpu-1g
    acceleratorType: NVIDIA_TESLA_A100
    acceleratorCount: 1
  replicaCount: 1
  containerSpec:
    imageUri: gcr.io/ucaip-test/ucaip-training-test
    args:
    - port=8500
    command:
    - start
scheduling:
  strategy: FLEX_START
  maxWaitDuration: 7200s

Python

כששולחים משימה באמצעות Agent Platform SDK ל-Python, מגדירים את השדה scheduling_strategy בשיטת היצירה הרלוונטית של CustomJob.

from google.cloud.aiplatform_v1.types import custom_job as gca_custom_job_compat

def create_custom_job_with_dws_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    script_path: str,
    container_uri: str,
    service_account: str,
    experiment: str,
    experiment_run: Optional[str] = None,
) -> None:
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket, experiment=experiment)

    job = aiplatform.CustomJob.from_local_script(
        display_name=display_name,
        script_path=script_path,
        container_uri=container_uri,
        enable_autolog=True,
        machine_type="a2-highgpu-1g",
        accelerator_type="NVIDIA_TESLA_A100",
        accelerator_count=1,
    )

    job.run(
        service_account=service_account,
        experiment=experiment,
        experiment_run=experiment_run,
        max_wait_duration=1800,
        scheduling_strategy=gca_custom_job_compat.Scheduling.Strategy.FLEX_START
    )

REST

כששולחים משימה באמצעות ה-API בארכיטקטורת REST של פלטפורמת הסוכנים של Gemini Enterprise, מגדירים את השדות scheduling.strategy ו-scheduling.maxWaitDuration כשיוצרים את משימת האימון ללא שרת.

דוגמה לגוף בקשת JSON:

{
  "displayName": "MyDwsJob",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "a2-highgpu-1g",
          "acceleratorType": "NVIDIA_TESLA_A100",
          "acceleratorCount": 1
        },
        "replicaCount": 1,
        "diskSpec": {
          "bootDiskType": "pd-ssd",
          "bootDiskSizeGb": 100
        },
        "containerSpec": {
          "imageUri": "python:3.10",
          "command": [
            "sleep"
          ],
          "args": [
            "100"
          ]
        }
      }
    ],
    "scheduling": {
      "maxWaitDuration": "1800s",
      "strategy": "FLEX_START"
    }
  }
}

מכסה

כששולחים משימה באמצעות מתזמן המשימות לפריסת workload דינמית, במקום לצרוך מכסה של Gemini Enterprise Agent Platform על פי דרישה, Gemini Enterprise Agent Platform צורך מכסה שניתנת להפסקה לפני הזמן. לדוגמה, ב-GPU מסוג Nvidia H100, במקום לצרוך:

aiplatform.googleapis.com/custom_model_training_nvidia_h100_gpus,

‫Gemini Enterprise Agent Platform צורכת:

aiplatform.googleapis.com/custom_model_training_preemptible_nvidia_h100_gpus.

עם זאת, המכסה ניתנת להפסקה לפני הזמן רק בשם. המשאבים לא ניתנים להפסקה לפני הזמן ומתנהגים כמו משאבים רגילים.

לפני ששולחים משימה באמצעות מתזמן משימות לפריסת workload דינמית, צריך לוודא שהמכסות של המכונות שניתנות להפסקה לפני הזמן הוגדלו לכמות מספקת. במאמר המכסות והמגבלות של Gemini Enterprise Agent Platform מפורטות המכסות של Gemini Enterprise Agent Platform והוראות לשליחת בקשות להגדלת המכסות.

חיוב

כשמשתמשים ב-DWS flex start, החיוב מתבצע בהתאם לתמחור של מתזמן משימות לפריסת workload דינמית. בנוסף לשימוש בתשתית, יש עמלות על ניהול אימון בלי שרת (serverless).

המאמרים הבאים