במשימות אימון ללא שרת (serverless) שדורשות משאבי GPU, אתם יכולים להשתמש ב-"מתזמן משימות לפריסת workload דינמית" כדי לתזמן את המשימות לפי הזמינות של משאבי ה-GPU הנדרשים. בדף הזה מוסבר איך לתזמן משימות אימון ללא שרת באמצעות מתזמן משימות לפריסת workload דינמית (DWS), ואיך להתאים אישית את התזמון ב-Gemini Enterprise Agent Platform.
תרחישים מומלצים לדוגמה
מומלץ להשתמש במתזמן משימות לפריסת workload דינמית (DWS) כדי לתזמן משימות אימון בלי שרת (serverless) במצבים הבאים:
- משימת האימון בלי שרת (serverless) מבקשת מעבדי GPU מסוג L4, A100, H100, H200 או B200, ואתם רוצים להריץ את המשימה ברגע שהמשאבים המבוקשים יהיו זמינים. לדוגמה, כש-Gemini Enterprise Agent Platform מקצה את משאבי ה-GPU מחוץ לשעות השיא.
- עומס העבודה שלכם דורש כמה צמתים, ואי אפשר להתחיל להריץ אותו עד שכל צומתי ה-GPU מוקצים ומוכנים בו-זמנית. לדוגמה, אתם יוצרים משימת אימון מבוזרת.
דרישות
כדי להשתמש במתזמן משימות לפריסת workload דינמית (DWS), משימת האימון בלי שרת (serverless) צריכה לעמוד בדרישות הבאות:
- משימת האימון ללא שרת מבקשת מעבדי GPU מסוג L4, A100, H100, H200 או B200.
- משימת האימון ללא שרת (serverless) נמשכת
timeoutשל 7 ימים לכל היותר. - במשימת האימון ללא שרת (serverless) נעשה שימוש באותה הגדרת מכונה לכל מאגרי ה-workers.
סוגי העבודות הנתמכים
כל סוגי משימות האימון ללא שרת נתמכים, כולל CustomJob, HyperparameterTuningjob ו-TrainingPipeline.
הפעלת מתזמן משימות לפריסת workload דינמית (DWS) במשימת האימון ללא שרת (serverless)
כדי להפעיל את מתזמן משימות לפריסת workload דינמית (DWS) במשימת האימון בלי שרת (serverless), מגדירים את השדה scheduling.strategy ב-API לערך FLEX_START כשיוצרים את המשימה.
בקישורים הבאים מוסבר איך ליצור משימת אימון ללא שרת (serverless).
הגדרת משך ההמתנה עד שהמשאב יהיה זמין
בשדה scheduling.maxWaitDuration אתם יכולים להגדיר כמה זמן המשימה יכולה להמתין למשאבים. הערך 0 מציין שהמשימה ממתינה ללא הגבלת זמן עד שהמשאבים המבוקשים יהיו זמינים. ערך ברירת המחדל הוא יום אחד.
דוגמאות
בדוגמאות הבאות מוסבר איך להפעיל את מתזמן המשימות לפריסת workload דינמית (DWS) ב-customJob.
בוחרים את הכרטיסייה של הממשק שבו רוצים להשתמש.
gcloud
כששולחים משימה באמצעות Google Cloud CLI, מוסיפים את השדה scheduling.strategy לקובץ config.yaml.
קובץ תצורה לדוגמה ב-YAML:
workerPoolSpecs:
machineSpec:
machineType: a2-highgpu-1g
acceleratorType: NVIDIA_TESLA_A100
acceleratorCount: 1
replicaCount: 1
containerSpec:
imageUri: gcr.io/ucaip-test/ucaip-training-test
args:
- port=8500
command:
- start
scheduling:
strategy: FLEX_START
maxWaitDuration: 7200s
Python
כששולחים משימה באמצעות Agent Platform SDK ל-Python, מגדירים את השדה scheduling_strategy בשיטת היצירה הרלוונטית של CustomJob.
from google.cloud.aiplatform_v1.types import custom_job as gca_custom_job_compat
def create_custom_job_with_dws_sample(
project: str,
location: str,
staging_bucket: str,
display_name: str,
script_path: str,
container_uri: str,
service_account: str,
experiment: str,
experiment_run: Optional[str] = None,
) -> None:
aiplatform.init(project=project, location=location, staging_bucket=staging_bucket, experiment=experiment)
job = aiplatform.CustomJob.from_local_script(
display_name=display_name,
script_path=script_path,
container_uri=container_uri,
enable_autolog=True,
machine_type="a2-highgpu-1g",
accelerator_type="NVIDIA_TESLA_A100",
accelerator_count=1,
)
job.run(
service_account=service_account,
experiment=experiment,
experiment_run=experiment_run,
max_wait_duration=1800,
scheduling_strategy=gca_custom_job_compat.Scheduling.Strategy.FLEX_START
)
REST
כששולחים משימה באמצעות ה-API בארכיטקטורת REST של פלטפורמת הסוכנים של Gemini Enterprise, מגדירים את השדות scheduling.strategy ו-scheduling.maxWaitDuration כשיוצרים את משימת האימון ללא שרת.
דוגמה לגוף בקשת JSON:
{
"displayName": "MyDwsJob",
"jobSpec": {
"workerPoolSpecs": [
{
"machineSpec": {
"machineType": "a2-highgpu-1g",
"acceleratorType": "NVIDIA_TESLA_A100",
"acceleratorCount": 1
},
"replicaCount": 1,
"diskSpec": {
"bootDiskType": "pd-ssd",
"bootDiskSizeGb": 100
},
"containerSpec": {
"imageUri": "python:3.10",
"command": [
"sleep"
],
"args": [
"100"
]
}
}
],
"scheduling": {
"maxWaitDuration": "1800s",
"strategy": "FLEX_START"
}
}
}
מכסה
כששולחים משימה באמצעות מתזמן המשימות לפריסת workload דינמית, במקום לצרוך מכסה של Gemini Enterprise Agent Platform על פי דרישה, Gemini Enterprise Agent Platform צורך מכסה שניתנת להפסקה לפני הזמן. לדוגמה, ב-GPU מסוג Nvidia H100, במקום לצרוך:
aiplatform.googleapis.com/custom_model_training_nvidia_h100_gpus,
Gemini Enterprise Agent Platform צורכת:
aiplatform.googleapis.com/custom_model_training_preemptible_nvidia_h100_gpus.
עם זאת, המכסה ניתנת להפסקה לפני הזמן רק בשם. המשאבים לא ניתנים להפסקה לפני הזמן ומתנהגים כמו משאבים רגילים.
לפני ששולחים משימה באמצעות מתזמן משימות לפריסת workload דינמית, צריך לוודא שהמכסות של המכונות שניתנות להפסקה לפני הזמן הוגדלו לכמות מספקת. במאמר המכסות והמגבלות של Gemini Enterprise Agent Platform מפורטות המכסות של Gemini Enterprise Agent Platform והוראות לשליחת בקשות להגדלת המכסות.
חיוב
כשמשתמשים ב-DWS flex start, החיוב מתבצע בהתאם לתמחור של מתזמן משימות לפריסת workload דינמית. בנוסף לשימוש בתשתית, יש עמלות על ניהול אימון בלי שרת (serverless).
המאמרים הבאים
- מידע נוסף על הגדרת משאבי מחשוב למשימות אימון ללא שרת (serverless)
- מידע נוסף על שימוש באימון מבוזר למשימות אימון ללא שרת (serverless).
- מידע נוסף על אפשרויות אחרות לקביעת פגישות