כשפורסים מודל להסקת מסקנות אונליין בתור DeployedModel, אפשר להגדיר לצמתי הסקת המסקנות התאמה אוטומטית לעומס. כדי לעשות את זה, מגדירים את dedicatedResources.maxReplicaCount לערך שגבוה מ-dedicatedResources.minReplicaCount.
כשמגדירים DeployedModel, צריך להגדיר את dedicatedResources.minReplicaCount לערך 1 לפחות. במילים אחרות, אי אפשר להגדיר את DeployedModel כך שישנה את קנה המידה ל-0 צומתי הסקה כשהוא לא בשימוש.
לחלופין, אם אתם משתמשים בתכונה "צמצום הפעולה לאפס" (גרסת טרום-השקה (Preview)), אפשר להגדיר את השדה dedicatedResources.minReplicaCount ל-0, ועומס העבודה יצומצם לאפס רפליקות כשאין תנועה בנקודת הקצה. לפרטים נוספים, ראו צמצום הפעולה לאפס.
כברירת מחדל, פעולת הפריסה נחשבת כמוצלחת רק אם מספר צומתי ההסקה מגיע ל-dedicatedResources.minReplicaCount לפני ערך הזמן הקצוב לתפוגה של בקשת הפריסה. אחרת, הפריסה מסומנת כנכשלת והמשאבים הבסיסיים משוחררים.
פריסה ומוטציה שהצליחו באופן חלקי
כדי לשנות את התנהגות ברירת המחדל של הפריסה, אפשר להגדיר את dedicatedResources.requiredReplicaCount לערך קטן מ-dedicatedResources.minReplicaCount. במקרה כזה, כשמספר צומתי ההסקה מגיע ל-dedicatedResources.requiredReplicaCount, פעולת הפריסה מסומנת כפעולה שהושלמה, למרות שהיא עדיין לא הושלמה. הפריסה נמשכת עד שמגיעים ל-dedicatedResources.minReplicaCount. אם לא מגיעים ל-dedicatedResources.minReplicaCount לפני זמן בקשת הפריסה, הפעולה עדיין מצליחה, אבל הודעת שגיאה לגבי הרפליקות שנכשלו מוחזרת ב-DeployedModel.status.message.
המכסה לפרסום מודל בהתאמה אישית שמורה על סמך הערך של dedicatedResources.maxReplicaCount בכל מודל שנפרס בפרויקט ובאזור, ולא על סמך מספר הרפליקות הפעילות. החיוב מבוסס על הרפליקות הפעילות שפועלות. אם הסכום של maxReplicaCount בכל הפריסות בפרויקט ובאזור חורג ממכסת ההצגה של הפרויקט, פריסת מודל חדש או הגדלת maxReplicaCount נכשלת עם שגיאת מכסה.
נקודות הקצה גדלות וקטנות בהתאם למכונה, ומכסת ההצגה מחושבת לפי מעבד (CPU) ומעבד גרפי (GPU). לדוגמה, אם פורסים מודל באמצעות סוג המכונה a2-highgpu-2g (24 מעבדי vCPU ו-2 מעבדי GPU לכל רפליקה) עם maxReplicaCount שמוגדר ל-5, הפריסה שומרת 120 מעבדי CPU ו-10 מעבדי GPU ממכסת הפרויקט, גם אם פחות רפליקות פעילות. כדי לשחרר מכסה שמורה בלי לבטל את פריסת המודל, צריך להקטין את הערך של maxReplicaCount באמצעות קריאה ל-mutateDeployedModel.
מידע נוסף זמין במאמר מכסות ומגבלות.
צומתי ההסקה להסקה באצווה לא מבצעים התאמה אוטומטית לעומס.
Agent Platform משתמשת ב-BatchDedicatedResources.startingReplicaCount ומתעלמת מ-BatchDedicatedResources.maxReplicaCount.
הגדרות וניצול של יעדים
כברירת מחדל, אם פורסים מודל בלי משאבי GPU ייעודיים, פלטפורמת Gemini Enterprise Agent משנה באופן אוטומטי את מספר הרפליקות כדי שהשימוש ב-CPU יתאים לערך היעד שמוגדר כברירת מחדל (60%).
כברירת מחדל, אם פורסים מודל עם משאבי GPU ייעודיים (אם הערך של machineSpec.accelerator_count גדול מ-0), פלטפורמת Gemini Enterprise Agent תגדיל או תקטין באופן אוטומטי את מספר הרפליקות, כך שהשימוש ב-CPU או ב-GPU (הגבוה מביניהם) יתאים לערך היעד שמוגדר כברירת מחדל (60%). לכן, אם קצב העיבוד של ההסקה גורם לשימוש גבוה ב-GPU, אבל לא לשימוש גבוה ב-CPU, פלטפורמת Agent תגדיל את קנה המידה, והניצול של ה-CPU יהיה נמוך מאוד, וזה יופיע במעקב. לעומת זאת, אם הקונטיינר בהתאמה אישית לא מנצל מספיק את ה-GPU, אבל יש לו תהליך לא קשור שמגדיל את ניצול ה-CPU ליותר מ-60%, פלטפורמת Agent תגדיל את קנה המידה, גם אם זה לא נדרש כדי להשיג את יעדי ה-QPS והזמן האחזור.
כדי לשנות את מדד הסף ואת היעד שמוגדרים כברירת מחדל, מציינים את autoscalingMetricSpecs.
שימו לב שאם הפריסה מוגדרת להתאמה לעומס רק על סמך השימוש במעבד (CPU), היא לא תותאם לעומס גם אם השימוש ב-GPU גבוה.
אלה המדדים שנתמכים להתאמה אוטומטית לעומס:
- ניצול המעבד (CPU) (
aiplatform.googleapis.com/prediction/online/cpu/utilization): התאמה לעומס על סמך השימוש במעבד (CPU). היחידה שלו היא ניצול המעבד (CPU) לכל רפליקה. ערך היעד הוא אחוז (0-100). ערך היעד שמוגדר כברירת מחדל הוא 60%. - ניצול המעבד הגרפי (
aiplatform.googleapis.com/prediction/online/accelerator/duty_cycle): משתנה בהתאם לשימוש במעבד הגרפי. היחידה היא ניצול GPU לכל רפליקה. ערך היעד הוא אחוז (0-100). ערך היעד שמוגדר כברירת מחדל הוא 60%. - ניצול GPU של DCGM (גרסת טרום-השקה (Preview))(
prometheus.googleapis.com/vertex_dcgm_fi_dev_gpu_util): התאמה לעומס (scaling) על סמך מדדי DCGM לניצול GPU. היחידה היא ניצול GPU לכל רפליקה. ערך היעד הוא אחוז (0-100). המדד הזה מושבת כברירת מחדל. - vLLM GPU KV cache usage percentage (גרסת טרום-השקה)(
prometheus.googleapis.com/vertex_vllm_gpu_cache_usage_perc): התאמה לעומס על סמך מדדי vLLM לאחוז השימוש במטמון KV של ה-GPU. היחידה היא אחוז השימוש במטמון KV של ה-GPU לכל רפליקה. ערך היעד הוא אחוז (0-100). המדד הזה מושבת כברירת מחדל. - vLLM number of requests waiting (גרסת טרום-השקה (Preview))(
prometheus.googleapis.com/vertex_vllm_num_requests_waiting): התאמה לעומס על סמך מדדי vLLM של מספר הבקשות שממתינות. היחידה שלו היא מספר הבקשות שממתינות לכל רפליקה. ערך היעד הוא מספר שלם. המדד הזה מושבת כברירת מחדל. - מספר הבקשות (
aiplatform.googleapis.com/prediction/online/request_count): התאמה לעומס לפי מספר הבקשות. היחידה היא בקשות לדקה לכל רפליקה. ערך היעד הוא מספר שלם. המדד הזה מושבת כברירת מחדל. - Pub/Sub Queue Size (גרסת טרום-השקה (Preview), API של
v1beta1בלבד, אין תמיכה ב-Google Cloud CLI) (pubsub.googleapis.com/subscription/num_undelivered_messages): שינוי קנה המידה בהתאם למספר ההודעות שלא נמסרו במינוי ל-Pub/Sub. היחידה שלו היא הודעות שלא נמסרו לכל רפליקה. ערך היעד הוא מספר שלם. המדד הזה מושבת כברירת מחדל.
כשמגדירים התאמה אוטומטית לעומס, משתמשים ב-METRIC_NAME כמזהה המדד וב-TARGET_THRESHOLD כערך היעד. ציינו את מזהה המדד המדויק שמוצג ברשימה הקודמת. מדדים אחרים שמיוצאים ל-Cloud Monitoring לא נתמכים כיעדים להתאמה אוטומטית לעומס. במדדים של prometheus.googleapis.com/*, צריך להשמיט את הסיומת של סוג המדד /gauge שמופיעה ב-Monitoring (לדוגמה, לציין prometheus.googleapis.com/vertex_vllm_num_requests_waiting ולא prometheus.googleapis.com/vertex_vllm_num_requests_waiting/gauge).
הגדרת התאמה לעומס (autoscaling) במהלך הפריסה
כדי להגדיר התאמה אוטומטית לעומס כשפורסים מודל, משתמשים באחד מהממשקים הבאים:
gcloud
כדי להגדיר התאמה אוטומטית לעומס כשפורסים מודל באמצעות ה-CLI של gcloud, משתמשים בפקודה gcloud ai endpoints deploy-model.
שימו לב שב-Google Cloud CLI, מילת המפתח של המדד שונה מעט. משתמשים בפרטים הבאים:
- שימוש במעבד (CPU)
- gpu-duty-cycle
- dcgm-fi-dev-gpu-util
- vllm-gpu-cache-usage-perc
- vllm-num-requests-waiting
- request-counts-per-minute
לפני שמשתמשים בנתוני הפקודה, צריך להחליף את המשתנים הבאים בערכים:
- ENDPOINT_ID: המזהה של נקודת הקצה.
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: האזור של נקודת הקצה.
- MODEL_ID: המזהה של המודל שרוצים לפרוס.
- MACHINE_TYPE: סוג המכונה של המודל שנפרס (למשל,
n1-standard-4). - ACCELERATOR_TYPE: אופציונלי. סוג מאיץ ה-GPU שרוצים לצרף (למשל,
NVIDIA_L4). - ACCELERATOR_COUNT: אופציונלי. מספר המאיצים שצריך לצרף לכל מכונה.
- MIN_REPLICA_COUNT: המספר המינימלי של רפליקות להתאמה אוטומטית לעומס.
- MAX_REPLICA_COUNT: המספר המקסימלי של רפליקות להתאמה אוטומטית לעומס (autoscaling).
- METRIC_NAME: המזהה של מדד ההתאמה האוטומטית לעומס.
- TARGET_THRESHOLD: ערך היעד של המדד שצוין.
gcloud ai endpoints deploy-model ENDPOINT_ID \
--project=PROJECT_ID \
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_DISPLAY_NAME \
--machine-type=MACHINE_TYPE \
--accelerator-type=ACCELERATOR_TYPE \
--accelerator-count=ACCELERATOR_COUNT \
--min-replica-count=MIN_REPLICA_COUNT \
--max-replica-count=MAX_REPLICA_COUNT \
--autoscaling-metric-specs=METRIC_NAME=TARGET_THRESHOLD
REST
כדי להגדיר התאמה אוטומטית לעומס כשפורסים מודל באמצעות ה-API בארכיטקטורת REST, משתמשים ב-method projects.locations.endpoints.deployModel.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הערכים בשדות הבאים:
- ENDPOINT_ID: המזהה של נקודת הקצה.
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: האזור של נקודת הקצה.
- MODEL_ID: המזהה של המודל שרוצים לפרוס.
- DEPLOYED_MODEL_DISPLAY_NAME: השם המוצג של המודל שנפרס.
- MACHINE_TYPE: סוג המכונה של המודל שנפרס (למשל,
n1-standard-4). - ACCELERATOR_TYPE: אופציונלי. סוג מאיץ ה-GPU שרוצים לצרף (למשל,
NVIDIA_L4). - ACCELERATOR_COUNT: אופציונלי. מספר המאיצים שצריך לצרף לכל מכונה.
- MIN_REPLICA_COUNT: המספר המינימלי של רפליקות להתאמה אוטומטית לעומס.
- MAX_REPLICA_COUNT: המספר המקסימלי של רפליקות להתאמה אוטומטית לעומס (autoscaling).
- METRIC_NAME: המזהה של מדד ההתאמה האוטומטית לעומס.
- TARGET_THRESHOLD: ערך היעד של המדד שצוין.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
תוכן בקשת JSON:
{
"deployedModel": {
"model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
"displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
"dedicatedResources": {
"machineSpec": {
"machineType": "MACHINE_TYPE",
"acceleratorType": "ACCELERATOR_TYPE",
"acceleratorCount": ACCELERATOR_COUNT
},
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"autoscalingMetricSpecs": [
{
"metricName": "METRIC_NAME",
"target": TARGET_THRESHOLD
}
]
}
}
}
עבור שינוי קנה מידה אוטומטי של גודל תור Pub/Sub (תצוגה מקדימה ), השתמש ב-v1beta1projects.locations.endpoints.deployModel שיטה, משוםmonitoredResourceLabels נתמך רק ב-v1beta1 ממשק API. מבצעים את ההחלפות הנוספות הבאות:
- PUBSUB_SUBSCRIPTION_PROJECT_ID: מזהה הפרויקט של המינוי ל-Pub/Sub.
- PUBSUB_SUBSCRIPTION_ID: המזהה של המינוי ל-Pub/Sub. האורך המקסימלי של השדה הזה הוא 63 תווים.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
בגוף בקשת ה-JSON, מגדירים את autoscalingMetricSpecs באופן הבא:
"autoscalingMetricSpecs": [
{
"metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
"target": TARGET_THRESHOLD,
"monitoredResourceLabels": {
"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
"subscription_id": "PUBSUB_SUBSCRIPTION_ID"
}
}
]
Python
ההתאמה לעומס (scaling) ב-Python SDK מוגדרת באמצעות שמות של פרמטרים בקריאה לפונקציה deploy(). הפקודה לדוגמה משתמשת בהתאמה אוטומטית לעומס (autoscaling) שמבוססת על בו-זמניות. הפרמטרים של ההתאמה האוטומטית לעומס שאפשר להגדיר הם:
- autoscaling_target_cpu_utilization
- autoscaling_target_accelerator_duty_cycle
- autoscaling_target_dcgm_fi_dev_gpu_util
- autoscaling_target_vllm_gpu_cache_usage_perc
- autoscaling_target_vllm_num_requests_waiting
- autoscaling_target_request_count_per_minute
כדי להגדיר התאמה אוטומטית לעומס כשפורסים מודל באמצעות Agent Platform SDK ל-Python:
לפני שמריצים את הקוד, צריך להחליף את הערכים הבאים:
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: האזור של נקודת הקצה.
- ENDPOINT_ID: המזהה של נקודת הקצה.
- MODEL_ID: המזהה של המודל שרוצים לפרוס.
- DEPLOYED_MODEL_DISPLAY_NAME: השם המוצג של המודל שנפרס.
- MACHINE_TYPE: סוג המכונה של המודל שנפרס (למשל,
n1-standard-4). - ACCELERATOR_TYPE: אופציונלי. סוג מאיץ ה-GPU שרוצים לצרף (למשל,
NVIDIA_L4). - ACCELERATOR_COUNT: אופציונלי. מספר המאיצים שצריך לצרף לכל מכונה.
- MIN_REPLICA_COUNT: המספר המינימלי של רפליקות להתאמה אוטומטית לעומס.
- MAX_REPLICA_COUNT: המספר המקסימלי של רפליקות להתאמה אוטומטית לעומס (autoscaling).
- METRIC_NAME: המזהה של מדד ההתאמה האוטומטית לעומס.
- TARGET_THRESHOLD: ערך היעד של המדד שצוין.
from google.cloud import aiplatform
# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")
# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")
# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")
# Deploy the model to the endpoint
model.deploy(
endpoint=endpoint,
machine_type="MACHINE_TYPE",
accelerator_type="ACCELERATOR_TYPE",
accelerator_count=ACCELERATOR_COUNT,
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)
כדי להגדיר התאמה אוטומטית לעומס (גרסת טרום-השקה (Preview), רק aiplatform_v1beta1 נתמכת) על סמך מדדים של גודל התור ב-Pub/Sub, צריך מידע נוסף על המינוי ל-Pub/Sub:
- PUBSUB_SUBSCRIPTION_PROJECT_ID: מזהה הפרויקט של המינוי ל-Pub/Sub.
- PUBSUB_SUBSCRIPTION_ID: המזהה של המינוי ל-Pub/Sub.
from google.cloud import aiplatform_v1beta1 as aiplatform
from google.api_core.client_options import ClientOptions
# Initialize the EndpointServiceClient
client_options = ClientOptions(api_endpoint="LOCATION-aiplatform.googleapis.com")
client = aiplatform.EndpointServiceClient(client_options=client_options)
# Specify the location
location = "projects/PROJECT_NUMBER/locations/LOCATION"
model_name = "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID"
autoscaling_metric_specs = [
{"metric_name": "pubsub.googleapis.com/subscription/num_undelivered_messages", "target": TARGET_THRESHOLD, "monitored_resource_labels":{"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID","subscription_id": "PUBSUB_SUBSCRIPTION_ID"}}
]
deployed_model = aiplatform.DeployedModel(
model=model_name,
display_name="DEPLOYED_MODEL_DISPLAY_NAME",
dedicated_resources=aiplatform.DedicatedResources(
machine_spec=aiplatform.MachineSpec(
machine_type="MACHINE_TYPE"
),
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_metric_specs=autoscaling_metric_specs
)
)
deploy_request = aiplatform.DeployModelRequest(
deployed_model=deployed_model,
endpoint="projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
traffic_split={"0": 100}
)
deploy_operation = client.deploy_model(deploy_request)
print("Long-running operation initiated to deploy model.")
deploy_operation.result()
print("Model deployed to endpoint.")
עדכון ההגדרות של ההתאמה לעומס (autoscaling)
כדי לעדכן הגדרה קיימת של התאמה אוטומטית לעומס, משתמשים באחד מהממשקים הבאים:
REST
כדי לעדכן את הגדרות ההתאמה האוטומטית לעומס של מודל שנפרס באמצעות ה-API בארכיטקטורת REST, משתמשים ב-method projects.locations.endpoints.mutateDeployedModel.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הערכים בשדות הבאים:
- ENDPOINT_ID: המזהה של נקודת הקצה.
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: האזור של נקודת הקצה.
- DEPLOYED_MODEL_ID: המזהה של המודל שנפרס ורוצים לעדכן.
- MIN_REPLICA_COUNT: המספר המינימלי החדש של הרפליקות להתאמה אוטומטית לעומס.
- MAX_REPLICA_COUNT: המספר המקסימלי החדש של רפליקות להתאמה אוטומטית לעומס (autoscaling).
- METRIC_NAME: המזהה של מדד ההתאמה האוטומטית לעומס.
- TARGET_THRESHOLD: ערך היעד של המדד שצוין.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel
תוכן בקשת JSON:
{
"deployedModel": {
"id": "DEPLOYED_MODEL_ID",
"dedicatedResources": {
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"autoscalingMetricSpecs": [
{
"metricName": "METRIC_NAME",
"target": TARGET_THRESHOLD
}
]
}
},
"updateMask": {
"paths": [
"dedicated_resources.min_replica_count",
"dedicated_resources.max_replica_count",
"dedicated_resources.autoscaling_metric_specs"
]
}
}
עבור שינוי קנה מידה אוטומטי של גודל תור Pub/Sub (תצוגה מקדימה ), השתמש ב-v1beta1projects.locations.endpoints.mutateDeployedModel שיטה, משוםmonitoredResourceLabels נתמך רק ב-v1beta1 ממשק API. מבצעים את ההחלפות הנוספות הבאות:
- PUBSUB_SUBSCRIPTION_PROJECT_ID: מזהה הפרויקט של המינוי ל-Pub/Sub.
- PUBSUB_SUBSCRIPTION_ID: המזהה של המינוי ל-Pub/Sub. האורך המקסימלי של השדה הזה הוא 63 תווים.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel
בגוף בקשת ה-JSON, מגדירים את autoscalingMetricSpecs באופן הבא:
"autoscalingMetricSpecs": [
{
"metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
"target": TARGET_THRESHOLD,
"monitoredResourceLabels": {
"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
"subscription_id": "PUBSUB_SUBSCRIPTION_ID"
}
}
]
צמצום הפעולה לאפס (גרסת טרום-השקה (Preview))
התכונה "צמצום הפעולה לאפס" מאפשרת לצמצם באופן אוטומטי את פריסות שרת המודל לאפס רפליקות כשאין תנועה, וכך לא תחויבו במהלך הזמן הזה.
כשהתנועה מגיעה לנקודת הקצה (endpoint) המצומצמת, מתקבלת תגובה 429 - Model is not yet
ready for inference. Please wait while model completes scale-up from zero, then
try your request again, הבקשה נדחית ונשלח אות להרחבה לשרת המודל המטורגט.
כתוצאה מכך, שרת המודל יגדיל את קנה המידה מאפס לערך שצוין בשדה DedicatedResources.initial_replica_count. ערך ברירת המחדל הוא 1.
התכונה הזו מיועדת לתרחישים הבאים:
- פריסות עם תקופות ארוכות ללא תנועה על בסיס קבוע.
- נקודות קצה שבדרך כלל מקבלות תנועה בשעות הפעילות ופנויות בשאר הזמן.
הפעלה ושימוש
אי אפשר להפעיל את התכונה "צמצום הפעולה לאפס" בנקודות קצה ציבוריות משותפות. כל שאר סוגי נקודות הקצה תואמים.
כדי להפעיל את התכונה "צמצום הפעולה לאפס", מציינים את הערך min_replica_count=0 בקטע DedicatedResources של הבקשה deploy-model (שמטרגטת את גרסת v1beta1 של Vertex Prediction API).
פרמטרים אופציונליים
ב-DedicatedResources, אפשר לציין ערך של initial_replica_count בין 1 ל-max_replica_count (כולל).
בנוסף, נוסף קטע חדש של ScaleToZeroSpec ל-DedicatedResources, שמאפשר להגדיר שני פרמטרים שקשורים לצמצום הפעולה לאפס:
-
min_scaleup_period: משך הזמן (בשניות) לפני ששרת מודל נרשם להערכה של צמצום הפעולה לאפס. הפריסה לא תנסה להקטין את קנה המידה בחזרה לאפס רפליקות עד שהמשך הזה יחלוף, גם אם אין תנועה. כך אפשר להגדיר ערך מאגר זמני במהלך הפריסה הראשונית ובאירועים הבאים של הגדלת קנה המידה, לפני שהתנועה נבדקת מול נקודת הקצה לטירגוט (מה שעלול לגרום להקטנת קנה המידה של הפריסה).- ערך ברירת המחדל: שעה (3,600 שניות)
- ערך מינימלי: 5 דקות (300 שניות)
- הערך המקסימלי: 8 שעות (28,800 שניות).
-
idle_scaledown_period: משך הזמן (בשניות) שבו אין תנועה לפני שהמערכת מצמצמת את שרת המודל לאפס רפליקות.- ערך ברירת המחדל: שעה (3,600 שניות)
- ערך מינימלי: 5 דקות (300 שניות)
- הערך המקסימלי: 8 שעות (28,800 שניות).
התנהגויות צפויות
בקשה שנשלחת למודל שצומצם אנכית תחזיר תגובה 429 עם Model is
not yet ready for inference. Please wait and then try your request again.
צריך להמתין ולנסות שוב. שימו לב שכל הבקשות שיישלחו בשלב הזה יידחו.
מגבלות
- אפשר להשתמש בתכונה "צמצום הפעולה לאפס" רק בפריסות של מודל יחיד, ומודל אחד לכל נקודת קצה.
- התכונה "צמצום הפעולה לאפס" לא תומכת בפריסות של GPU עם כמה מארחים או TPU עם כמה מארחים. עם זאת, פריסות של GPU או TPU במארח יחיד תואמות.
- אי אפשר להפעיל את התכונה "צמצום הפעולה לאפס" בנקודות קצה ציבוריות משותפות. כל שאר סוגי נקודות הקצה תואמים.
- בלי מקום שמור, יכול להיות שתחוו מחסור במלאי כשתגדילו את המשאבים בחזרה ממצב של צמצום אנכית (בהתאם לסוג המכונה).
אם לא נשלחת תנועה למודלים פרוסים (DeployedModels) במשך יותר מ-30 יום, הפעולה שלהם מצומצמת לאפס והפריסה שלהם מבוטלת באופן אוטומטי.
gcloud
כדי להגדיר צמצום הפעולה לאפס כשפורסים מודל באמצעות ה-CLI של gcloud, משתמשים בפקודה gcloud beta ai endpoints deploy-model.
לפני שמשתמשים בנתוני הפקודה, צריך להחליף את המשתנים הבאים בערכים:
- ENDPOINT_ID: המזהה של נקודת הקצה.
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: האזור של נקודת הקצה.
- MODEL_ID: המזהה של המודל שרוצים לפרוס.
- MACHINE_TYPE: סוג המכונה של המודל שנפרס (למשל,
n1-standard-4). - ACCELERATOR_TYPE: אופציונלי. סוג מאיץ ה-GPU שרוצים לצרף (למשל,
NVIDIA_L4). - ACCELERATOR_COUNT: אופציונלי. מספר המאיצים שצריך לצרף לכל מכונה.
- MIN_REPLICA_COUNT: המספר המינימלי של רפליקות להתאמה אוטומטית לעומס.
- MAX_REPLICA_COUNT: המספר המקסימלי של רפליקות להתאמה אוטומטית לעומס (autoscaling).
gcloud beta ai endpoints deploy-model ENDPOINT_ID \
--project=PROJECT_ID \
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_DISPLAY_NAME \
--machine-type=MACHINE_TYPE \
--accelerator-type=ACCELERATOR_TYPE \
--accelerator-count=ACCELERATOR_COUNT \
--min-replica-count=MIN_REPLICA_COUNT \
--max-replica-count=MAX_REPLICA_COUNT \
--min-scaleup-period=300s \
--idle-scaledown-period=300s
REST
כדי להגדיר צמצום הפעולה לאפס כשפורסים מודל באמצעות ה-API בארכיטקטורת REST, משתמשים ב-method projects.locations.endpoints.deployModel.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הערכים בשדות הבאים:
- ENDPOINT_ID: המזהה של נקודת הקצה.
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: האזור של נקודת הקצה.
- MODEL_ID: המזהה של המודל שרוצים לפרוס.
- DEPLOYED_MODEL_DISPLAY_NAME: השם המוצג של המודל שנפרס.
- MACHINE_TYPE: סוג המכונה של המודל שנפרס (למשל,
n1-standard-4). - ACCELERATOR_TYPE: אופציונלי. סוג מאיץ ה-GPU שרוצים לצרף (למשל,
NVIDIA_L4). - ACCELERATOR_COUNT: אופציונלי. מספר המאיצים שצריך לצרף לכל מכונה.
- MIN_REPLICA_COUNT: המספר המינימלי של רפליקות להתאמה אוטומטית לעומס.
- MAX_REPLICA_COUNT: המספר המקסימלי של רפליקות להתאמה אוטומטית לעומס (autoscaling).
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
תוכן בקשת JSON:
{
"deployedModel": {
"model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
"displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
"dedicatedResources": {
"machineSpec": {
"machineType": "MACHINE_TYPE",
"acceleratorType": "ACCELERATOR_TYPE",
"acceleratorCount": ACCELERATOR_COUNT
},
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"scale_to_zero_spec": {
"min_scaleup_period": "300s",
"idle_scaledown_period": "300s",
},
}
}
}
Python
הגדרת צמצום הפעולה לאפס ב-Python SDK מתבצעת דרך לקוח ה-API בגרסת v1beta1.
לפני שמריצים את הקוד, צריך להחליף את הערכים הבאים:
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: האזור של נקודת הקצה.
- ENDPOINT_ID: המזהה של נקודת הקצה.
- MODEL_ID: המזהה של המודל שרוצים לפרוס.
- DEPLOYED_MODEL_DISPLAY_NAME: השם המוצג של המודל שנפרס.
- MACHINE_TYPE: סוג המכונה של המודל שנפרס (למשל,
n1-standard-4). - ACCELERATOR_TYPE: אופציונלי. סוג מאיץ ה-GPU שרוצים לצרף (למשל,
NVIDIA_L4). - ACCELERATOR_COUNT: אופציונלי. מספר המאיצים שצריך לצרף לכל מכונה.
- MIN_REPLICA_COUNT: המספר המינימלי של רפליקות להתאמה אוטומטית לעומס.
- MAX_REPLICA_COUNT: המספר המקסימלי של רפליקות להתאמה אוטומטית לעומס (autoscaling).
- METRIC_NAME: המזהה של מדד ההתאמה האוטומטית לעומס.
- TARGET_THRESHOLD: ערך היעד של המדד שצוין.
from google.cloud import aiplatform
# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")
# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")
# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")
# Deploy the model to the endpoint
model.deploy(
endpoint=endpoint,
machine_type="MACHINE_TYPE",
accelerator_type="ACCELERATOR_TYPE",
accelerator_count=ACCELERATOR_COUNT
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)
import google.auth.transport.requests
import urllib3
# pip install google-cloud-aiplatform for this dependency
from google.cloud import aiplatform
from google.cloud.aiplatform_v1beta1.services import endpoint_service # For EndpointServiceClient
from google.cloud.aiplatform_v1beta1 import types as aiplatform_v1beta1_types # For message types
PROJECT_NUMBER = "PROJECT_ID"
LOCATION = "LOCATION"
ENDPOINT_DISPLAY_NAME = "stz-sdk-test"
MODEL_ID="MODEL_ID"
# Full resource name of your existing model in Model Registry
# e.g., "projects/your-gcp-project-id/locations/us-central1/models/your-model-id"
MODEL_RESOURCE_NAME = f"projects/{PROJECT_NUMBER}/locations/{LOCATION}/models/{MODEL_ID}"
# Deployment settings
MACHINE_TYPE = "MACHINE_TYPE"
ACCELERATOR_TYPE ="ACCELERATOR_TYPE",
ACCELERATOR_COUNT =ACCELERATOR_COUNT
# Disable InsecureRequestWarning for the requests part as in your snippet
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
# The AI Platform services require regional API endpoints.
client_options = {"api_endpoint": f"{LOCATION}-aiplatform.googleapis.com"}
endpoint_service_client = endpoint_service.EndpointServiceClient(client_options=client_options)
def main():
aiplatform.init(project=PROJECT_NUMBER, location=LOCATION)
model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME) # Initialize model object
try:
# # --- 1. Create an Endpoint ---
print(f"\nCreating endpoint '{ENDPOINT_DISPLAY_NAME}'...")
endpoint = aiplatform.Endpoint.create(
display_name=ENDPOINT_DISPLAY_NAME,
project=PROJECT_NUMBER,
location=LOCATION,
sync=True, # Wait for creation to complete
dedicated_endpoint_enabled=True,
)
print(f"Endpoint created: {endpoint.resource_name}")
endpoint_numeric_id = endpoint.name # This is the numeric ID
print(f"Numeric Endpoint ID for URL: {endpoint_numeric_id}")
print(f"\nFetching model details for: {MODEL_RESOURCE_NAME}")
model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME)
# --- 2. Deploy the Model ---
print(f"\nDeploying model '{model_to_deploy.resource_name}' to endpoint '{endpoint.display_name}'...")
deployed_model_config = aiplatform_v1beta1_types.DeployedModel(
model=model_to_deploy.resource_name,
dedicated_resources=aiplatform_v1beta1_types.DedicatedResources(
machine_spec=aiplatform_v1beta1_types.MachineSpec(
machine_type=MACHINE_TYPE,
accelerator_type=ACCELERATOR_TYPE,
accelerator_count=ACCELERATOR_COUNT,
),
initial_replica_count=1,
min_replica_count=0,
max_replica_count=1,
scale_to_zero_spec=aiplatform_v1beta1_types.DedicatedResources.ScaleToZeroSpec(
min_scaleup_period=300,
idle_scaledown_period=300,
)
),
)
deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
endpoint=endpoint.resource_name,
deployed_model=deployed_model_config,
)
# Alternatively, if you've got an existing endpoint, use:
# endpoint_path = endpoint_service_client.endpoint_path(
# project=PROJECT_NUMBER, location=LOCATION, endpoint={ENDPOINT_ID}
# )
# deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
# endpoint=endpoint_path,
# deployed_model=deployed_model_config,
# )
print("\nSending v1beta1 DeployModelRequest...")
operation = endpoint_service_client.deploy_model(request=deploy_model_request)
print("Waiting for v1beta1 update deploy model operation to complete (this can take several minutes)...")
operation.result()
print("Model deployed successfully.")
except Exception as e:
print(f"\nAn error occurred: {e}")
if __name__ == "__main__":
main()
ניהול השימוש במשאבים
אתם יכולים לעקוב אחרי נקודת הקצה כדי לבדוק מדדים כמו השימוש במעבד (CPU) ובמאיץ, מספר הבקשות, זמן האחזור ומספר הרפליקות הנוכחי ומספר היעד של הרפליקות. המידע הזה יכול לעזור לכם להבין את השימוש במשאבים ואת התנהגות ההתאמה לעומס (scaling) של נקודת הקצה.
חשוב לזכור שכל רפליקה מריצה רק קונטיינר אחד. כלומר, אם קונטיינר להסקת מסקנות לא יכול להשתמש באופן מלא במשאב המחשוב שנבחר, כמו קוד עם שרשור יחיד למכונה עם כמה ליבות, או מודל בהתאמה אישית שקורא לשירות אחר כחלק מהסקת המסקנות, יכול להיות שהצמתים לא יוגדלו.
לדוגמה, אם אתם משתמשים ב-FastAPI או בכל שרת מודל אחר עם מספר ניתן להגדרה של קורטינות או שרשורים, במקרים רבים יותר מקורטינה אחת יכולה להגדיל את ניצול המשאבים, וכך לשפר את היכולת של השירות להתאים באופן אוטומטי את מספר הרפליקות לעומס.
באופן כללי, מומלץ להתחיל עם וורקר אחד או שרשור אחד לכל ליבה. אם אתם מבחינים שניצול המעבד נמוך, במיוחד בעומס גבוה, או שהמודל לא משתנה כי ניצול המעבד נמוך, הגדילו את מספר ה-workers. מצד שני, אם אתם מבחינים שהניצול גבוה מדי וזמני האחזור גדלים יותר מהצפוי בעומס, נסו להשתמש בפחות קורטינות. אם אתם כבר משתמשים ב-worker אחד, נסו להשתמש בסוג מכונה קטן יותר.
התנהגות ההתאמה והעיכוב
פלטפורמת Gemini Enterprise Agent מתאימה את מספר הרפליקות כל 15 שניות, על סמך נתונים מחלון הזמן של 5 הדקות הקודמות. בכל מחזור של 15 שניות, המערכת מודדת את ניצול השרת ויוצרת מספר יעד של רפליקות על סמך הנוסחה הבאה:
target # of replicas = Ceil(current # of replicas * (current utilization / target utilization))
לדוגמה, אם יש שתי רפליקות שמנוצלות ב-100%, היעד הוא 4:
4 = Ceil(3.33) = Ceil(2 * (100% / 60%))
דוגמה נוספת: אם יש לכם 10 רפליקות והניצול יורד ל-1%, היעד הוא 1:
1 = Ceil(.167) = Ceil(10 * (1% / 60%))
בסוף כל מחזור של 15 שניות, המערכת משנה את מספר הרפליקות בהתאם לערך היעד הגבוה ביותר בחלון הזמן הקודם של 5 דקות. שימו לב שבגלל שנבחר ערך היעד הגבוה ביותר, נקודת הקצה לא תצומצם אנכית בהתאם לעומס אם תהיה עלייה פתאומית בניצול במהלך חלון הזמן של 5 הדקות, גם אם הניצול הכולל נמוך מאוד. מצד שני, אם צריך להגדיל את המערכת, היא תעשה את זה תוך 15 שניות, כי נבחר ערך היעד הגבוה ביותר במקום הממוצע.
חשוב לזכור שגם אחרי ש-Gemini Enterprise Agent Platform משנה את מספר הרפליקות, לוקח זמן להפעיל או להשבית אותן. לכן יש עיכוב נוסף עד שנקודת הקצה יכולה להתאים את עצמה לתנועה. הגורמים העיקריים שמשפיעים על משך הזמן הזה:
- הזמן שנדרש להקצאה ולהפעלה של המכונות הווירטואליות ב-Compute Engine
- הזמן שלוקח להוריד את הקונטיינר מהמרשם
- הזמן שלוקח לטעון את המודל מהאחסון
הדרך הכי טובה להבין את התנהגות ההתאמה לעומס של המודל בעולם האמיתי היא להריץ בדיקת עומס ולבצע אופטימיזציה של המאפיינים שחשובים למודל ולתרחיש לדוגמה שלכם. אם ההתאמה האוטומטית לעומס לא מתבצעת מספיק מהר בשביל האפליקציה, צריך להקצות מספיק min_replicas כדי לטפל בתעבורת הנתונים הבסיסית הצפויה.
עדכון הגדרת ההתאמה לעומס
אם ציינתם את DedicatedResources או את AutomaticResources כשפרסתם את המודל, אתם יכולים לעדכן את הגדרות ההתאמה לעומס בלי לפרוס מחדש את המודל, על ידי קריאה ל-mutateDeployedModel.
לדוגמה, הבקשה הבאה מעדכנת את max_replica, autoscaling_metric_specs ומשביתה את רישום מאגר הנתונים ביומן.
{
"deployedModel": {
"id": "2464520679043629056",
"dedicatedResources": {
"maxReplicaCount": 9,
"autoscalingMetricSpecs": [
{
"metricName": "aiplatform.googleapis.com/prediction/online/cpu/utilization",
"target": 50
}
]
},
"disableContainerLogging": true
},
"update_mask": {
"paths": [
"dedicated_resources.max_replica_count",
"dedicated_resources.autoscaling_metric_specs",
"disable_container_logging"
]
}
}
הערות לגבי השימוש:
- אי אפשר לשנות את סוג המכונה או לעבור מ-
DedicatedResourcesל-AutomaticResourcesאו להיפך. שדות התצורה היחידים של התאמה לעומס שאפשר לשנות הם:min_replica,max_replica,required_replicaו-AutoscalingMetricSpec(DedicatedResourcesבלבד). - צריך לציין כל שדה שרוצים לעדכן ב-
updateMask. המערכת מתעלמת משדות שלא מופיעים ברשימה. - ה-DeployedModel חייב להיות במצב
DEPLOYED. לכל מודל שנפרס יכולה להיות לכל היותר פעולת מוטציה אחת פעילה. -
mutateDeployedModelמאפשר גם להפעיל או להשבית את רישום מאגר הנתונים ביומן. מידע נוסף זמין במאמר רישום ביומן של הסקות אונליין.