將模型部署為 DeployedModel 進行線上推論時,您可以設定推論節點自動調度資源。方法是將 dedicatedResources.maxReplicaCount 設為大於 dedicatedResources.minReplicaCount 的值。
設定 DeployedModel 時,必須將 dedicatedResources.minReplicaCount 設為至少 1。換句話說,您無法將 DeployedModel 設為在閒置時縮減至 0 個推論節點。
或者,如果您接受使用「將資源調度率降至零」功能 (預先發布版),則可將 dedicatedResources.minReplicaCount 欄位設為 0,這樣一來,當端點沒有流量時,工作負載就會縮減至零個副本。詳情請參閱「將資源調度率降至零」。
根據預設,只有在部署要求逾時前,推論節點數量達到 dedicatedResources.minReplicaCount,部署作業才會視為成功。否則,部署作業會標示為失敗,並釋出基礎資源。
部分成功的部署和變異
您可以將 dedicatedResources.requiredReplicaCount 設為小於 dedicatedResources.minReplicaCount 的值,藉此修改預設部署行為。在這種情況下,當推論節點數量達到 dedicatedResources.requiredReplicaCount 時,部署作業就會標示為成功,即使尚未完成也一樣。部署作業會持續進行,直到達到 dedicatedResources.minReplicaCount 為止。如果在部署要求時間前未達到 dedicatedResources.minReplicaCount,作業仍會成功,但 DeployedModel.status.message 會傳回失敗副本的錯誤訊息。
自訂模型提供的配額是根據專案和區域中每個部署模型的 dedicatedResources.maxReplicaCount 值保留,而非依據使用中的副本數量。計費依據為執行中的有效副本。如果專案和區域中所有部署項目的 maxReplicaCount 總和超過專案的服務配額,部署新模型或增加 maxReplicaCount 會失敗,並顯示配額錯誤。
端點會依機器調整資源配置,並依 CPU 和 GPU 計算服務配額。舉例來說,如果您使用 a2-highgpu-2g 機型 (每個副本 24 個 vCPU 和 2 個 GPU) 部署模型,並將 maxReplicaCount 設為 5,則部署作業會從專案配額中預留 120 個 CPU 和 10 個 GPU,即使使用中的副本數量較少也一樣。如要釋出預留配額,但不想取消部署模型,請呼叫 mutateDeployedModel 來降低 maxReplicaCount。詳情請參閱「配額與限制」。
批次推論的推論節點不會自動調度資源。Agent Platform 會使用 BatchDedicatedResources.startingReplicaCount,並忽略 BatchDedicatedResources.maxReplicaCount。
目標使用率和設定
根據預設,如果您部署的模型沒有專屬 GPU 資源,Gemini Enterprise Agent Platform 會自動調整資源配置副本數量,使 CPU 使用率符合預設的 60% 目標值。
根據預設,如果您使用專屬 GPU 資源部署模型 (machineSpec.accelerator_count 大於 0),Gemini Enterprise Agent Platform 會自動調度資源,增加或減少副本數量,讓 CPU 或 GPU 使用率 (以較高者為準) 符合預設的 60% 目標值。因此,如果推論處理量導致 GPU 使用率偏高,但 CPU 使用率不高,Agent Platform 會擴充,CPU 使用率會非常低,這會顯示在監控中。相反地,如果自訂容器的 GPU 使用率偏低,但有不相關的程序導致 CPU 使用率超過 60%,Agent Platform 就會擴充,即使這可能不是達成 QPS 和延遲時間目標的必要條件。
您可以指定 autoscalingMetricSpecs,覆寫預設門檻指標和目標。請注意,如果部署作業設定為僅根據 CPU 使用率調度資源,即使 GPU 使用率很高,也不會調度資源。
支援下列自動調度資源指標:
- CPU 使用率 (
aiplatform.googleapis.com/prediction/online/cpu/utilization):根據 CPU 使用率調度資源。單位為每個副本的 CPU 使用率。目標值為百分比 (0-100)。預設目標值為 60%。 - GPU 使用率 (
aiplatform.googleapis.com/prediction/online/accelerator/duty_cycle):依據 GPU 使用率調度資源。單位是每個副本的 GPU 使用率。目標值為百分比 (0-100)。預設目標值為 60%。 - DCGM GPU 使用率 (預先發布版)(
prometheus.googleapis.com/vertex_dcgm_fi_dev_gpu_util): 根據 GPU 使用率的 DCGM 指標進行資源調度。單位是每個副本的 GPU 使用率。目標值為百分比 (0-100)。這項指標預設為停用。 - vLLM GPU KV 快取用量百分比 (預先發布版)(
prometheus.googleapis.com/vertex_vllm_gpu_cache_usage_perc): 根據 GPU KV 快取用量百分比的 vLLM 指標進行調度資源。單位是每個副本的 GPU KV 快取用量百分比。目標值為百分比 (0-100)。這項指標預設為停用。 - vLLM 等待中的要求數量 (預先發布版)(
prometheus.googleapis.com/vertex_vllm_num_requests_waiting): 根據 vLLM 等待中的要求數量指標進行調度資源。單位是每個副本等待的要求數量。目標值為整數。這項指標預設為停用。 - 要求數量 (
aiplatform.googleapis.com/prediction/online/request_count):根據要求數量調度資源。單位為每分鐘每個副本的要求數。目標值為整數。這項指標預設為停用。 - Pub/Sub 佇列大小 (預先發布版,僅限
v1beta1API,不支援 Google Cloud CLI) (pubsub.googleapis.com/subscription/num_undelivered_messages):根據 Pub/Sub 訂閱項目中未傳送的訊息數量進行資源調度。單位是每個副本未傳送的訊息數。目標值為整數。這項指標預設為停用。
設定自動調度資源時,請使用 METRIC_NAME 做為指標 ID,並使用 TARGET_THRESHOLD 做為目標值。請務必指定上列清單中顯示的指標 ID,匯出至 Cloud Monitoring 的其他指標不支援做為自動調度資源目標。如果是 prometheus.googleapis.com/* 指標,請省略 Monitoring 中顯示的 /gauge 指標類型後置字串 (例如指定 prometheus.googleapis.com/vertex_vllm_num_requests_waiting,而非 prometheus.googleapis.com/vertex_vllm_num_requests_waiting/gauge)。
在部署期間設定自動調度資源
如要在部署模型時設定自動調度資源功能,請使用下列其中一個介面:
gcloud
如要在使用 gcloud CLI 部署模型時設定自動調度資源,請使用 gcloud ai endpoints deploy-model 指令。
請注意,Google Cloud CLI 的指標關鍵字略有不同。請使用下列指令:
- cpu-usage
- gpu-duty-cycle
- dcgm-fi-dev-gpu-util
- vllm-gpu-cache-usage-perc
- vllm-num-requests-waiting
- request-counts-per-minute
使用任何指令資料之前,請先替換下列項目:
- ENDPOINT_ID:端點 ID。
- PROJECT_ID:專案 ID。
- LOCATION:端點的區域。
- MODEL_ID:要部署的模型 ID。
- MACHINE_TYPE:已部署模型的機型 (例如
n1-standard-4)。 - ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如
NVIDIA_L4)。 - ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
- MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
- MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
- METRIC_NAME:自動調度資源指標的 ID。
- TARGET_THRESHOLD:指定指標的目標值。
gcloud ai endpoints deploy-model ENDPOINT_ID \
--project=PROJECT_ID \
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_DISPLAY_NAME \
--machine-type=MACHINE_TYPE \
--accelerator-type=ACCELERATOR_TYPE \
--accelerator-count=ACCELERATOR_COUNT \
--min-replica-count=MIN_REPLICA_COUNT \
--max-replica-count=MAX_REPLICA_COUNT \
--autoscaling-metric-specs=METRIC_NAME=TARGET_THRESHOLD
REST
如要在使用 REST API 部署模型時設定自動調度資源,請使用 projects.locations.endpoints.deployModel 方法。
使用任何要求資料之前,請先替換以下項目:
- ENDPOINT_ID:端點 ID。
- PROJECT_ID:專案 ID。
- LOCATION:端點的區域。
- MODEL_ID:要部署的模型 ID。
- DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
- MACHINE_TYPE:已部署模型的機型 (例如
n1-standard-4)。 - ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如
NVIDIA_L4)。 - ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
- MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
- MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
- METRIC_NAME:自動調度資源指標的 ID。
- TARGET_THRESHOLD:指定指標的目標值。
HTTP 方法和網址:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
JSON 要求主體:
{
"deployedModel": {
"model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
"displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
"dedicatedResources": {
"machineSpec": {
"machineType": "MACHINE_TYPE",
"acceleratorType": "ACCELERATOR_TYPE",
"acceleratorCount": ACCELERATOR_COUNT
},
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"autoscalingMetricSpecs": [
{
"metricName": "METRIC_NAME",
"target": TARGET_THRESHOLD
}
]
}
}
}
如要使用 Pub/Sub 佇列大小自動調度資源功能 (預先發布版),請使用 v1beta1 projects.locations.endpoints.deployModel 方法,因為 monitoredResourceLabels 僅支援 v1beta1 API。請另外替換下列項目:
- PUBSUB_SUBSCRIPTION_PROJECT_ID:Pub/Sub 訂閱項目的專案 ID。
- PUBSUB_SUBSCRIPTION_ID:Pub/Sub 訂閱項目的 ID。這個欄位的長度上限為 63 個字元。
HTTP 方法和網址:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
在要求 JSON 主體中,按照下列方式設定 autoscalingMetricSpecs:
"autoscalingMetricSpecs": [
{
"metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
"target": TARGET_THRESHOLD,
"monitoredResourceLabels": {
"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
"subscription_id": "PUBSUB_SUBSCRIPTION_ID"
}
}
]
Python
Python SDK 自動調度資源功能是透過 deploy() 函式呼叫中的參數名稱設定。範例指令以並行式自動調度資源為例。可設定的自動調度資源參數如下:
- autoscaling_target_cpu_utilization
- autoscaling_target_accelerator_duty_cycle
- autoscaling_target_dcgm_fi_dev_gpu_util
- autoscaling_target_vllm_gpu_cache_usage_perc
- autoscaling_target_vllm_num_requests_waiting
- autoscaling_target_request_count_per_minute
如要在使用 Agent Platform SDK for Python 部署模型時設定自動調度資源,請按照下列步驟操作:
執行程式碼前,請先替換下列項目:
- PROJECT_ID:專案 ID。
- LOCATION:端點的區域。
- ENDPOINT_ID:端點 ID。
- MODEL_ID:要部署的模型 ID。
- DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
- MACHINE_TYPE:已部署模型的機型 (例如
n1-standard-4)。 - ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如
NVIDIA_L4)。 - ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
- MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
- MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
- METRIC_NAME:自動調度資源指標的 ID。
- TARGET_THRESHOLD:指定指標的目標值。
from google.cloud import aiplatform
# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")
# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")
# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")
# Deploy the model to the endpoint
model.deploy(
endpoint=endpoint,
machine_type="MACHINE_TYPE",
accelerator_type="ACCELERATOR_TYPE",
accelerator_count=ACCELERATOR_COUNT,
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)
如要根據 Pub/Sub 佇列大小指標自動調度資源 (預先發布版,僅支援 aiplatform_v1beta1),則須提供其他 Pub/Sub 訂閱資訊:
- PUBSUB_SUBSCRIPTION_PROJECT_ID:Pub/Sub 訂閱項目的專案 ID。
- PUBSUB_SUBSCRIPTION_ID:Pub/Sub 訂閱項目的 ID。
from google.cloud import aiplatform_v1beta1 as aiplatform
from google.api_core.client_options import ClientOptions
# Initialize the EndpointServiceClient
client_options = ClientOptions(api_endpoint="LOCATION-aiplatform.googleapis.com")
client = aiplatform.EndpointServiceClient(client_options=client_options)
# Specify the location
location = "projects/PROJECT_NUMBER/locations/LOCATION"
model_name = "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID"
autoscaling_metric_specs = [
{"metric_name": "pubsub.googleapis.com/subscription/num_undelivered_messages", "target": TARGET_THRESHOLD, "monitored_resource_labels":{"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID","subscription_id": "PUBSUB_SUBSCRIPTION_ID"}}
]
deployed_model = aiplatform.DeployedModel(
model=model_name,
display_name="DEPLOYED_MODEL_DISPLAY_NAME",
dedicated_resources=aiplatform.DedicatedResources(
machine_spec=aiplatform.MachineSpec(
machine_type="MACHINE_TYPE"
),
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_metric_specs=autoscaling_metric_specs
)
)
deploy_request = aiplatform.DeployModelRequest(
deployed_model=deployed_model,
endpoint="projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
traffic_split={"0": 100}
)
deploy_operation = client.deploy_model(deploy_request)
print("Long-running operation initiated to deploy model.")
deploy_operation.result()
print("Model deployed to endpoint.")
更新自動調度資源設定
如要更新現有的自動調度資源設定,請使用下列其中一個介面:
REST
如要使用 REST API 更新已部署模型的自動調度資源設定,請使用 projects.locations.endpoints.mutateDeployedModel 方法。
使用任何要求資料之前,請先替換以下項目:
- ENDPOINT_ID:端點 ID。
- PROJECT_ID:專案 ID。
- LOCATION:端點的區域。
- DEPLOYED_MODEL_ID:要更新的已部署模型 ID。
- MIN_REPLICA_COUNT:自動調度資源的新副本數量下限。
- MAX_REPLICA_COUNT:自動調度資源的新副本數量上限。
- METRIC_NAME:自動調度資源指標的 ID。
- TARGET_THRESHOLD:指定指標的目標值。
HTTP 方法和網址:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel
JSON 要求主體:
{
"deployedModel": {
"id": "DEPLOYED_MODEL_ID",
"dedicatedResources": {
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"autoscalingMetricSpecs": [
{
"metricName": "METRIC_NAME",
"target": TARGET_THRESHOLD
}
]
}
},
"updateMask": {
"paths": [
"dedicated_resources.min_replica_count",
"dedicated_resources.max_replica_count",
"dedicated_resources.autoscaling_metric_specs"
]
}
}
如要使用 Pub/Sub 佇列大小自動調度資源功能 (預先發布版),請使用 v1beta1 projects.locations.endpoints.mutateDeployedModel 方法,因為 monitoredResourceLabels 僅支援 v1beta1 API。請另外替換下列項目:
- PUBSUB_SUBSCRIPTION_PROJECT_ID:Pub/Sub 訂閱項目的專案 ID。
- PUBSUB_SUBSCRIPTION_ID:Pub/Sub 訂閱項目的 ID。這個欄位的長度上限為 63 個字元。
HTTP 方法和網址:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel
在要求 JSON 主體中,按照下列方式設定 autoscalingMetricSpecs:
"autoscalingMetricSpecs": [
{
"metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
"target": TARGET_THRESHOLD,
"monitoredResourceLabels": {
"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
"subscription_id": "PUBSUB_SUBSCRIPTION_ID"
}
}
]
將資源調度率降至零 (預先發布版)
「縮減至零」功能可讓您在沒有流量時,自動將模型伺服器部署作業縮減至零個副本,這段期間不會產生費用。
流量到達目標縮減端點時,會收到 429 - Model is not yet
ready for inference. Please wait while model completes scale-up from zero, then
try your request again 回應,要求會遭到捨棄,並向目標模型伺服器傳送擴充信號。
這樣一來,模型伺服器就會從零擴充至 DedicatedResources.initial_replica_count 欄位中指定的值。預設值為 1。
這項功能適用於下列用途:
- 部署項目經常長時間沒有流量。
- 通常在營業時間內接收流量,其他時間則閒置的端點。
啟用和使用
無法在共用公開端點上啟用「將資源調度率降至零」功能。所有其他端點類型都相容。
如要啟用「將資源調度率降至零」,請在 deploy-model 要求的 DedicatedResources 區段中指定 min_replica_count=0 (指定 Vertex Prediction API 的 v1beta1 版本)。
選用參數
在 DedicatedResources 中,您可以指定介於 1 到 max_replica_count (含) 之間的 initial_replica_count 值。
DedicatedResources 也新增了 ScaleToZeroSpec 區段,可設定與「將資源調度率降至零」相關的兩項參數:
min_scaleup_period:模型伺服器加入「將資源調度率降至零」評估前的時間長度 (以秒為單位)。即使沒有流量,部署作業也會等到這段時間過後,才會嘗試將資源縮減至零個副本。這樣一來,在初始部署和後續擴充事件期間,系統會先啟用緩衝區值,再根據目標端點檢查流量 (這可能會導致部署縮減)。- 預設值:1 小時 (3600 秒)
- 最小值:5 分鐘 (300 秒)
- 最大值:8 小時 (28800 秒)。
idle_scaledown_period:將目標模型伺服器縮減至零個副本前,沒有流量的持續時間 (以秒為單位)。- 預設值:1 小時 (3600 秒)
- 最小值:5 分鐘 (300 秒)
- 最大值:8 小時 (28800 秒)。
預期行為
如果向縮減的模型傳送要求,會傳回 429 回應,並附上 Model is
not yet ready for inference. Please wait and then try your request again。
請稍後再試。請注意,在這個階段傳送的所有要求都會遭到捨棄。
限制
- 「將資源調度率降至零」功能僅適用於單一模型部署作業,每個端點只能有一個模型。
- 「將資源調度率降至零」不支援多主機 GPU 或多主機 TPU 部署作業。不過,單一主機 GPU 或 TPU 部署項目則相容。
- 共用公開端點無法啟用「將資源調度率降至零」功能,其他端點類型則皆相容。
- 如果沒有預留項目,從縮減狀態重新擴充時,可能會遇到缺貨情況 (視機型而定)。
如果已部署的模型未收到任何流量,導致資源調度率降至零超過 30 天,就會自動取消部署。
gcloud
如要在使用 gcloud CLI 部署模型時,設定將資源調度率降至零,請使用 gcloud beta ai endpoints deploy-model 指令。
使用任何指令資料之前,請先替換下列項目:
- ENDPOINT_ID:端點 ID。
- PROJECT_ID:專案 ID。
- LOCATION:端點的區域。
- MODEL_ID:要部署的模型 ID。
- MACHINE_TYPE:已部署模型的機型 (例如
n1-standard-4)。 - ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如
NVIDIA_L4)。 - ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
- MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
- MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
gcloud beta ai endpoints deploy-model ENDPOINT_ID \
--project=PROJECT_ID \
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_DISPLAY_NAME \
--machine-type=MACHINE_TYPE \
--accelerator-type=ACCELERATOR_TYPE \
--accelerator-count=ACCELERATOR_COUNT \
--min-replica-count=MIN_REPLICA_COUNT \
--max-replica-count=MAX_REPLICA_COUNT \
--min-scaleup-period=300s \
--idle-scaledown-period=300s
REST
如要在使用 REST API 部署模型時,設定將資源調度率降至零,請使用 projects.locations.endpoints.deployModel 方法。
使用任何要求資料之前,請先替換以下項目:
- ENDPOINT_ID:端點 ID。
- PROJECT_ID:專案 ID。
- LOCATION:端點的區域。
- MODEL_ID:要部署的模型 ID。
- DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
- MACHINE_TYPE:已部署模型的機型 (例如
n1-standard-4)。 - ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如
NVIDIA_L4)。 - ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
- MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
- MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
HTTP 方法和網址:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
JSON 要求主體:
{
"deployedModel": {
"model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
"displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
"dedicatedResources": {
"machineSpec": {
"machineType": "MACHINE_TYPE",
"acceleratorType": "ACCELERATOR_TYPE",
"acceleratorCount": ACCELERATOR_COUNT
},
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"scale_to_zero_spec": {
"min_scaleup_period": "300s",
"idle_scaledown_period": "300s",
},
}
}
}
Python
Python SDK 的「將資源調度率降至零」功能是透過 v1beta1 API 用戶端設定。
執行程式碼前,請先替換下列項目:
- PROJECT_ID:專案 ID。
- LOCATION:端點的區域。
- ENDPOINT_ID:端點 ID。
- MODEL_ID:要部署的模型 ID。
- DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
- MACHINE_TYPE:已部署模型的機型 (例如
n1-standard-4)。 - ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如
NVIDIA_L4)。 - ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
- MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
- MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
- METRIC_NAME:自動調度資源指標的 ID。
- TARGET_THRESHOLD:指定指標的目標值。
from google.cloud import aiplatform
# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")
# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")
# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")
# Deploy the model to the endpoint
model.deploy(
endpoint=endpoint,
machine_type="MACHINE_TYPE",
accelerator_type="ACCELERATOR_TYPE",
accelerator_count=ACCELERATOR_COUNT
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)
import google.auth.transport.requests
import urllib3
# pip install google-cloud-aiplatform for this dependency
from google.cloud import aiplatform
from google.cloud.aiplatform_v1beta1.services import endpoint_service # For EndpointServiceClient
from google.cloud.aiplatform_v1beta1 import types as aiplatform_v1beta1_types # For message types
PROJECT_NUMBER = "PROJECT_ID"
LOCATION = "LOCATION"
ENDPOINT_DISPLAY_NAME = "stz-sdk-test"
MODEL_ID="MODEL_ID"
# Full resource name of your existing model in Model Registry
# e.g., "projects/your-gcp-project-id/locations/us-central1/models/your-model-id"
MODEL_RESOURCE_NAME = f"projects/{PROJECT_NUMBER}/locations/{LOCATION}/models/{MODEL_ID}"
# Deployment settings
MACHINE_TYPE = "MACHINE_TYPE"
ACCELERATOR_TYPE ="ACCELERATOR_TYPE",
ACCELERATOR_COUNT =ACCELERATOR_COUNT
# Disable InsecureRequestWarning for the requests part as in your snippet
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
# The AI Platform services require regional API endpoints.
client_options = {"api_endpoint": f"{LOCATION}-aiplatform.googleapis.com"}
endpoint_service_client = endpoint_service.EndpointServiceClient(client_options=client_options)
def main():
aiplatform.init(project=PROJECT_NUMBER, location=LOCATION)
model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME) # Initialize model object
try:
# # --- 1. Create an Endpoint ---
print(f"\nCreating endpoint '{ENDPOINT_DISPLAY_NAME}'...")
endpoint = aiplatform.Endpoint.create(
display_name=ENDPOINT_DISPLAY_NAME,
project=PROJECT_NUMBER,
location=LOCATION,
sync=True, # Wait for creation to complete
dedicated_endpoint_enabled=True,
)
print(f"Endpoint created: {endpoint.resource_name}")
endpoint_numeric_id = endpoint.name # This is the numeric ID
print(f"Numeric Endpoint ID for URL: {endpoint_numeric_id}")
print(f"\nFetching model details for: {MODEL_RESOURCE_NAME}")
model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME)
# --- 2. Deploy the Model ---
print(f"\nDeploying model '{model_to_deploy.resource_name}' to endpoint '{endpoint.display_name}'...")
deployed_model_config = aiplatform_v1beta1_types.DeployedModel(
model=model_to_deploy.resource_name,
dedicated_resources=aiplatform_v1beta1_types.DedicatedResources(
machine_spec=aiplatform_v1beta1_types.MachineSpec(
machine_type=MACHINE_TYPE,
accelerator_type=ACCELERATOR_TYPE,
accelerator_count=ACCELERATOR_COUNT,
),
initial_replica_count=1,
min_replica_count=0,
max_replica_count=1,
scale_to_zero_spec=aiplatform_v1beta1_types.DedicatedResources.ScaleToZeroSpec(
min_scaleup_period=300,
idle_scaledown_period=300,
)
),
)
deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
endpoint=endpoint.resource_name,
deployed_model=deployed_model_config,
)
# Alternatively, if you've got an existing endpoint, use:
# endpoint_path = endpoint_service_client.endpoint_path(
# project=PROJECT_NUMBER, location=LOCATION, endpoint={ENDPOINT_ID}
# )
# deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
# endpoint=endpoint_path,
# deployed_model=deployed_model_config,
# )
print("\nSending v1beta1 DeployModelRequest...")
operation = endpoint_service_client.deploy_model(request=deploy_model_request)
print("Waiting for v1beta1 update deploy model operation to complete (this can take several minutes)...")
operation.result()
print("Model deployed successfully.")
except Exception as e:
print(f"\nAn error occurred: {e}")
if __name__ == "__main__":
main()
管理資源用量
您可以監控端點,追蹤 CPU 和加速器用量、要求數量、延遲時間,以及目前和目標副本數量等指標。這項資訊有助於瞭解端點的資源用量和資源調度行為。
請注意,每個副本只會執行一個容器。這表示如果推論容器無法充分使用所選運算資源 (例如多核心機器的單一執行緒程式碼,或呼叫其他服務來進行推論的自訂模型),節點可能不會擴充。
舉例來說,如果您使用 FastAPI 或任何可設定工作站或執行緒數量的模型伺服器,在許多情況下,擁有多個工作站可以提高資源使用率,進而提升服務自動調度資源副本數量的能力。
一般來說,建議您一開始先為每個核心設定一個 worker 或執行緒。如果發現 CPU 使用率偏低 (尤其是在高負載情況下),或模型因 CPU 使用率偏低而未擴充,請增加 worker 數量。另一方面,如果您發現使用率過高,且延遲時間在負載下增加的幅度超出預期,請嘗試減少 worker 數量。如果您已只使用單一 worker,請嘗試使用較小的機器類型。
資源調度行為和延遲
Gemini Enterprise Agent Platform 會根據過去 5 分鐘內的資料,每 15 秒調整一次副本數量。系統會每 15 秒測量一次伺服器使用率,並根據下列公式產生目標副本數量:
target # of replicas = Ceil(current # of replicas * (current utilization / target utilization))
舉例來說,假設您有兩個副本,使用率為 100%,目標為 4:
4 = Ceil(3.33) = Ceil(2 * (100% / 60%))
另一個例子是,假設您有 10 個副本,使用率降至 1%,目標為 1:
1 = Ceil(.167) = Ceil(10 * (1% / 60%))
每 15 秒週期結束時,系統會調整副本數量,以符合前 5 分鐘時間範圍內的最高目標值。請注意,由於系統會選擇最高目標值,因此如果在這 5 分鐘內使用率突然增加,即使整體使用率非常低,端點也不會縮減。另一方面,如果系統需要擴充,則會在 15 秒內完成,因為系統會選擇最高目標值,而非平均值。
請注意,即使 Gemini Enterprise Agent Platform 調整了副本數量,啟動或關閉副本仍需要時間。因此,端點需要額外的延遲時間,才能調整流量。主要因素包括:
- 佈建及啟動 Compute Engine VM 的時間
- 從登錄檔下載容器的時間
- 從儲存空間載入模型所需的時間
如要瞭解模型在實際環境中的擴充行為,最好的方法是執行負載測試,並針對模型和用途的重要特性進行最佳化。如果自動配置器無法快速擴充應用程式,請佈建足夠的 min_replicas,以處理預期的基準流量。
更新資源調度設定
如果您在部署模型時指定 DedicatedResources 或 AutomaticResources,則可呼叫 mutateDeployedModel,在不重新部署模型的情況下更新資源調度設定。
舉例來說,下列要求會更新 max_replica、autoscaling_metric_specs,並停用容器記錄。
{
"deployedModel": {
"id": "2464520679043629056",
"dedicatedResources": {
"maxReplicaCount": 9,
"autoscalingMetricSpecs": [
{
"metricName": "aiplatform.googleapis.com/prediction/online/cpu/utilization",
"target": 50
}
]
},
"disableContainerLogging": true
},
"update_mask": {
"paths": [
"dedicated_resources.max_replica_count",
"dedicated_resources.autoscaling_metric_specs",
"disable_container_logging"
]
}
}
使用須知:
- 您無法變更機器類型,也無法從
DedicatedResources切換至AutomaticResources,反之亦然。您只能變更下列資源調度設定欄位:min_replica、max_replica、required_replica和AutoscalingMetricSpec(僅限DedicatedResources)。 - 您必須在
updateMask中列出所有需要更新的欄位。系統會忽略未列出的欄位。 - DeployedModel 必須處於
DEPLOYED狀態。每個已部署的模型最多只能有一個有效的變動作業。 mutateDeployedModel也可讓您啟用或停用容器記錄功能。詳情請參閱「線上推論記錄」。