使用自動調度資源功能調整推論節點

將模型部署為 DeployedModel 進行線上推論時,您可以設定推論節點自動調度資源。方法是將 dedicatedResources.maxReplicaCount 設為大於 dedicatedResources.minReplicaCount 的值。

設定 DeployedModel 時,必須將 dedicatedResources.minReplicaCount 設為至少 1。換句話說,您無法將 DeployedModel 設為在閒置時縮減至 0 個推論節點。

或者,如果您接受使用「將資源調度率降至零」功能 (預先發布版),則可將 dedicatedResources.minReplicaCount 欄位設為 0,這樣一來,當端點沒有流量時,工作負載就會縮減至零個副本。詳情請參閱「將資源調度率降至零」。

根據預設,只有在部署要求逾時前,推論節點數量達到 dedicatedResources.minReplicaCount,部署作業才會視為成功。否則,部署作業會標示為失敗,並釋出基礎資源。

部分成功的部署和變異

您可以將 dedicatedResources.requiredReplicaCount 設為小於 dedicatedResources.minReplicaCount 的值,藉此修改預設部署行為。在這種情況下,當推論節點數量達到 dedicatedResources.requiredReplicaCount 時,部署作業就會標示為成功,即使尚未完成也一樣。部署作業會持續進行,直到達到 dedicatedResources.minReplicaCount 為止。如果在部署要求時間前未達到 dedicatedResources.minReplicaCount,作業仍會成功,但 DeployedModel.status.message 會傳回失敗副本的錯誤訊息。

自訂模型提供的配額是根據專案和區域中每個部署模型的 dedicatedResources.maxReplicaCount 值保留,而非依據使用中的副本數量。計費依據為執行中的有效副本。如果專案和區域中所有部署項目的 maxReplicaCount 總和超過專案的服務配額,部署新模型或增加 maxReplicaCount 會失敗,並顯示配額錯誤。

端點會依機器調整資源配置,並依 CPU 和 GPU 計算服務配額。舉例來說,如果您使用 a2-highgpu-2g 機型 (每個副本 24 個 vCPU 和 2 個 GPU) 部署模型,並將 maxReplicaCount 設為 5,則部署作業會從專案配額中預留 120 個 CPU 和 10 個 GPU,即使使用中的副本數量較少也一樣。如要釋出預留配額,但不想取消部署模型,請呼叫 mutateDeployedModel 來降低 maxReplicaCount。詳情請參閱「配額與限制」。

批次推論的推論節點不會自動調度資源。Agent Platform 會使用 BatchDedicatedResources.startingReplicaCount,並忽略 BatchDedicatedResources.maxReplicaCount。

目標使用率和設定

根據預設,如果您部署的模型沒有專屬 GPU 資源,Gemini Enterprise Agent Platform 會自動調整資源配置副本數量,使 CPU 使用率符合預設的 60% 目標值。

根據預設,如果您使用專屬 GPU 資源部署模型 (machineSpec.accelerator_count 大於 0),Gemini Enterprise Agent Platform 會自動調度資源,增加或減少副本數量,讓 CPU 或 GPU 使用率 (以較高者為準) 符合預設的 60% 目標值。因此,如果推論處理量導致 GPU 使用率偏高,但 CPU 使用率不高,Agent Platform 會擴充,CPU 使用率會非常低,這會顯示在監控中。相反地,如果自訂容器的 GPU 使用率偏低,但有不相關的程序導致 CPU 使用率超過 60%,Agent Platform 就會擴充,即使這可能不是達成 QPS 和延遲時間目標的必要條件。

您可以指定 autoscalingMetricSpecs,覆寫預設門檻指標和目標。請注意,如果部署作業設定為僅根據 CPU 使用率調度資源,即使 GPU 使用率很高,也不會調度資源。

支援下列自動調度資源指標:

  • CPU 使用率 (aiplatform.googleapis.com/prediction/online/cpu/utilization):根據 CPU 使用率調度資源。單位為每個副本的 CPU 使用率。目標值為百分比 (0-100)。預設目標值為 60%。
  • GPU 使用率 (aiplatform.googleapis.com/prediction/online/accelerator/duty_cycle):依據 GPU 使用率調度資源。單位是每個副本的 GPU 使用率。目標值為百分比 (0-100)。預設目標值為 60%。
  • DCGM GPU 使用率 (預先發布版)(prometheus.googleapis.com/vertex_dcgm_fi_dev_gpu_util): 根據 GPU 使用率的 DCGM 指標進行資源調度。單位是每個副本的 GPU 使用率。目標值為百分比 (0-100)。這項指標預設為停用。
  • vLLM GPU KV 快取用量百分比 (預先發布版)(prometheus.googleapis.com/vertex_vllm_gpu_cache_usage_perc): 根據 GPU KV 快取用量百分比的 vLLM 指標進行調度資源。單位是每個副本的 GPU KV 快取用量百分比。目標值為百分比 (0-100)。這項指標預設為停用。
  • vLLM 等待中的要求數量 (預先發布版)(prometheus.googleapis.com/vertex_vllm_num_requests_waiting): 根據 vLLM 等待中的要求數量指標進行調度資源。單位是每個副本等待的要求數量。目標值為整數。這項指標預設為停用。
  • 要求數量 (aiplatform.googleapis.com/prediction/online/request_count):根據要求數量調度資源。單位為每分鐘每個副本的要求數。目標值為整數。這項指標預設為停用。
  • Pub/Sub 佇列大小 (預先發布版,僅限 v1beta1 API,不支援 Google Cloud CLI) (pubsub.googleapis.com/subscription/num_undelivered_messages):根據 Pub/Sub 訂閱項目中未傳送的訊息數量進行資源調度。單位是每個副本未傳送的訊息數。目標值為整數。這項指標預設為停用。

設定自動調度資源時,請使用 METRIC_NAME 做為指標 ID,並使用 TARGET_THRESHOLD 做為目標值。請務必指定上列清單中顯示的指標 ID,匯出至 Cloud Monitoring 的其他指標不支援做為自動調度資源目標。如果是 prometheus.googleapis.com/* 指標,請省略 Monitoring 中顯示的 /gauge 指標類型後置字串 (例如指定 prometheus.googleapis.com/vertex_vllm_num_requests_waiting,而非 prometheus.googleapis.com/vertex_vllm_num_requests_waiting/gauge)。

在部署期間設定自動調度資源

如要在部署模型時設定自動調度資源功能,請使用下列其中一個介面:

gcloud

如要在使用 gcloud CLI 部署模型時設定自動調度資源,請使用 gcloud ai endpoints deploy-model 指令。

請注意,Google Cloud CLI 的指標關鍵字略有不同。請使用下列指令:

  • cpu-usage
  • gpu-duty-cycle
  • dcgm-fi-dev-gpu-util
  • vllm-gpu-cache-usage-perc
  • vllm-num-requests-waiting
  • request-counts-per-minute

使用任何指令資料之前,請先替換下列項目:

  • ENDPOINT_ID:端點 ID。
  • PROJECT_ID:專案 ID。
  • LOCATION:端點的區域。
  • MODEL_ID:要部署的模型 ID。
  • MACHINE_TYPE:已部署模型的機型 (例如 n1-standard-4)。
  • ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如 NVIDIA_L4)。
  • ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
  • MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
  • MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
  • METRIC_NAME:自動調度資源指標的 ID。
  • TARGET_THRESHOLD:指定指標的目標值。
gcloud ai endpoints deploy-model ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION \
    --model=MODEL_ID \
    --display-name=DEPLOYED_MODEL_DISPLAY_NAME \
    --machine-type=MACHINE_TYPE \
    --accelerator-type=ACCELERATOR_TYPE \
    --accelerator-count=ACCELERATOR_COUNT \
    --min-replica-count=MIN_REPLICA_COUNT \
    --max-replica-count=MAX_REPLICA_COUNT \
    --autoscaling-metric-specs=METRIC_NAME=TARGET_THRESHOLD

REST

如要在使用 REST API 部署模型時設定自動調度資源,請使用 projects.locations.endpoints.deployModel 方法。

使用任何要求資料之前,請先替換以下項目:

  • ENDPOINT_ID:端點 ID。
  • PROJECT_ID:專案 ID。
  • LOCATION:端點的區域。
  • MODEL_ID:要部署的模型 ID。
  • DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
  • MACHINE_TYPE:已部署模型的機型 (例如 n1-standard-4)。
  • ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如 NVIDIA_L4)。
  • ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
  • MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
  • MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
  • METRIC_NAME:自動調度資源指標的 ID。
  • TARGET_THRESHOLD:指定指標的目標值。

HTTP 方法和網址:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel

JSON 要求主體:

{
  "deployedModel": {
    "model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACCELERATOR_TYPE",
        "acceleratorCount": ACCELERATOR_COUNT
      },
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT,
      "autoscalingMetricSpecs": [
        {
          "metricName": "METRIC_NAME",
          "target": TARGET_THRESHOLD
        }
      ]
    }
  }
}

如要使用 Pub/Sub 佇列大小自動調度資源功能 (預先發布版),請使用 v1beta1 projects.locations.endpoints.deployModel 方法,因為 monitoredResourceLabels 僅支援 v1beta1 API。請另外替換下列項目:

  • PUBSUB_SUBSCRIPTION_PROJECT_ID:Pub/Sub 訂閱項目的專案 ID。
  • PUBSUB_SUBSCRIPTION_ID:Pub/Sub 訂閱項目的 ID。這個欄位的長度上限為 63 個字元。

HTTP 方法和網址:

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel

在要求 JSON 主體中,按照下列方式設定 autoscalingMetricSpecs:

      "autoscalingMetricSpecs": [
        {
          "metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
          "target": TARGET_THRESHOLD,
          "monitoredResourceLabels": {
            "project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
            "subscription_id": "PUBSUB_SUBSCRIPTION_ID"
          }
        }
      ]

Python

Python SDK 自動調度資源功能是透過 deploy() 函式呼叫中的參數名稱設定。範例指令以並行式自動調度資源為例。可設定的自動調度資源參數如下:

  • autoscaling_target_cpu_utilization
  • autoscaling_target_accelerator_duty_cycle
  • autoscaling_target_dcgm_fi_dev_gpu_util
  • autoscaling_target_vllm_gpu_cache_usage_perc
  • autoscaling_target_vllm_num_requests_waiting
  • autoscaling_target_request_count_per_minute

如要在使用 Agent Platform SDK for Python 部署模型時設定自動調度資源,請按照下列步驟操作:

執行程式碼前,請先替換下列項目:

  • PROJECT_ID:專案 ID。
  • LOCATION:端點的區域。
  • ENDPOINT_ID:端點 ID。
  • MODEL_ID:要部署的模型 ID。
  • DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
  • MACHINE_TYPE:已部署模型的機型 (例如 n1-standard-4)。
  • ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如 NVIDIA_L4)。
  • ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
  • MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
  • MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
  • METRIC_NAME:自動調度資源指標的 ID。
  • TARGET_THRESHOLD:指定指標的目標值。
from google.cloud import aiplatform

# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")

# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")

# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")

# Deploy the model to the endpoint
model.deploy(
  endpoint=endpoint,
  machine_type="MACHINE_TYPE",
  accelerator_type="ACCELERATOR_TYPE",
  accelerator_count=ACCELERATOR_COUNT,
  min_replica_count=MIN_REPLICA_COUNT,
  max_replica_count=MAX_REPLICA_COUNT,
  autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)

如要根據 Pub/Sub 佇列大小指標自動調度資源 (預先發布版,僅支援 aiplatform_v1beta1),則須提供其他 Pub/Sub 訂閱資訊:

  • PUBSUB_SUBSCRIPTION_PROJECT_ID:Pub/Sub 訂閱項目的專案 ID。
  • PUBSUB_SUBSCRIPTION_ID:Pub/Sub 訂閱項目的 ID。
from google.cloud import aiplatform_v1beta1 as aiplatform
from google.api_core.client_options import ClientOptions

# Initialize the EndpointServiceClient
client_options = ClientOptions(api_endpoint="LOCATION-aiplatform.googleapis.com")
client = aiplatform.EndpointServiceClient(client_options=client_options)

# Specify the location
location = "projects/PROJECT_NUMBER/locations/LOCATION"

model_name = "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID"
autoscaling_metric_specs = [
    {"metric_name": "pubsub.googleapis.com/subscription/num_undelivered_messages", "target": TARGET_THRESHOLD, "monitored_resource_labels":{"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID","subscription_id": "PUBSUB_SUBSCRIPTION_ID"}}
]

deployed_model = aiplatform.DeployedModel(
    model=model_name,
    display_name="DEPLOYED_MODEL_DISPLAY_NAME",
    dedicated_resources=aiplatform.DedicatedResources(
        machine_spec=aiplatform.MachineSpec(
            machine_type="MACHINE_TYPE"
        ),
        min_replica_count=MIN_REPLICA_COUNT,
        max_replica_count=MAX_REPLICA_COUNT,
        autoscaling_metric_specs=autoscaling_metric_specs
    )
)

deploy_request = aiplatform.DeployModelRequest(
    deployed_model=deployed_model,
    endpoint="projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
    traffic_split={"0": 100}
)

deploy_operation = client.deploy_model(deploy_request)
print("Long-running operation initiated to deploy model.")
deploy_operation.result()

print("Model deployed to endpoint.")

更新自動調度資源設定

如要更新現有的自動調度資源設定,請使用下列其中一個介面:

REST

如要使用 REST API 更新已部署模型的自動調度資源設定,請使用 projects.locations.endpoints.mutateDeployedModel 方法。

使用任何要求資料之前,請先替換以下項目:

  • ENDPOINT_ID:端點 ID。
  • PROJECT_ID:專案 ID。
  • LOCATION:端點的區域。
  • DEPLOYED_MODEL_ID:要更新的已部署模型 ID。
  • MIN_REPLICA_COUNT:自動調度資源的新副本數量下限。
  • MAX_REPLICA_COUNT:自動調度資源的新副本數量上限。
  • METRIC_NAME:自動調度資源指標的 ID。
  • TARGET_THRESHOLD:指定指標的目標值。

HTTP 方法和網址:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel

JSON 要求主體:

{
  "deployedModel": {
    "id": "DEPLOYED_MODEL_ID",
    "dedicatedResources": {
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT,
      "autoscalingMetricSpecs": [
        {
          "metricName": "METRIC_NAME",
          "target": TARGET_THRESHOLD
        }
      ]
    }
  },
  "updateMask": {
    "paths": [
      "dedicated_resources.min_replica_count",
      "dedicated_resources.max_replica_count",
      "dedicated_resources.autoscaling_metric_specs"
    ]
  }
}

如要使用 Pub/Sub 佇列大小自動調度資源功能 (預先發布版),請使用 v1beta1 projects.locations.endpoints.mutateDeployedModel 方法,因為 monitoredResourceLabels 僅支援 v1beta1 API。請另外替換下列項目:

  • PUBSUB_SUBSCRIPTION_PROJECT_ID:Pub/Sub 訂閱項目的專案 ID。
  • PUBSUB_SUBSCRIPTION_ID:Pub/Sub 訂閱項目的 ID。這個欄位的長度上限為 63 個字元。

HTTP 方法和網址:

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel

在要求 JSON 主體中,按照下列方式設定 autoscalingMetricSpecs:

      "autoscalingMetricSpecs": [
        {
          "metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
          "target": TARGET_THRESHOLD,
          "monitoredResourceLabels": {
            "project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
            "subscription_id": "PUBSUB_SUBSCRIPTION_ID"
          }
        }
      ]

將資源調度率降至零 (預先發布版)

「縮減至零」功能可讓您在沒有流量時,自動將模型伺服器部署作業縮減至零個副本,這段期間不會產生費用。

流量到達目標縮減端點時,會收到 429 - Model is not yet ready for inference. Please wait while model completes scale-up from zero, then try your request again 回應,要求會遭到捨棄,並向目標模型伺服器傳送擴充信號。

這樣一來,模型伺服器就會從零擴充至 DedicatedResources.initial_replica_count 欄位中指定的值。預設值為 1。

這項功能適用於下列用途:

  • 部署項目經常長時間沒有流量。
  • 通常在營業時間內接收流量,其他時間則閒置的端點。

啟用和使用

無法在共用公開端點上啟用「將資源調度率降至零」功能。所有其他端點類型都相容。

如要啟用「將資源調度率降至零」,請在 deploy-model 要求的 DedicatedResources 區段中指定 min_replica_count=0 (指定 Vertex Prediction API 的 v1beta1 版本)。

選用參數

在 DedicatedResources 中,您可以指定介於 1 到 max_replica_count (含) 之間的 initial_replica_count 值。

DedicatedResources 也新增了 ScaleToZeroSpec 區段,可設定與「將資源調度率降至零」相關的兩項參數:

  • min_scaleup_period:模型伺服器加入「將資源調度率降至零」評估前的時間長度 (以秒為單位)。即使沒有流量,部署作業也會等到這段時間過後,才會嘗試將資源縮減至零個副本。這樣一來,在初始部署和後續擴充事件期間,系統會先啟用緩衝區值,再根據目標端點檢查流量 (這可能會導致部署縮減)。
    • 預設值:1 小時 (3600 秒)
    • 最小值:5 分鐘 (300 秒)
    • 最大值:8 小時 (28800 秒)。
  • idle_scaledown_period:將目標模型伺服器縮減至零個副本前,沒有流量的持續時間 (以秒為單位)。
    • 預設值:1 小時 (3600 秒)
    • 最小值:5 分鐘 (300 秒)
    • 最大值:8 小時 (28800 秒)。

預期行為

如果向縮減的模型傳送要求,會傳回 429 回應,並附上 Model is not yet ready for inference. Please wait and then try your request again。

請稍後再試。請注意,在這個階段傳送的所有要求都會遭到捨棄。

限制

  • 「將資源調度率降至零」功能僅適用於單一模型部署作業,每個端點只能有一個模型。
  • 「將資源調度率降至零」不支援多主機 GPU 或多主機 TPU 部署作業。不過,單一主機 GPU 或 TPU 部署項目則相容。
  • 共用公開端點無法啟用「將資源調度率降至零」功能,其他端點類型則皆相容。
  • 如果沒有預留項目,從縮減狀態重新擴充時,可能會遇到缺貨情況 (視機型而定)。
  • 如果已部署的模型未收到任何流量,導致資源調度率降至零超過 30 天,就會自動取消部署。

gcloud

如要在使用 gcloud CLI 部署模型時,設定將資源調度率降至零,請使用 gcloud beta ai endpoints deploy-model 指令。

使用任何指令資料之前,請先替換下列項目:

  • ENDPOINT_ID:端點 ID。
  • PROJECT_ID:專案 ID。
  • LOCATION:端點的區域。
  • MODEL_ID:要部署的模型 ID。
  • MACHINE_TYPE:已部署模型的機型 (例如 n1-standard-4)。
  • ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如 NVIDIA_L4)。
  • ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
  • MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
  • MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
gcloud beta ai endpoints deploy-model ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION \
    --model=MODEL_ID \
    --display-name=DEPLOYED_MODEL_DISPLAY_NAME \
    --machine-type=MACHINE_TYPE \
    --accelerator-type=ACCELERATOR_TYPE \
    --accelerator-count=ACCELERATOR_COUNT \
    --min-replica-count=MIN_REPLICA_COUNT \
    --max-replica-count=MAX_REPLICA_COUNT \
    --min-scaleup-period=300s \
    --idle-scaledown-period=300s

REST

如要在使用 REST API 部署模型時,設定將資源調度率降至零,請使用 projects.locations.endpoints.deployModel 方法。

使用任何要求資料之前,請先替換以下項目:

  • ENDPOINT_ID:端點 ID。
  • PROJECT_ID:專案 ID。
  • LOCATION:端點的區域。
  • MODEL_ID:要部署的模型 ID。
  • DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
  • MACHINE_TYPE:已部署模型的機型 (例如 n1-standard-4)。
  • ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如 NVIDIA_L4)。
  • ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
  • MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
  • MAX_REPLICA_COUNT:自動調度資源的副本數量上限。

HTTP 方法和網址:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel

JSON 要求主體:

{
  "deployedModel": {
    "model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACCELERATOR_TYPE",
        "acceleratorCount": ACCELERATOR_COUNT
      },
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT,
      "scale_to_zero_spec": {
          "min_scaleup_period": "300s",
          "idle_scaledown_period": "300s",
      },
    }
  }
}

Python

Python SDK 的「將資源調度率降至零」功能是透過 v1beta1 API 用戶端設定。

執行程式碼前,請先替換下列項目:

  • PROJECT_ID:專案 ID。
  • LOCATION:端點的區域。
  • ENDPOINT_ID:端點 ID。
  • MODEL_ID:要部署的模型 ID。
  • DEPLOYED_MODEL_DISPLAY_NAME:已部署模型的顯示名稱。
  • MACHINE_TYPE:已部署模型的機型 (例如 n1-standard-4)。
  • ACCELERATOR_TYPE:選用。要連接的 GPU 加速器類型 (例如 NVIDIA_L4)。
  • ACCELERATOR_COUNT:選用。要附加至每部機器的加速器數量。
  • MIN_REPLICA_COUNT:自動調度資源的副本數量下限。
  • MAX_REPLICA_COUNT:自動調度資源的副本數量上限。
  • METRIC_NAME:自動調度資源指標的 ID。
  • TARGET_THRESHOLD:指定指標的目標值。
from google.cloud import aiplatform

# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")

# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")

# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")

# Deploy the model to the endpoint
model.deploy(
  endpoint=endpoint,
  machine_type="MACHINE_TYPE",
  accelerator_type="ACCELERATOR_TYPE",
  accelerator_count=ACCELERATOR_COUNT
  min_replica_count=MIN_REPLICA_COUNT,
  max_replica_count=MAX_REPLICA_COUNT,
  autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)

import google.auth.transport.requests
import urllib3

# pip install google-cloud-aiplatform for this dependency
from google.cloud import aiplatform
from google.cloud.aiplatform_v1beta1.services import endpoint_service # For EndpointServiceClient
from google.cloud.aiplatform_v1beta1 import types as aiplatform_v1beta1_types # For message types

PROJECT_NUMBER = "PROJECT_ID"
LOCATION = "LOCATION"
ENDPOINT_DISPLAY_NAME = "stz-sdk-test"
MODEL_ID="MODEL_ID"

# Full resource name of your existing model in Model Registry
# e.g., "projects/your-gcp-project-id/locations/us-central1/models/your-model-id"
MODEL_RESOURCE_NAME = f"projects/{PROJECT_NUMBER}/locations/{LOCATION}/models/{MODEL_ID}"

# Deployment settings
MACHINE_TYPE = "MACHINE_TYPE"
ACCELERATOR_TYPE ="ACCELERATOR_TYPE",
ACCELERATOR_COUNT =ACCELERATOR_COUNT

# Disable InsecureRequestWarning for the requests part as in your snippet
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

# The AI Platform services require regional API endpoints.
client_options = {"api_endpoint": f"{LOCATION}-aiplatform.googleapis.com"}
endpoint_service_client = endpoint_service.EndpointServiceClient(client_options=client_options)

def main():
    aiplatform.init(project=PROJECT_NUMBER, location=LOCATION)
    model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME) # Initialize model object

    try:
        # # --- 1. Create an Endpoint ---
        print(f"\nCreating endpoint '{ENDPOINT_DISPLAY_NAME}'...")
        endpoint = aiplatform.Endpoint.create(
            display_name=ENDPOINT_DISPLAY_NAME,
            project=PROJECT_NUMBER,
            location=LOCATION,
            sync=True, # Wait for creation to complete
            dedicated_endpoint_enabled=True,
        )
        print(f"Endpoint created: {endpoint.resource_name}")
        endpoint_numeric_id = endpoint.name # This is the numeric ID
        print(f"Numeric Endpoint ID for URL: {endpoint_numeric_id}")

        print(f"\nFetching model details for: {MODEL_RESOURCE_NAME}")
        model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME)

        # --- 2. Deploy the Model ---
        print(f"\nDeploying model '{model_to_deploy.resource_name}' to endpoint '{endpoint.display_name}'...")
        deployed_model_config = aiplatform_v1beta1_types.DeployedModel(
            model=model_to_deploy.resource_name,
            dedicated_resources=aiplatform_v1beta1_types.DedicatedResources(
                machine_spec=aiplatform_v1beta1_types.MachineSpec(
                    machine_type=MACHINE_TYPE,
                    accelerator_type=ACCELERATOR_TYPE,
                    accelerator_count=ACCELERATOR_COUNT,
                ),
                initial_replica_count=1,
                min_replica_count=0,
                max_replica_count=1,
                scale_to_zero_spec=aiplatform_v1beta1_types.DedicatedResources.ScaleToZeroSpec(
                    min_scaleup_period=300,
                    idle_scaledown_period=300,
                )
            ),
        )

        deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
            endpoint=endpoint.resource_name,
            deployed_model=deployed_model_config,
        )

        # Alternatively, if you've got an existing endpoint, use:
        # endpoint_path = endpoint_service_client.endpoint_path(
        #     project=PROJECT_NUMBER, location=LOCATION, endpoint={ENDPOINT_ID}
        # )

        # deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
        #     endpoint=endpoint_path,
        #     deployed_model=deployed_model_config,
        # )

        print("\nSending v1beta1 DeployModelRequest...")
        operation = endpoint_service_client.deploy_model(request=deploy_model_request)

        print("Waiting for v1beta1 update deploy model operation to complete (this can take several minutes)...")
        operation.result()
        print("Model deployed successfully.")

    except Exception as e:
        print(f"\nAn error occurred: {e}")

if __name__ == "__main__":
    main()

管理資源用量

您可以監控端點,追蹤 CPU 和加速器用量、要求數量、延遲時間,以及目前和目標副本數量等指標。這項資訊有助於瞭解端點的資源用量和資源調度行為。

請注意,每個副本只會執行一個容器。這表示如果推論容器無法充分使用所選運算資源 (例如多核心機器的單一執行緒程式碼,或呼叫其他服務來進行推論的自訂模型),節點可能不會擴充。

舉例來說,如果您使用 FastAPI 或任何可設定工作站或執行緒數量的模型伺服器,在許多情況下,擁有多個工作站可以提高資源使用率,進而提升服務自動調度資源副本數量的能力。

一般來說,建議您一開始先為每個核心設定一個 worker 或執行緒。如果發現 CPU 使用率偏低 (尤其是在高負載情況下),或模型因 CPU 使用率偏低而未擴充,請增加 worker 數量。另一方面,如果您發現使用率過高,且延遲時間在負載下增加的幅度超出預期,請嘗試減少 worker 數量。如果您已只使用單一 worker,請嘗試使用較小的機器類型。

資源調度行為和延遲

Gemini Enterprise Agent Platform 會根據過去 5 分鐘內的資料,每 15 秒調整一次副本數量。系統會每 15 秒測量一次伺服器使用率,並根據下列公式產生目標副本數量:

target # of replicas = Ceil(current # of replicas * (current utilization / target utilization))

舉例來說,假設您有兩個副本,使用率為 100%,目標為 4:

4 = Ceil(3.33) = Ceil(2 * (100% / 60%))

另一個例子是,假設您有 10 個副本,使用率降至 1%,目標為 1:

1 = Ceil(.167) = Ceil(10 * (1% / 60%))

每 15 秒週期結束時,系統會調整副本數量,以符合前 5 分鐘時間範圍內的最高目標值。請注意,由於系統會選擇最高目標值,因此如果在這 5 分鐘內使用率突然增加,即使整體使用率非常低,端點也不會縮減。另一方面,如果系統需要擴充,則會在 15 秒內完成,因為系統會選擇最高目標值,而非平均值。

請注意,即使 Gemini Enterprise Agent Platform 調整了副本數量,啟動或關閉副本仍需要時間。因此,端點需要額外的延遲時間,才能調整流量。主要因素包括:

  • 佈建及啟動 Compute Engine VM 的時間
  • 從登錄檔下載容器的時間
  • 從儲存空間載入模型所需的時間

如要瞭解模型在實際環境中的擴充行為,最好的方法是執行負載測試,並針對模型和用途的重要特性進行最佳化。如果自動配置器無法快速擴充應用程式,請佈建足夠的 min_replicas,以處理預期的基準流量。

更新資源調度設定

如果您在部署模型時指定 DedicatedResources 或 AutomaticResources,則可呼叫 mutateDeployedModel,在不重新部署模型的情況下更新資源調度設定。

舉例來說,下列要求會更新 max_replica、autoscaling_metric_specs,並停用容器記錄。

{
  "deployedModel": {
    "id": "2464520679043629056",
    "dedicatedResources": {
      "maxReplicaCount": 9,
      "autoscalingMetricSpecs": [
        {
          "metricName": "aiplatform.googleapis.com/prediction/online/cpu/utilization",
          "target": 50
        }
      ]
    },
    "disableContainerLogging": true
  },
  "update_mask": {
    "paths": [
      "dedicated_resources.max_replica_count",
      "dedicated_resources.autoscaling_metric_specs",
      "disable_container_logging"
    ]
  }
}

使用須知:

  • 您無法變更機器類型,也無法從 DedicatedResources 切換至 AutomaticResources,反之亦然。您只能變更下列資源調度設定欄位:min_replica、max_replica、required_replica 和 AutoscalingMetricSpec (僅限 DedicatedResources)。
  • 您必須在 updateMask 中列出所有需要更新的欄位。系統會忽略未列出的欄位。
  • DeployedModel 必須處於 DEPLOYED 狀態。每個已部署的模型最多只能有一個有效的變動作業。
  • mutateDeployedModel 也可讓您啟用或停用容器記錄功能。詳情請參閱「線上推論記錄」。