Quando esegui il deployment di un modello per l'inferenza online come DeployedModel, puoi configurare i nodi di inferenza in modo che scalino automaticamente. Per farlo, imposta
dedicatedResources.maxReplicaCount su un
valore maggiore di dedicatedResources.minReplicaCount.
Quando configuri un DeployedModel, devi impostare dedicatedResources.minReplicaCount su almeno 1. In altre parole, non puoi configurare DeployedModel in modo che lo scale down arrivi a 0 nodi di inferenza quando non è utilizzato.
In alternativa, se accetti di utilizzare la funzionalità Scale To Zero (Anteprima), il campo dedicatedResources.minReplicaCount può essere impostato su 0 e il workload scala fino a zero repliche quando non c'è traffico sull'endpoint. Per maggiori dettagli, consulta Scale To Zero.
Per impostazione predefinita, l'operazione di deployment viene considerata riuscita solo se il numero di nodi di inferenza raggiunge dedicatedResources.minReplicaCount prima del valore di timeout della richiesta di deployment. In caso contrario, il deployment viene contrassegnato come non riuscito e le risorse sottostanti vengono rilasciate.
Deployment e mutazione parzialmente riusciti
Puoi modificare il comportamento di deployment predefinito impostando
dedicatedResources.requiredReplicaCount su un valore inferiore a
dedicatedResources.minReplicaCount. In questo caso, quando il numero di nodi di inferenza raggiunge dedicatedResources.requiredReplicaCount, l'operazione di deployment viene contrassegnata come riuscita, anche se non è ancora completata. Il deployment continua fino al raggiungimento di dedicatedResources.minReplicaCount. Se dedicatedResources.minReplicaCount non viene raggiunto prima del tempo di richiesta del deployment, l'operazione ha comunque esito positivo, ma viene restituito un messaggio di errore per le repliche non riuscite in DeployedModel.status.message.
La quota per l'erogazione del modello personalizzato viene prenotata in base al valore dedicatedResources.maxReplicaCount di ogni modello di cui è stato eseguito il deployment nel progetto e nella regione, anziché al numero di repliche attive. La fatturazione si basa sulle repliche attive in esecuzione. Se la somma di maxReplicaCount in tutti i deployment nel progetto e nella regione supera la quota di distribuzione del progetto, il deployment di un nuovo modello o l'aumento di maxReplicaCount non riesce e viene visualizzato un errore di quota.
Gli endpoint vengono scalati verso l'alto e verso il basso per macchina e la quota di gestione viene calcolata per CPU e GPU. Ad esempio, se esegui il deployment di un modello utilizzando il tipo di macchina a2-highgpu-2g (24 vCPU e 2 GPU per replica) con maxReplicaCount impostato su 5, il deployment prenota 120 CPU e 10 GPU rispetto alla quota del progetto, anche se sono attive meno repliche. Per rilasciare la quota prenotata senza annullare il deployment del modello, riduci maxReplicaCount chiamando mutateDeployedModel.
Per saperne di più, consulta Quote e limiti.
I nodi di inferenza per l'inferenza batch non supportano la scalabilità automatica.
Agent Platform utilizza BatchDedicatedResources.startingReplicaCount e ignora BatchDedicatedResources.maxReplicaCount.
Utilizzo e configurazione target
Per impostazione predefinita, se esegui il deployment di un modello senza risorse GPU dedicate, Gemini Enterprise Agent Platform aumenta o riduce automaticamente il numero di repliche in modo che l'utilizzo della CPU corrisponda al valore target predefinito del 60%.
Per impostazione predefinita, se esegui il deployment di un modello con risorse GPU dedicate (se
machineSpec.accelerator_count
è maggiore di 0), Gemini Enterprise Agent Platform aumenterà o diminuirà automaticamente il numero di repliche in modo che l'utilizzo della CPU o della GPU, a seconda di quale sia il valore più alto, corrisponda al valore target predefinito del 60%. Pertanto, se il throughput di inferenza causa un utilizzo elevato della GPU, ma non della CPU, Agent Platform eseguirà lo scale up e l'utilizzo della CPU sarà molto basso, il che sarà visibile nel monitoraggio. Al contrario, se il container personalizzato sottoutilizza la GPU, ma ha un processo non correlato che aumenta l'utilizzo della CPU oltre il 60%, Agent Platform eseguirà lo scale up, anche se potrebbe non essere necessario per raggiungere i target di QPS e latenza.
Puoi eseguire l'override della metrica e del target di soglia predefiniti specificando
autoscalingMetricSpecs.
Tieni presente che se il deployment è configurato per la scalabilità solo in base all'utilizzo della CPU, non verrà eseguito lo scale up anche se l'utilizzo della GPU è elevato.
Sono supportate le seguenti metriche di scalabilità automatica:
- Utilizzo CPU (
aiplatform.googleapis.com/prediction/online/cpu/utilization): scala in base all'utilizzo della CPU. L'unità è l'utilizzo della CPU per replica. Il valore target è una percentuale (0-100). Il valore target predefinito è 60%. - Utilizzo GPU (
aiplatform.googleapis.com/prediction/online/accelerator/duty_cycle): scala in base all'utilizzo della GPU. L'unità è l'utilizzo della GPU per replica. Il valore target è una percentuale (0-100). Il valore target predefinito è 60%. - Utilizzo GPU DCGM (anteprima)(
prometheus.googleapis.com/vertex_dcgm_fi_dev_gpu_util): scala in base alle metriche DCGM per l'utilizzo della GPU. L'unità è l'utilizzo della GPU per replica. Il valore target è una percentuale (0-100). Questa metrica è disattivata per impostazione predefinita. - Percentuale di utilizzo della cache KV della GPU vLLM (anteprima)(
prometheus.googleapis.com/vertex_vllm_gpu_cache_usage_perc): scala in base alle metriche vLLM per la percentuale di utilizzo della cache KV della GPU. L'unità è la percentuale di utilizzo della cache KV della GPU per replica. Il valore target è una percentuale (0-100). Questa metrica è disattivata per impostazione predefinita. - Numero di richieste vLLM in attesa (anteprima)(
prometheus.googleapis.com/vertex_vllm_num_requests_waiting): scala in base alle metriche vLLM per il numero di richieste in attesa. L'unità è il numero di richieste in attesa per replica. Il valore target è un numero intero. Questa metrica è disattivata per impostazione predefinita. - Numero di richieste (
aiplatform.googleapis.com/prediction/online/request_count): scala in base al numero di richieste. L'unità è costituita dalle richieste al minuto per replica. Il valore target è un numero intero. Questa metrica è disattivata per impostazione predefinita. - Dimensioni della coda Pub/Sub (anteprima, solo API
v1beta1; nessun supporto di Google Cloud CLI) (pubsub.googleapis.com/subscription/num_undelivered_messages): scala in base al numero di messaggi non recapitati di una sottoscrizione Pub/Sub. L'unità di misura è il numero di messaggi non recapitati per replica. Il valore target è un numero intero. Questa metrica è disattivata per impostazione predefinita.
Quando configuri la scalabilità automatica, utilizza METRIC_NAME per l'identificatore della metrica e TARGET_THRESHOLD per il valore target. Specifica l'identificatore esatto della metrica mostrato nell'elenco precedente. Altre metriche esportate in Cloud Monitoring non sono supportate come target di scalabilità automatica. Per le metriche prometheus.googleapis.com/*, ometti il suffisso del tipo di metrica /gauge che appare in Monitoring (ad esempio, specifica prometheus.googleapis.com/vertex_vllm_num_requests_waiting, non prometheus.googleapis.com/vertex_vllm_num_requests_waiting/gauge).
Configura la scalabilità automatica durante il deployment
Per configurare la scalabilità automatica durante il deployment di un modello, utilizza una delle seguenti interfacce:
gcloud
Per configurare la scalabilità automatica durante il deployment di un modello utilizzando gcloud CLI, utilizza il comando gcloud ai endpoints deploy-model.
Tieni presente che per Google Cloud CLI, la parola chiave della metrica è leggermente diversa. Utilizza quanto segue:
- cpu-usage
- gpu-duty-cycle
- dcgm-fi-dev-gpu-util
- vllm-gpu-cache-usage-perc
- vllm-num-requests-waiting
- request-counts-per-minute
Prima di utilizzare i dati dei comandi, effettua le seguenti sostituzioni:
- ENDPOINT_ID: l'ID dell'endpoint.
- PROJECT_ID: l'ID progetto.
- LOCATION: la regione dell'endpoint.
- MODEL_ID: l'ID del modello di cui eseguire il deployment.
- MACHINE_TYPE: il tipo di macchina per il modello di cui è stato eseguito il deployment (ad esempio
n1-standard-4). - ACCELERATOR_TYPE: facoltativo. Il tipo di acceleratore GPU da collegare (ad es.
NVIDIA_L4). - ACCELERATOR_COUNT: facoltativo. Il numero di acceleratori da collegare a ogni macchina.
- MIN_REPLICA_COUNT: il numero minimo di repliche per la scalabilità automatica.
- MAX_REPLICA_COUNT: il numero massimo di repliche per la scalabilità automatica.
- METRIC_NAME: l'identificatore della metrica di scalabilità automatica.
- TARGET_THRESHOLD: il valore target per la metrica specificata.
gcloud ai endpoints deploy-model ENDPOINT_ID \
--project=PROJECT_ID \
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_DISPLAY_NAME \
--machine-type=MACHINE_TYPE \
--accelerator-type=ACCELERATOR_TYPE \
--accelerator-count=ACCELERATOR_COUNT \
--min-replica-count=MIN_REPLICA_COUNT \
--max-replica-count=MAX_REPLICA_COUNT \
--autoscaling-metric-specs=METRIC_NAME=TARGET_THRESHOLD
REST
Per configurare la scalabilità automatica durante il deployment di un modello utilizzando l'API REST, utilizza il metodo projects.locations.endpoints.deployModel.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- ENDPOINT_ID: l'ID dell'endpoint.
- PROJECT_ID: l'ID progetto.
- LOCATION: la regione dell'endpoint.
- MODEL_ID: l'ID del modello di cui eseguire il deployment.
- DEPLOYED_MODEL_DISPLAY_NAME: un nome visualizzato per il modello di cui è stato eseguito il deployment.
- MACHINE_TYPE: il tipo di macchina per il modello di cui è stato eseguito il deployment (ad esempio
n1-standard-4). - ACCELERATOR_TYPE: facoltativo. Il tipo di acceleratore GPU da collegare (ad es.
NVIDIA_L4). - ACCELERATOR_COUNT: facoltativo. Il numero di acceleratori da collegare a ogni macchina.
- MIN_REPLICA_COUNT: il numero minimo di repliche per la scalabilità automatica.
- MAX_REPLICA_COUNT: il numero massimo di repliche per la scalabilità automatica.
- METRIC_NAME: l'identificatore della metrica di scalabilità automatica.
- TARGET_THRESHOLD: il valore target per la metrica specificata.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
Corpo JSON della richiesta:
{
"deployedModel": {
"model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
"displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
"dedicatedResources": {
"machineSpec": {
"machineType": "MACHINE_TYPE",
"acceleratorType": "ACCELERATOR_TYPE",
"acceleratorCount": ACCELERATOR_COUNT
},
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"autoscalingMetricSpecs": [
{
"metricName": "METRIC_NAME",
"target": TARGET_THRESHOLD
}
]
}
}
}
Per la scalabilità automatica delle dimensioni della coda Pub/Sub (anteprima), utilizza il metodo v1beta1 projects.locations.endpoints.deployModel, perché monitoredResourceLabels è supportato solo nell'API v1beta1. Apporta le seguenti sostituzioni aggiuntive:
- PUBSUB_SUBSCRIPTION_PROJECT_ID: l'ID progetto della sottoscrizione Pub/Sub.
- PUBSUB_SUBSCRIPTION_ID: l'ID della sottoscrizione Pub/Sub. Questo campo ha una lunghezza massima di 63 caratteri.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
Nel corpo JSON della richiesta, configura autoscalingMetricSpecs come segue:
"autoscalingMetricSpecs": [
{
"metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
"target": TARGET_THRESHOLD,
"monitoredResourceLabels": {
"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
"subscription_id": "PUBSUB_SUBSCRIPTION_ID"
}
}
]
Python
La scalabilità automatica dell'SDK Python viene configurata tramite i nomi dei parametri nella chiamata di funzione deploy(). Il comando di esempio utilizza la scalabilità automatica basata sulla contemporaneità come esempio. I parametri di scalabilità automatica configurabili sono:
- autoscaling_target_cpu_utilization
- autoscaling_target_accelerator_duty_cycle
- autoscaling_target_dcgm_fi_dev_gpu_util
- autoscaling_target_vllm_gpu_cache_usage_perc
- autoscaling_target_vllm_num_requests_waiting
- autoscaling_target_request_count_per_minute
Per configurare la scalabilità automatica durante il deployment di un modello utilizzando l'SDK Agent Platform per Python:
Prima di eseguire il codice, apporta le seguenti sostituzioni:
- PROJECT_ID: l'ID progetto.
- LOCATION: la regione dell'endpoint.
- ENDPOINT_ID: l'ID dell'endpoint.
- MODEL_ID: l'ID del modello di cui eseguire il deployment.
- DEPLOYED_MODEL_DISPLAY_NAME: un nome visualizzato per il modello di cui è stato eseguito il deployment.
- MACHINE_TYPE: il tipo di macchina per il modello di cui è stato eseguito il deployment (ad esempio
n1-standard-4). - ACCELERATOR_TYPE: facoltativo. Il tipo di acceleratore GPU da collegare (ad es.
NVIDIA_L4). - ACCELERATOR_COUNT: facoltativo. Il numero di acceleratori da collegare a ogni macchina.
- MIN_REPLICA_COUNT: il numero minimo di repliche per la scalabilità automatica.
- MAX_REPLICA_COUNT: il numero massimo di repliche per la scalabilità automatica.
- METRIC_NAME: l'identificatore della metrica di scalabilità automatica.
- TARGET_THRESHOLD: il valore target per la metrica specificata.
from google.cloud import aiplatform
# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")
# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")
# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")
# Deploy the model to the endpoint
model.deploy(
endpoint=endpoint,
machine_type="MACHINE_TYPE",
accelerator_type="ACCELERATOR_TYPE",
accelerator_count=ACCELERATOR_COUNT,
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)
Per la scalabilità automatica basata sulle metriche delle dimensioni della coda Pub/Sub (anteprima, è supportato solo aiplatform_v1beta1), sono necessarie ulteriori informazioni sulla sottoscrizione Pub/Sub:
- PUBSUB_SUBSCRIPTION_PROJECT_ID: l'ID progetto della sottoscrizione Pub/Sub.
- PUBSUB_SUBSCRIPTION_ID: l'ID della sottoscrizione Pub/Sub.
from google.cloud import aiplatform_v1beta1 as aiplatform
from google.api_core.client_options import ClientOptions
# Initialize the EndpointServiceClient
client_options = ClientOptions(api_endpoint="LOCATION-aiplatform.googleapis.com")
client = aiplatform.EndpointServiceClient(client_options=client_options)
# Specify the location
location = "projects/PROJECT_NUMBER/locations/LOCATION"
model_name = "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID"
autoscaling_metric_specs = [
{"metric_name": "pubsub.googleapis.com/subscription/num_undelivered_messages", "target": TARGET_THRESHOLD, "monitored_resource_labels":{"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID","subscription_id": "PUBSUB_SUBSCRIPTION_ID"}}
]
deployed_model = aiplatform.DeployedModel(
model=model_name,
display_name="DEPLOYED_MODEL_DISPLAY_NAME",
dedicated_resources=aiplatform.DedicatedResources(
machine_spec=aiplatform.MachineSpec(
machine_type="MACHINE_TYPE"
),
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_metric_specs=autoscaling_metric_specs
)
)
deploy_request = aiplatform.DeployModelRequest(
deployed_model=deployed_model,
endpoint="projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
traffic_split={"0": 100}
)
deploy_operation = client.deploy_model(deploy_request)
print("Long-running operation initiated to deploy model.")
deploy_operation.result()
print("Model deployed to endpoint.")
Aggiorna la configurazione della scalabilità automatica
Per aggiornare una configurazione di scalabilità automatica esistente, utilizza una delle seguenti interfacce:
REST
Per aggiornare la configurazione della scalabilità automatica di un modello di cui è stato eseguito il deployment utilizzando l'API REST, utilizza il metodo projects.locations.endpoints.mutateDeployedModel.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- ENDPOINT_ID: l'ID dell'endpoint.
- PROJECT_ID: l'ID progetto.
- LOCATION: la regione dell'endpoint.
- DEPLOYED_MODEL_ID: l'ID del modello di cui è stato eseguito il deployment da aggiornare.
- MIN_REPLICA_COUNT: il nuovo numero minimo di repliche per la scalabilità automatica.
- MAX_REPLICA_COUNT: il nuovo numero massimo di repliche per la scalabilità automatica.
- METRIC_NAME: l'identificatore della metrica di scalabilità automatica.
- TARGET_THRESHOLD: il valore target per la metrica specificata.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel
Corpo JSON della richiesta:
{
"deployedModel": {
"id": "DEPLOYED_MODEL_ID",
"dedicatedResources": {
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"autoscalingMetricSpecs": [
{
"metricName": "METRIC_NAME",
"target": TARGET_THRESHOLD
}
]
}
},
"updateMask": {
"paths": [
"dedicated_resources.min_replica_count",
"dedicated_resources.max_replica_count",
"dedicated_resources.autoscaling_metric_specs"
]
}
}
Per la scalabilità automatica delle dimensioni della coda Pub/Sub (anteprima), utilizza il metodo v1beta1 projects.locations.endpoints.mutateDeployedModel, perché monitoredResourceLabels è supportato solo nell'API v1beta1. Apporta le seguenti sostituzioni aggiuntive:
- PUBSUB_SUBSCRIPTION_PROJECT_ID: l'ID progetto della sottoscrizione Pub/Sub.
- PUBSUB_SUBSCRIPTION_ID: l'ID della sottoscrizione Pub/Sub. Questo campo ha una lunghezza massima di 63 caratteri.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:mutateDeployedModel
Nel corpo JSON della richiesta, configura autoscalingMetricSpecs come segue:
"autoscalingMetricSpecs": [
{
"metricName": "pubsub.googleapis.com/subscription/num_undelivered_messages",
"target": TARGET_THRESHOLD,
"monitoredResourceLabels": {
"project_id": "PUBSUB_SUBSCRIPTION_PROJECT_ID",
"subscription_id": "PUBSUB_SUBSCRIPTION_ID"
}
}
]
Scalabilità fino a zero (anteprima)
La funzionalità di scalabilità fino a zero consente di scalare automaticamente i deployment del server di modelli fino a zero repliche in assenza di traffico, evitando così la fatturazione durante questo periodo.
Quando il traffico raggiunge l'endpoint di destinazione con scale down, viene ricevuta una risposta 429 - Model is not yet
ready for inference. Please wait while model completes scale-up from zero, then
try your request again, la richiesta viene ignorata e viene inviato un segnale di scale up al server di modelli di destinazione.
In questo modo, il server di modelli esegue lo scale up da zero al valore specificato nel campo DedicatedResources.initial_replica_count. Il valore predefinito è 1.
Questa funzionalità è progettata per i seguenti casi d'uso:
- Deployment con lunghi periodi di assenza di traffico su base regolare.
- Endpoint che in genere ricevono traffico durante l'orario di apertura e sono inattivi in altri momenti.
Attivazione e utilizzo
La funzionalità di scalabilità fino a zero non può essere attivata sugli endpoint pubblici condivisi. Tutti gli altri tipi di endpoint sono compatibili.
Per abilitare lo scale to zero, specifica min_replica_count=0 nella sezione DedicatedResources della richiesta deploy-model (che ha come target la versione v1beta1 dell'API Vertex Prediction).
Parametri facoltativi
In DedicatedResources, puoi specificare un valore initial_replica_count compreso tra 1 e max_replica_count (incluso).
È stata inoltre aggiunta una nuova sezione ScaleToZeroSpec a DedicatedResources, che consente di configurare due parametri relativi alla scalabilità a zero:
min_scaleup_period: durata (in secondi) prima che un server di modelli venga registrato nella valutazione di scalabilità a zero. Il deployment non tenterà di fare lo scale down fino a zero repliche finché non sarà trascorso questo periodo di tempo, anche se non c'è traffico. In questo modo, viene fornito un valore di buffer durante il deployment iniziale e i successivi eventi di scale up prima che il traffico venga confrontato con l'endpoint di destinazione (il che potrebbe comportare lo scale down del deployment).- Valore predefinito: 1 ora (3600 s)
- Valore minimo: 5 minuti (300 s)
- Valore massimo: 8 ore (28.800 s).
idle_scaledown_period: durata (in secondi) dell'assenza di traffico prima di fare lo scale down del server di modelli di destinazione a zero repliche.- Valore predefinito: 1 ora (3600 s)
- Valore minimo: 5 minuti (300 s)
- Valore massimo: 8 ore (28.800 s).
Comportamenti previsti
Una richiesta inviata a un modello sottoposto a scale down restituirà una risposta 429 con Model is
not yet ready for inference. Please wait and then try your request again.
Attendi e riprova a inviare la richiesta. Tieni presente che tutte le richieste inviate in questa fase verranno ignorate.
Limitazioni
- La scalabilità a zero è compatibile solo con deployment di un singolo modello ed è limitata a un modello per endpoint.
- La scalabilità fino a zero non supporta i deployment GPU multi-host o TPU multi-host. Tuttavia, i deployment di GPU o TPU a host singolo sono compatibili.
- La scalabilità fino a zero non può essere attivata sugli endpoint pubblici condivisi, mentre tutti gli altri tipi di endpoint sono compatibili.
- Senza prenotazioni, è possibile che si verifichino esaurimenti delle scorte quando si esegue lo scale up da uno stato di scale down (a seconda del tipo di macchina).
Verrà annullato il deployment dei modelli di cui è stato eseguito il deployment e che sono stati scalati a zero per più di 30 giorni (a causa dell'assenza di traffico).
gcloud
Per configurare la scalabilità fino a zero durante il deployment di un modello utilizzando gcloud CLI, utilizza il comando gcloud beta ai endpoints deploy-model.
Prima di utilizzare i dati dei comandi, effettua le seguenti sostituzioni:
- ENDPOINT_ID: l'ID dell'endpoint.
- PROJECT_ID: l'ID progetto.
- LOCATION: la regione dell'endpoint.
- MODEL_ID: l'ID del modello di cui eseguire il deployment.
- MACHINE_TYPE: il tipo di macchina per il modello di cui è stato eseguito il deployment (ad esempio
n1-standard-4). - ACCELERATOR_TYPE: facoltativo. Il tipo di acceleratore GPU da collegare (ad es.
NVIDIA_L4). - ACCELERATOR_COUNT: facoltativo. Il numero di acceleratori da collegare a ogni macchina.
- MIN_REPLICA_COUNT: il numero minimo di repliche per la scalabilità automatica.
- MAX_REPLICA_COUNT: il numero massimo di repliche per la scalabilità automatica.
gcloud beta ai endpoints deploy-model ENDPOINT_ID \
--project=PROJECT_ID \
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_DISPLAY_NAME \
--machine-type=MACHINE_TYPE \
--accelerator-type=ACCELERATOR_TYPE \
--accelerator-count=ACCELERATOR_COUNT \
--min-replica-count=MIN_REPLICA_COUNT \
--max-replica-count=MAX_REPLICA_COUNT \
--min-scaleup-period=300s \
--idle-scaledown-period=300s
REST
Per configurare la scalabilità fino a zero durante il deployment di un modello utilizzando l'API REST, utilizza il metodo projects.locations.endpoints.deployModel.
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- ENDPOINT_ID: l'ID dell'endpoint.
- PROJECT_ID: l'ID progetto.
- LOCATION: la regione dell'endpoint.
- MODEL_ID: l'ID del modello di cui eseguire il deployment.
- DEPLOYED_MODEL_DISPLAY_NAME: un nome visualizzato per il modello di cui è stato eseguito il deployment.
- MACHINE_TYPE: il tipo di macchina per il modello di cui è stato eseguito il deployment (ad esempio
n1-standard-4). - ACCELERATOR_TYPE: facoltativo. Il tipo di acceleratore GPU da collegare (ad es.
NVIDIA_L4). - ACCELERATOR_COUNT: facoltativo. Il numero di acceleratori da collegare a ogni macchina.
- MIN_REPLICA_COUNT: il numero minimo di repliche per la scalabilità automatica.
- MAX_REPLICA_COUNT: il numero massimo di repliche per la scalabilità automatica.
Metodo HTTP e URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel
Corpo JSON della richiesta:
{
"deployedModel": {
"model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
"displayName": "DEPLOYED_MODEL_DISPLAY_NAME",
"dedicatedResources": {
"machineSpec": {
"machineType": "MACHINE_TYPE",
"acceleratorType": "ACCELERATOR_TYPE",
"acceleratorCount": ACCELERATOR_COUNT
},
"minReplicaCount": MIN_REPLICA_COUNT,
"maxReplicaCount": MAX_REPLICA_COUNT,
"scale_to_zero_spec": {
"min_scaleup_period": "300s",
"idle_scaledown_period": "300s",
},
}
}
}
Python
La scalabilità fino a zero dell'SDK Python viene configurata tramite il client API v1beta1.
Prima di eseguire il codice, apporta le seguenti sostituzioni:
- PROJECT_ID: l'ID progetto.
- LOCATION: la regione dell'endpoint.
- ENDPOINT_ID: l'ID dell'endpoint.
- MODEL_ID: l'ID del modello di cui eseguire il deployment.
- DEPLOYED_MODEL_DISPLAY_NAME: un nome visualizzato per il modello di cui è stato eseguito il deployment.
- MACHINE_TYPE: il tipo di macchina per il modello di cui è stato eseguito il deployment (ad esempio
n1-standard-4). - ACCELERATOR_TYPE: facoltativo. Il tipo di acceleratore GPU da collegare (ad es.
NVIDIA_L4). - ACCELERATOR_COUNT: facoltativo. Il numero di acceleratori da collegare a ogni macchina.
- MIN_REPLICA_COUNT: il numero minimo di repliche per la scalabilità automatica.
- MAX_REPLICA_COUNT: il numero massimo di repliche per la scalabilità automatica.
- METRIC_NAME: l'identificatore della metrica di scalabilità automatica.
- TARGET_THRESHOLD: il valore target per la metrica specificata.
from google.cloud import aiplatform
# Initialize Agent Platform
aiplatform.init(project="PROJECT_ID", location="LOCATION")
# Get the model from Model Registry
model = aiplatform.Model("MODEL_ID")
# Get the endpoint
endpoint = aiplatform.Endpoint("ENDPOINT_ID")
# Deploy the model to the endpoint
model.deploy(
endpoint=endpoint,
machine_type="MACHINE_TYPE",
accelerator_type="ACCELERATOR_TYPE",
accelerator_count=ACCELERATOR_COUNT
min_replica_count=MIN_REPLICA_COUNT,
max_replica_count=MAX_REPLICA_COUNT,
autoscaling_target_request_count_per_minute=TARGET_THRESHOLD,
)
import google.auth.transport.requests
import urllib3
# pip install google-cloud-aiplatform for this dependency
from google.cloud import aiplatform
from google.cloud.aiplatform_v1beta1.services import endpoint_service # For EndpointServiceClient
from google.cloud.aiplatform_v1beta1 import types as aiplatform_v1beta1_types # For message types
PROJECT_NUMBER = "PROJECT_ID"
LOCATION = "LOCATION"
ENDPOINT_DISPLAY_NAME = "stz-sdk-test"
MODEL_ID="MODEL_ID"
# Full resource name of your existing model in Model Registry
# e.g., "projects/your-gcp-project-id/locations/us-central1/models/your-model-id"
MODEL_RESOURCE_NAME = f"projects/{PROJECT_NUMBER}/locations/{LOCATION}/models/{MODEL_ID}"
# Deployment settings
MACHINE_TYPE = "MACHINE_TYPE"
ACCELERATOR_TYPE ="ACCELERATOR_TYPE",
ACCELERATOR_COUNT =ACCELERATOR_COUNT
# Disable InsecureRequestWarning for the requests part as in your snippet
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
# The AI Platform services require regional API endpoints.
client_options = {"api_endpoint": f"{LOCATION}-aiplatform.googleapis.com"}
endpoint_service_client = endpoint_service.EndpointServiceClient(client_options=client_options)
def main():
aiplatform.init(project=PROJECT_NUMBER, location=LOCATION)
model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME) # Initialize model object
try:
# # --- 1. Create an Endpoint ---
print(f"\nCreating endpoint '{ENDPOINT_DISPLAY_NAME}'...")
endpoint = aiplatform.Endpoint.create(
display_name=ENDPOINT_DISPLAY_NAME,
project=PROJECT_NUMBER,
location=LOCATION,
sync=True, # Wait for creation to complete
dedicated_endpoint_enabled=True,
)
print(f"Endpoint created: {endpoint.resource_name}")
endpoint_numeric_id = endpoint.name # This is the numeric ID
print(f"Numeric Endpoint ID for URL: {endpoint_numeric_id}")
print(f"\nFetching model details for: {MODEL_RESOURCE_NAME}")
model_to_deploy = aiplatform.Model(model_name=MODEL_RESOURCE_NAME)
# --- 2. Deploy the Model ---
print(f"\nDeploying model '{model_to_deploy.resource_name}' to endpoint '{endpoint.display_name}'...")
deployed_model_config = aiplatform_v1beta1_types.DeployedModel(
model=model_to_deploy.resource_name,
dedicated_resources=aiplatform_v1beta1_types.DedicatedResources(
machine_spec=aiplatform_v1beta1_types.MachineSpec(
machine_type=MACHINE_TYPE,
accelerator_type=ACCELERATOR_TYPE,
accelerator_count=ACCELERATOR_COUNT,
),
initial_replica_count=1,
min_replica_count=0,
max_replica_count=1,
scale_to_zero_spec=aiplatform_v1beta1_types.DedicatedResources.ScaleToZeroSpec(
min_scaleup_period=300,
idle_scaledown_period=300,
)
),
)
deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
endpoint=endpoint.resource_name,
deployed_model=deployed_model_config,
)
# Alternatively, if you've got an existing endpoint, use:
# endpoint_path = endpoint_service_client.endpoint_path(
# project=PROJECT_NUMBER, location=LOCATION, endpoint={ENDPOINT_ID}
# )
# deploy_model_request = aiplatform_v1beta1_types.DeployModelRequest(
# endpoint=endpoint_path,
# deployed_model=deployed_model_config,
# )
print("\nSending v1beta1 DeployModelRequest...")
operation = endpoint_service_client.deploy_model(request=deploy_model_request)
print("Waiting for v1beta1 update deploy model operation to complete (this can take several minutes)...")
operation.result()
print("Model deployed successfully.")
except Exception as e:
print(f"\nAn error occurred: {e}")
if __name__ == "__main__":
main()
Gestisci l'utilizzo delle risorse
Puoi monitorare l'endpoint per monitorare metriche come l'utilizzo della CPU e dell'acceleratore, il numero di richieste, la latenza e il numero attuale e target di repliche. Queste informazioni possono aiutarti a comprendere l'utilizzo delle risorse e il comportamento di scalabilità dell'endpoint.
Tieni presente che ogni replica esegue un solo container. Ciò significa che se un container di inferenza non può utilizzare completamente la risorsa di computing selezionata, ad esempio un codice single-thread per una macchina multi-core o un modello personalizzato che chiama un altro servizio nell'ambito dell'inferenza, i nodi potrebbero non fare lo scale up.
Ad esempio, se utilizzi FastAPI o un server di modelli con un numero configurabile di worker o thread, in molti casi avere più di un worker può aumentare l'utilizzo delle risorse, il che migliora la capacità del servizio di scalare automaticamente il numero di repliche.
In genere, consigliamo di iniziare con un worker o un thread per core. Se noti che l'utilizzo della CPU è basso, soprattutto in condizioni di carico elevato, o se il tuo modello non esegue lo scale up perché l'utilizzo della CPU è basso, aumenta il numero di worker. Se invece noti che l'utilizzo è troppo elevato e le latenze aumentano più del previsto sotto carico, prova a utilizzare meno worker. Se utilizzi già un solo worker, prova a utilizzare un tipo di macchina più piccolo.
Comportamento di scalabilità e ritardo
Gemini Enterprise Agent Platform regola il numero di repliche ogni 15 secondi utilizzando i dati della finestra di 5 minuti precedente. Per ogni ciclo di 15 secondi, il sistema misura l'utilizzo del server e genera un numero target di repliche in base alla seguente formula:
target # of replicas = Ceil(current # of replicas * (current utilization / target utilization))
Ad esempio, se hai due repliche utilizzate al 100%, il target è 4:
4 = Ceil(3.33) = Ceil(2 * (100% / 60%))
Un altro esempio: se hai 10 repliche e l'utilizzo scende all'1%, il target è 1:
1 = Ceil(.167) = Ceil(10 * (1% / 60%))
Al termine di ogni ciclo di 15 secondi, il sistema regola il numero di repliche in modo che corrisponda al valore target più alto della finestra di 5 minuti precedente. Tieni presente che, poiché viene scelto il valore target più alto, l'endpoint non eseguirà fare lo scale down se si verifica un aumento improvviso dell'utilizzo durante la finestra di 5 minuti, anche se l'utilizzo complessivo è molto basso. D'altra parte, se il sistema deve essere scalato verso l'alto, lo farà entro 15 secondi, perché viene scelto il valore target più alto anziché la media.
Tieni presente che, anche dopo che Gemini Enterprise Agent Platform ha modificato il numero di repliche, l'avvio o l'arresto delle repliche richiede tempo. Pertanto, si verifica un ritardo aggiuntivo prima che l'endpoint possa adattarsi al traffico. I fattori principali che contribuiscono a questo tempo includono:
- Il tempo necessario per eseguire il provisioning e avviare le VM di Compute Engine
- Il tempo necessario per scaricare il container dal registry
- Il tempo necessario per caricare il modello dallo spazio di archiviazione
Il modo migliore per comprendere il comportamento di scalabilità reale del tuo modello è eseguire un test di carico e ottimizzare le caratteristiche importanti per il tuo modello e il tuo caso d'uso. Se il gestore della scalabilità automatica non esegue lo scale up abbastanza rapidamente per la tua applicazione, esegui il provisioning di un numero sufficiente di min_replicas per gestire il traffico di base previsto.
Aggiorna la configurazione di scalabilità
Se hai specificato DedicatedResources o AutomaticResources quando hai eseguito il deployment del modello, puoi aggiornare la configurazione di scalabilità senza eseguire nuovamente il deployment del modello chiamando mutateDeployedModel.
Ad esempio, la seguente richiesta aggiorna max_replica,
autoscaling_metric_specs e disattiva il logging dei container.
{
"deployedModel": {
"id": "2464520679043629056",
"dedicatedResources": {
"maxReplicaCount": 9,
"autoscalingMetricSpecs": [
{
"metricName": "aiplatform.googleapis.com/prediction/online/cpu/utilization",
"target": 50
}
]
},
"disableContainerLogging": true
},
"update_mask": {
"paths": [
"dedicated_resources.max_replica_count",
"dedicated_resources.autoscaling_metric_specs",
"disable_container_logging"
]
}
}
Note sull'utilizzo:
- Non puoi modificare il tipo di macchina o passare da
DedicatedResourcesaAutomaticResourceso viceversa. Gli unici campi di configurazione della scalabilità che puoi modificare sono:min_replica,max_replica,required_replicaeAutoscalingMetricSpec(soloDedicatedResources). - Devi elencare tutti i campi che devi aggiornare in
updateMask. I campi non elencati vengono ignorati. - DeployedModel deve essere in stato
DEPLOYED. Può esserci al massimo un'operazione di mutazione attiva per modello di cui è stato eseguito il deployment. mutateDeployedModelconsente anche di attivare o disattivare il logging dei container. Per saperne di più, consulta Logging delle inferenze online.