Annulla il deployment di un modello ed elimina l'endpoint

Utilizza uno dei seguenti metodi per annullare il deployment di un modello ed eliminare l'endpoint.

Come best practice, quando sostituisci un modello su un endpoint dopo aver spostato il traffico su una nuova versione del modello (ad esempio durante i rollout CI/CD automatizzati), attendi almeno 10-15 minuti dopo aver aggiornato la suddivisione del traffico al 100% prima di avviare undeploy-model. Questa finestra di attesa consente il completamento delle richieste di inferenza in volo e garantisce la sincronizzazione completa delle configurazioni di routing regionali prima della deallocazione delle risorse del modello precedente.

Console Google Cloud

  1. Annulla il deployment del modello nel seguente modo:

    1. Nella console Google Cloud , nella sezione Piattaforma dell'agente, vai alla pagina Endpoint.

      Vai alla pagina Endpoint

    2. Fai clic sul nome e sull'ID versione del modello di cui vuoi annullare il deployment per aprire la pagina dei dettagli.

    3. Nella riga relativa al tuo modello, fai clic su Azioni e poi su Annulla il deployment del modello nell'endpoint.

    4. Nella finestra di dialogo Annulla il deployment del modello nell'endpoint, fai clic su Annulla il deployment.

    5. Per eliminare altri modelli, ripeti i passaggi precedenti.

  2. (Facoltativo) Elimina l'endpoint di inferenza online nel seguente modo:

    1. Nella console Google Cloud , nella sezione Gemini Enterprise Agent Platform, vai alla pagina previsione online.

      Vai alla previsione online

    2. Seleziona l'endpoint.

    3. Per eliminare l'endpoint, fai clic su Azioni e poi su Elimina endpoint.

gcloud

  1. Elenca gli ID endpoint per tutti gli endpoint del tuo progetto:

    gcloud ai endpoints list \
    --project=PROJECT_ID \
    --region=LOCATION_ID

    Sostituisci PROJECT_ID con il nome del progetto e LOCATION_ID con la regione in cui utilizzi Gemini Enterprise Agent Platform.

  2. Elenca gli ID modello per i modelli di cui è stato eseguito il deployment su un endpoint:

    gcloud ai endpoints describe ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID

    Sostituisci ENDPOINT_ID con l'ID endpoint.

  3. Annulla il deployment di un modello dall'endpoint:

    gcloud ai endpoints undeploy-model ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID \
    --deployed-model-id=DEPLOYED_MODEL_ID

    Sostituisci DEPLOYED_MODEL_ID con l'ID modello.

  4. (Facoltativo) Elimina l'endpoint di inferenza online:

    gcloud ai endpoints delete ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID