Gestisci le VM spot TPU

Le VM spot rendono disponibile la capacità inutilizzata a tariffe scontate. Le VM spot possono essere prerilasciate (spente) in qualsiasi momento, ma a differenza delle TPU prerilasciabili, non esiste un limite alla durata di esecuzione. Non puoi riavviare le VM spot TPU e devi ricrearle dopo il prerilascio. Per maggiori informazioni sulle VM spot in generale, consulta la documentazione di Compute Engine sulle VM spot.

Crea VM Spot TPU

Puoi creare VM spot TPU utilizzando le risorse in coda, che aggiungono la tua richiesta di creazione a una coda e ti consentono di ricevere la capacità una volta che diventa disponibile. La creazione di TPU come risorse in coda è una best practice. Per ulteriori informazioni, consulta la Guida dell'utente delle risorse in coda.

L'esempio seguente mostra come creare VM spot TPU utilizzando risorse in coda:

gcloud

Aggiungi il flag --spot al comando gcloud compute tpus queued-resources:

gcloud compute tpus queued-resources create QUEUED_RESOURCE_ID \
    --node-id=NODE_ID \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --runtime-version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

Aggiungi spot: {} al corpo della richiesta:

curl -X POST https://tpu.googleapis.com/v2alpha1/projects/PROJECT_ID/locations/europe-west4-a/queuedResources?queued_resource_id=QUEUED_RESOURCE_ID \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        tpu: {
        node_spec: {
            parent: "projects/PROJECT_ID/locations/europe-west4-a",
            node_id: "NODE_ID",
            node: {
            accelerator_type: "v3-8",
            runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt"
            }
        }
        },
        spot: {}
    }'

Console

  1. Nella console Google Cloud , vai alla pagina TPU:

    Vai a TPU

  2. Fai clic su Crea TPU.

  3. Nel campo Nome, inserisci un nome per la TPU.

  4. Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.

  5. Nella casella Tipo di TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratore supportati per ogni versione di TPU, consulta Versioni di TPU.

  6. Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione del software TPU specifica la versione del runtime TPU da installare. Per maggiori informazioni, vedi Versioni software delle TPU.

  7. Fai clic sul pulsante di attivazione/disattivazione Attiva la messa in coda.

  8. Nel campo Nome risorsa in coda, inserisci un nome per la richiesta di risorsa in coda.

  9. Espandi la sezione Gestione.

  10. Seleziona la casella di controllo Crea una VM spot TPU.

  11. Fai clic su Crea.

Puoi anche creare VM spot TPU senza utilizzare risorse in coda:

gcloud

Aggiungi il flag --spot al comando gcloud compute tpus tpu-vm:

gcloud compute tpus tpu-vm create TPU_NAME \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.17.1-pod-pjrt \
    --spot

curl

Aggiungi scheduling_config: {spot: true} al corpo della richiesta:

curl -X POST https://tpu.googleapis.com/v2/projects/PROJECT_ID/locations/europe-west4-a/nodes?node_id=TPU_NAME \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
        accelerator_type: "v3-8",
        runtime_version: "tpu-vm-tf-2.17.1-pod-pjrt",
        network_config: {enable_external_ips: true},
        scheduling_config: {spot: true}
    }'

Console

  1. Nella console Google Cloud , vai alla pagina TPU:

    Vai a TPU

  2. Fai clic su Crea TPU.

  3. Nel campo Nome, inserisci un nome per la TPU.

  4. Nella casella Zona, seleziona la zona in cui vuoi creare la TPU.

  5. Nella casella Tipo di TPU, seleziona un tipo di acceleratore. Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratore supportati per ogni versione di TPU, consulta Versioni di TPU.

  6. Nella casella Versione software TPU, seleziona una versione software. Quando crei una VM Cloud TPU, la versione del software TPU specifica la versione del runtime TPU da installare. Per maggiori informazioni, vedi Versioni software delle TPU.

  7. Espandi la sezione Gestione.

  8. Seleziona la casella di controllo Crea una VM spot TPU.

  9. Fai clic su Crea.

Controllare se una VM TPU è una VM spot

gcloud

Per verificare se la tua VM TPU è una VM spot, utilizza il comando describe:

gcloud compute tpus tpu-vm describe TPU_NAME --zone=europe-west4-a

Se la VM TPU è una VM spot, l'output includerà il campo spot impostato su true, simile al seguente:

...
schedulingConfig:
spot: true
...

Console

  1. Nella console Google Cloud , vai alla pagina TPU:

    Vai a TPU

  2. Fai clic sul nome della tua Cloud TPU.

    Se la VM TPU è una VM spot, il livello sarà VM spot.

Prezzi e quote

I prezzi delle VM spot TPU sono notevolmente inferiori rispetto a quelli delle TPU on demand e riservate. Per maggiori informazioni sui prezzi, consulta la pagina Prezzi di Cloud TPU.

Per utilizzare le VM spot TPU, devi disporre di una quota prerilasciabile. Per saperne di più, consulta Quote.