Crea un MIG con sezioni TPU single-host

Questo documento descrive come creare un gruppo di istanze gestite (MIG) che forma sezioni TPU a host singolo. Una singola sezione TPU host viene mappata a un'istanza di macchina virtuale (VM) TPU.

Puoi anche creare una sezione TPU single-host come istanza TPU autonoma. Per saperne di più, consulta Crea un'istanza VM TPU.

Prima di iniziare

• Esamina le limitazioni per la creazione di MIG con istanze TPU.
• Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione verifica la tua identità per l'accesso ad API e servizi Google Cloud . Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

  1. Installa Google Cloud CLI. Dopo l'installazione, inizializza Google Cloud CLI eseguendo il comando seguente:

     gcloud init

     Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

     Nota:se hai installato gcloud CLI in precedenza, assicurati di avere l'ultima versione eseguendo gcloud components update.
  2. Imposta una regione e una zona predefinite.

Prerequisiti

Prima di procedere alla creazione di una sezione TPU single-host, devi:

1. Scegli la versione TPU: seleziona la versione TPU adatta al tuo carico di lavoro. Per un elenco delle versioni TPU per tipo di workload, consulta Versioni TPU consigliate per tipo di workload.

2. Verifica la disponibilità di TPU nella tua località preferita: le TPU sono disponibili in regioni Google Cloud specifiche. Per utilizzare una versione della TPU, assicurati che sia disponibile nella regione che preferisci. Per un elenco delle località TPU, consulta Disponibilità delle TPU.

3. Assicurati che il tuo progetto disponga di una quota TPU sufficiente: se stai creando una sezione TPU single-host con VM on demand o spot, devi disporre di una quota TPU sufficiente disponibile nella regione che vuoi utilizzare. La creazione di una sezione TPU a singolo host che utilizza una prenotazione TPU non richiede alcuna quota TPU, in quanto la quota viene utilizzata al momento della creazione della prenotazione. Per un elenco dei nomi delle quote TPU, consulta Quota TPU e per istruzioni su come visualizzare la quota, consulta Visualizza e gestisci le quote.

4. Scegli un'opzione di consumo TPU: seleziona un'opzione di consumo che si adatti meglio al tuo workload, alla sua durata e alle tue esigenze di costo. Per un elenco delle opzioni di consumo disponibili per versione di TPU, consulta Opzioni di consumo delle TPU.

5. Scegli una topologia: seleziona una topologia supportata per la versione TPU selezionata. Per un elenco delle topologie disponibili per ogni versione della TPU, consulta la pagina Topologia TPU.

Crea un MIG con più sezioni TPU single-host

Per creare più VM TPU indipendenti in un MIG:

1. Crea un template di istanza.
2. Crea il MIG.

Crea un template di istanza

Le configurazioni del template di istanza variano in base all'opzione di consumo che utilizzi: on demand, Spot, prenotazioni o avvio flessibile. Per saperne di più sulle opzioni di consumo, vedi Informazioni sui modelli di provisioning delle VM.

Crea un modello di istanza per una VM TPU on demand

Il seguente comando crea un template di istanza che utilizza l'opzione di consumo on demand:

Importante: quando utilizzi il tipo di macchina ct6e-standard-8t, devi impostare i thread per core su 1 includendo il flag --threads-per-core=1 nel seguente comando. Per ulteriori informazioni sui thread per core, vedi Imposta il numero di thread per core.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Sostituisci i seguenti segnaposto:

• INSTANCE_TEMPLATE_NAME: il nome del modello di istanza.
• MACHINE_TYPE: il tipo di macchina per la VM TPU (ad esempio, ct6e-standard-8t).
• IMAGE_FAMILY: la famiglia di immagini del sistema operativo per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il flag --image. Per ulteriori informazioni sulle immagini sistema operativo, consulta Immagini sistema operativo.
• IMAGE_PROJECT: Il progetto che contiene l'immagine sistema operativo. Per le immagini TPU, questo valore è ubuntu-os-accelerator-images.

Crea un modello di istanza per una VM spot TPU

Il seguente comando crea un template di istanza che utilizza l'opzione di consumo Spot:

Importante: quando utilizzi il tipo di macchina ct6e-standard-8t, devi impostare i thread per core su 1 includendo il flag --threads-per-core=1 nel seguente comando. Per ulteriori informazioni sui thread per core, vedi Imposta il numero di thread per core.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=STOP \
    --provisioning-model=SPOT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Sostituisci i seguenti segnaposto:

• INSTANCE_TEMPLATE_NAME: il nome del modello di istanza.
• MACHINE_TYPE: il tipo di macchina per la VM TPU (ad esempio, ct6e-standard-8t).
• IMAGE_FAMILY: la famiglia di immagini del sistema operativo per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il flag --image. Per ulteriori informazioni sulle immagini sistema operativo, consulta Immagini sistema operativo.
• IMAGE_PROJECT: Il progetto che contiene l'immagine sistema operativo. Per le immagini TPU, questo valore è ubuntu-os-accelerator-images.

Crea un modello di istanza per una VM associata a una prenotazione TPU

Il seguente comando crea un template di istanza che utilizza l'opzione di consumo reservation-bound:

Importante: quando utilizzi il tipo di macchina ct6e-standard-8t, devi impostare i thread per core su 1 includendo il flag --threads-per-core=1 nel seguente comando. Per ulteriori informazioni sui thread per core, vedi Imposta il numero di thread per core.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --reservation-affinity=specific \
    --provisioning-model=reservation-bound \
    --reservation=RESERVATION_NAME \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Sostituisci i seguenti segnaposto:

• INSTANCE_TEMPLATE_NAME: il nome del template di istanza.
• MACHINE_TYPE: il tipo di macchina per la VM TPU (ad esempio, ct6e-standard-8t).
• RESERVATION_NAME: il nome di una prenotazione specifica che vuoi utilizzare.
• IMAGE_FAMILY: la famiglia di immagini del sistema operativo per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il flag --image. Per ulteriori informazioni sulle immagini sistema operativo, consulta Immagini sistema operativo.
• IMAGE_PROJECT: Il progetto che contiene l'immagine sistema operativo. Per le immagini TPU, questo valore è ubuntu-os-accelerator-images.

Crea un modello di istanza per una VM TPU con avvio flessibile

Il seguente comando crea un modello di istanza che utilizza l'opzione di consumo Flex-start:

Importante: quando utilizzi il tipo di macchina ct6e-standard-8t, devi impostare i thread per core su 1 includendo il flag --threads-per-core=1 nel seguente comando. Per ulteriori informazioni sui thread per core, vedi Imposta il numero di thread per core.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Sostituisci i seguenti segnaposto:

• INSTANCE_TEMPLATE_NAME: il nome del template di istanza.
• MACHINE_TYPE: il tipo di macchina per la VM TPU (ad esempio, ct6e-standard-8t).
• DURATION: la durata massima di esecuzione della VM TPU (ad esempio, 1h).
• IMAGE_FAMILY: la famiglia di immagini del sistema operativo per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il flag --image. Per ulteriori informazioni sulle immagini sistema operativo, consulta Immagini sistema operativo.
• IMAGE_PROJECT: Il progetto che contiene l'immagine sistema operativo. Per le immagini TPU, questo valore è ubuntu-os-accelerator-images.

Crea un MIG

Crea un MIG a livello di zona o di regione utilizzando il comando gcloud compute instance-groups managed create come segue:

• Per creare un gruppo di istanze gestite a livello di zona contenente una sezione TPU a host singolo, utilizza il seguente comando:

  gcloud compute instance-groups managed create MIG_NAME \
      --size=MIG_SIZE \
      --template=INSTANCE_TEMPLATE_URL \
      --zone=ZONE
  

• Per creare un gruppo di istanze gestite a livello di regione contenente uno slice TPU single-host, utilizza il seguente comando:

  gcloud compute instance-groups managed create MIG_NAME \
      --size=MIG_SIZE \
      --template=INSTANCE_TEMPLATE_URL \
      --region=REGION \
      --target-distribution-shape=ANY_SINGLE_ZONE \
      --instance-redistribution-type=none
  

Sostituisci i seguenti segnaposto:

• MIG_NAME: il nome del tuo MIG.
• MIG_SIZE: il numero di VM nel MIG.
• INSTANCE_TEMPLATE_URL: l'URL del modello di istanza che vuoi utilizzare per creare istanze nel MIG. L'URL può contenere l'ID o il nome del modello di istanza. Specifica uno dei seguenti valori:
  • Per un template di istanza regionale: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
  • Per un template di istanza globale: INSTANCE_TEMPLATE_ID
• ZONE: La zona in cui vuoi che venga eseguito il provisioning del MIG.
• REGION: La regione in cui vuoi che venga eseguito il provisioning del MIG.

Crea VM con nomi personalizzati in un MIG

Puoi creare VM in un MIG specificando nomi personalizzati per ogni VM. Questa attività è utile per il debug e per garantire che le istanze vengano create in un ordine specifico.

gcloud

Crea una VM con un nome personalizzato utilizzando il comando create-instance e specifica il flag --instance. Per creare più VM, ripeti il comando per ogni VM. In caso contrario, utilizza il metodo dell'API REST per specificare più VM in un'unica richiesta.

• Per un MIG a livello di zona, utilizza il seguente comando:

  gcloud compute instance-groups managed create-instance MIG_NAME \
      --zone=ZONE \
      --instance=INSTANCE_NAME
  

• Per un MIG a livello di regione, utilizza il seguente comando:

  gcloud compute instance-groups managed create-instance MIG_NAME \
      --region=REGION \
      --instance=INSTANCE_NAME
  

Sostituisci i seguenti segnaposto:

• MIG_NAME: il nome del tuo MIG.
• ZONE: la zona del gruppo di istanze gestite.
• REGION: la regione del gruppo di istanze gestite.
• INSTANCE_NAME: il nome della VM da aggiungere al MIG specificato.

REST

Crea VM con nomi personalizzati utilizzando uno dei seguenti metodi dell'API REST:

• Per un MIG a livello di zona, utilizza instanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

• Per un MIG a livello di regione, utilizza regionInstanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

Sostituisci i seguenti segnaposto:

• PROJECT_ID: l'ID del progetto in cui esiste il gruppo di istanze gestite.
• ZONE: la zona del gruppo di istanze gestite.
• REGION: la regione del gruppo di istanze gestite.
• INSTANCE_NAME_1,2,..: i nomi delle VM da aggiungere al MIG specificato.

Passaggi successivi

• Crea una sezione multi-host
• Connettiti a un'istanza TPU
• Visualizzare le proprietà di un MIG
• Visualizzare lo stato di una sezione TPU
• Elimina un MIG