Crea VM G4 ottimizzate per l'AI collettivamente

Questo documento spiega come creare in blocco istanze di macchine virtuali (VM) che utilizzano la serie di macchine G4. Per saperne di più su questi tipi di macchine ottimizzati per l'acceleratore, consulta Serie G4.

Per saperne di più sulla creazione di VM in blocco, consulta Informazioni sulla creazione in blocco delle VM nella documentazione di Compute Engine.

Per scoprire altri modi per creare VM o cluster, vedi Panoramica delle opzioni di deployment.

Limitazioni

Quando crei VM G4 in blocco, si applicano le seguenti limitazioni:

Se vuoi utilizzare una policy di posizionamento compatto, consulta le limitazioni per le policy di posizionamento.

Prima di iniziare

Prima di creare VM in blocco, se non l'hai ancora fatto, completa i seguenti passaggi:

  1. Scegli un'opzione di consumo: la tua scelta determina come ottenere e utilizzare le risorse GPU. Per saperne di più, consulta Scegliere un'opzione di consumo.
  2. Ottenere capacità: la procedura per ottenere capacità varia a seconda dell'opzione di consumo. Per scoprire di più sulla procedura per ottenere la capacità per l'opzione di consumo scelta, consulta Panoramica della capacità.

Seleziona la scheda relativa a come prevedi di utilizzare gli esempi in questa pagina:

Console

Quando utilizzi la console Google Cloud per accedere ai servizi Google Cloud e alle API, non devi configurare l'autenticazione.

gcloud

Nella console Google Cloud , attiva Cloud Shell.

Attiva Cloud Shell

Nella parte inferiore della console Google Cloud viene avviata una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installata e con valori già impostati per il progetto corrente. L'inizializzazione della sessione può richiedere alcuni secondi.

REST

Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

    Installa Google Cloud CLI.

    Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per saperne di più, consulta Autenticati per usare REST nella documentazione sull'autenticazione di Google Cloud .

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare più VM contemporaneamente, chiedi all'amministratore di concederti il ruolo IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito include le autorizzazioni necessarie per creare più VM contemporaneamente. Per visualizzare le autorizzazioni obbligatorie corrette, espandi l'omonima sezione:

Autorizzazioni obbligatorie

Per creare più VM contemporaneamente, sono necessarie le seguenti autorizzazioni:

  • compute.instances.create sul progetto
  • Per utilizzare un'immagine personalizzata per creare la VM: compute.images.useReadOnly sull'immagine
  • Per utilizzare uno snapshot per creare la VM: compute.snapshots.useReadOnly sullo snapshot
  • Per utilizzare un template di istanza per creare la VM: compute.instanceTemplates.useReadOnly sul template di istanza
  • Per specificare una subnet per la VM: compute.subnetworks.use sul progetto o sulla subnet scelta
  • Per specificare un indirizzo IP statico per la VM: compute.addresses.use sul progetto
  • Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete VPC: compute.subnetworks.useExternalIp sul progetto o sulla subnet scelta
  • Per assegnare una rete legacy alla VM: compute.networks.use sul progetto
  • Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete legacy: compute.networks.useExternalIp sul progetto
  • Per impostare i metadati dell'istanza VM per la VM: compute.instances.setMetadata sul progetto
  • Per impostare i tag per la VM: compute.instances.setTags sulla VM
  • Per impostare le etichette per la VM: compute.instances.setLabels sulla VM
  • Per impostare un service account che la VM possa utilizzare: compute.instances.setServiceAccount sulla VM
  • Per creare un nuovo disco per la VM: compute.disks.create sul progetto
  • Per collegare un disco esistente in modalità di sola lettura o di lettura e scrittura: compute.disks.use sul disco
  • Per collegare un disco esistente in modalità di sola lettura: compute.disks.useReadOnly sul disco

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Panoramica

La creazione di istanze collettive con il tipo di macchina G4 include i seguenti passaggi:

  1. (Facoltativo) Crea una policy di posizionamento compatto
  2. Creare istanze in blocco
  3. Installa i driver della GPU
  4. (Facoltativo) Attiva la modalità GPU multi-istanza NVIDIA

(Facoltativo) Crea una policy di posizionamento compatto

Puoi specificare il posizionamento delle VM creando una policy di posizionamento compatto. Quando applichi una policy di posizionamento compatto alle tue VM, Compute Engine tenta al meglio di creare VM il più vicine possibile tra loro. Se la tua applicazione è sensibile alla latenza e richiede la massima compattezza, specifica il campo maxDistance (anteprima) quando crei una policy di posizionamento compatto. Un valore maxDistance inferiore garantisce un posizionamento più vicino delle VM, ma aumenta anche la probabilità che alcune VM non vengano create.

Per creare una policy di posizionamento compatto, seleziona una delle seguenti opzioni:

gcloud

Per creare una policy di posizionamento compatto, utilizza il comando gcloud beta compute resource-policies create group-placement:

gcloud beta compute resource-policies create group-placement POLICY_NAME \
    --collocation=collocated \
    --max-distance=MAX_DISTANCE \
    --region=REGION

Sostituisci quanto segue:

  • POLICY_NAME: il nome della policy di posizionamento compatto.
  • MAX_DISTANCE: la configurazione della distanza massima per le VM, che può essere specificata (anteprima, consigliata) o non specificata (rimuovi il flag --max-distance). Assicurati che la configurazione della distanza massima supporti la serie di macchine e il numero di VM che prevedi di creare. Per saperne di più, consulta Informazioni sulle policy di posizionamento compatto nella documentazione di Compute Engine. Ad esempio, una distanza massima di 3 posiziona le VM in blocchi adiacenti, mentre 2 posiziona le VM nello stesso blocco.
  • REGION: la regione in cui vuoi creare la policy di posizionamento compatto. Specifica la regione che contiene la zona in cui prevedi di creare istanze e verifica che il tipo di macchina che vuoi utilizzare sia disponibile in quella regione. Per informazioni sulle regioni, vedi Disponibilità delle GPU per regioni e zone.

REST

Per creare una policy di posizionamento compatto, invia una richiesta POST al metodo resourcePolicies.insert beta. Nel corpo della richiesta, includi il campo collocation impostato su COLLOCATED e il campo maxDistance.

POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "POLICY_NAME",
    "groupPlacementPolicy": {
      "collocation": "COLLOCATED",
      "maxDistance": MAX_DISTANCE
    }
  }

Sostituisci quanto segue:

  • PROJECT_ID: il tuo ID progetto.
  • POLICY_NAME: il nome della policy di posizionamento compatto.
  • MAX_DISTANCE: la configurazione della distanza massima per le VM, che può essere specificata (anteprima, consigliata) o non specificata (rimuovi il campo maxDistance). Assicurati che la configurazione della distanza massima supporti la serie di macchine e il numero di VM che prevedi di creare. Per saperne di più, consulta Informazioni sulle policy di posizionamento compatto nella documentazione di Compute Engine. Ad esempio, una distanza massima di 3 posiziona le VM in blocchi adiacenti, mentre 2 posiziona le VM nello stesso blocco.
  • REGION: la regione in cui vuoi creare la policy di posizionamento compatto. Specifica la regione che contiene la zona in cui prevedi di creare istanze e verifica che il tipo di macchina che vuoi utilizzare sia disponibile in quella regione. Per informazioni sulle regioni, vedi Disponibilità delle GPU per regioni e zone.

Crea VM G4 collettivamente

Per creare più VM G4 contemporaneamente, utilizza uno dei seguenti metodi.

I seguenti comandi impostano anche l'ambito di accesso per le tue istanze. Per semplificare la gestione delle autorizzazioni, Google consiglia di impostare l'ambito di accesso di un'istanza su cloud-platform e poi utilizzare i ruoli IAM per definire i servizi a cui l'istanza può accedere. Per saperne di più, consulta le best practice per gli ambiti.

gcloud

Per creare istanze in blocco, utilizza il comando gcloud compute instances bulk create.

I parametri da specificare dipendono dall'opzione di consumo che utilizzi per questo deployment. Seleziona la scheda corrispondente all'opzione di consumo.

Prenotazione

Le istanze G4 supportano i seguenti tipi di prenotazioni:

  • Prenotazioni on demand
  • Prenotazioni future standard

Per utilizzare questi tipi di prenotazioni, un'istanza deve utilizzare il modello di provisioning standard. Ad esempio, utilizza i seguenti parametri di creazione.

Prima di eseguire il comando, esamina tutti i passaggi seguenti per determinare se includere flag aggiuntivi.

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY \
    --reservation=RESERVATION

Completa i seguenti passaggi:

  1. Sostituisci quanto segue:

    • NAME_PATTERN: il pattern del nome da utilizzare per le istanze G4. Ad esempio, l'utilizzo di instance-# per il pattern del nome genera istanze G4 con nomi come instance-1 e instance-2, fino al numero di istanze G4 specificato da --count.
    • COUNT: il numero di istanze G4 da creare.
    • MACHINE_TYPE: il tipo di macchina da utilizzare per l'istanza G4. Per saperne di più, consulta Tipi di macchine GPU nella documentazione di Compute Engine.
    • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, vedi Sistemi operativi supportati.
    • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
    • REGION: specifica una regione in cui è disponibile il tipo di macchina che vuoi utilizzare. Se vuoi specificare una policy di posizionamento compatto, devi utilizzare la stessa regione della policy di posizionamento compatto. Per informazioni sulle regioni, consulta la sezione Disponibilità delle GPU per regioni e zone.
    • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta Limiti di dimensioni di Google Cloud Hyperdisk o Limiti di dimensioni di Persistent Disk in base al tipo di disco.

    • RESERVATION_AFFINITY: le prenotazioni che l'istanza può utilizzare, se possibile. Specifica una delle seguenti opzioni:

      • any (la capacità di prenotazione è facoltativa): questa è l'opzione predefinita. L'istanza tenta di utilizzare la capacità di una prenotazione consumata automaticamente, il che si verifica solo se è disponibile la capacità di prenotazione corrispondente. In caso contrario, l'istanza utilizza la capacità on demand.

      • specific (è richiesta la capacità di prenotazione): richiede che l'istanza utilizzi la capacità di una prenotazione con target specifico. L'istanza non è autorizzata a utilizzare la capacità on demand. Se la capacità di prenotazione non è disponibile, la creazione dell'istanza non riesce.

    • RESERVATION: la prenotazione da utilizzare. Specifica uno dei seguenti valori in base al valore specificato per RESERVATION_AFFINITY:

      • Se hai specificato any, sostituisci RESERVATION con una stringa vuota (""). In alternativa, puoi rimuovere completamente il flag --reservation.

      • Se hai specificato specific, sostituisci RESERVATION con quanto segue:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        Sostituisci quanto segue:

        • RESERVATION_OWNER_PROJECT_ID: l'ID progetto del progetto in cui è stata creata la prenotazione.
        • RESERVATION_NAME: il nome della prenotazione.

  2. Per impostazione predefinita, l'istanza viene riavviata automaticamente in caso di arresto anomalo o se Compute Engine la arresta per un arresto programmato, ad esempio un evento di manutenzione. Se vuoi disattivare il riavvio automatico, aggiungi il seguente flag:

    --no-restart-on-failure

  3. (Facoltativo) Se hai scelto di utilizzare una policy di posizionamento compatto, aggiungi il seguente flag al comando:

    --resource-policies=POLICY_NAME

    Sostituisci quanto segue:

    • POLICY_NAME: il nome della policy di posizionamento compatto.

  4. (Facoltativo) Per collegare dischi SSD locali, aggiungi il seguente flag --local-ssd per ogni disco SSD locale.

    Assicurati che il numero di dischi SSD locali che colleghi sia consentito per il tuo tipo di macchina. Per i dettagli, consulta Informazioni sui dischi SSD locali nella documentazione di Compute Engine. Nello specifico, i tipi di macchine G4 utilizzano dischi Titanium SSD.

    --local-ssd interface=INTERFACE_TYPE

    Sostituisci quanto segue:

    • INTERFACE_TYPE: il tipo di interfaccia del disco che vuoi utilizzare per il disco SSD locale. Se l'immagine del disco di avvio ha driver NVMe ottimizzati, specifica NVME. Specifica SCSI per le altre immagini.

    Dopo aver creato una VM con dischi SSD locali, per poterla utilizzare devi prima formattare e montare ogni dispositivo.

  5. (Facoltativo) Per utilizzare la workstation virtuale (vWS) NVIDIA RTX, aggiungi il seguente flag.

    Quando crei un'istanza che utilizza la workstation virtuale NVIDIA RTX, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

    --accelerator=type=nvidia-rtx-pro-6000-vws,count=VWS_ACCELERATOR_COUNT

    Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali che vuoi.

  6. Esegui il comando.

On demand

Prima di eseguire il comando, esamina tutti i passaggi seguenti per determinare se includere flag aggiuntivi.

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=STANDARD \
    --maintenance-policy=TERMINATE \
    --reservation-affinity=RESERVATION_AFFINITY

Completa i seguenti passaggi:

  1. Sostituisci quanto segue:

    • NAME_PATTERN: il pattern del nome da utilizzare per le istanze G4. Ad esempio, l'utilizzo di instance-# per il pattern del nome genera istanze G4 con nomi come instance-1 e instance-2, fino al numero di istanze G4 specificato da --count.
    • COUNT: il numero di istanze G4 da creare.
    • MACHINE_TYPE: il tipo di macchina da utilizzare per l'istanza G4. Per saperne di più, consulta Tipi di macchine GPU nella documentazione di Compute Engine.
    • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, vedi Sistemi operativi supportati.
    • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
    • REGION: specifica una regione in cui è disponibile il tipo di macchina che vuoi utilizzare. Se vuoi specificare una policy di posizionamento compatto, devi utilizzare la stessa regione della policy di posizionamento compatto. Per informazioni sulle regioni, consulta la sezione Disponibilità delle GPU per regioni e zone.
    • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta Limiti di dimensioni di Google Cloud Hyperdisk o Limiti di dimensioni di Persistent Disk in base al tipo di disco.

    • RESERVATION_AFFINITY: le prenotazioni che l'istanza può utilizzare, se possibile. Specifica una delle seguenti opzioni:

      • any (la capacità di prenotazione è facoltativa): questa è l'opzione predefinita. L'istanza tenta di utilizzare la capacità di una prenotazione consumata automaticamente, il che si verifica solo se è disponibile la capacità di prenotazione corrispondente. In caso contrario, l'istanza utilizza la capacità on demand.

      • none (è necessaria la capacità on demand): impedisci all'istanza di utilizzare qualsiasi capacità di prenotazione.

  2. Per impostazione predefinita, l'istanza viene riavviata automaticamente in caso di arresto anomalo o se Compute Engine la arresta per un arresto programmato, ad esempio un evento di manutenzione. Se vuoi disattivare il riavvio automatico, aggiungi il seguente flag:

    --no-restart-on-failure

  3. (Facoltativo) Se hai scelto di utilizzare una policy di posizionamento compatto, aggiungi il seguente flag al comando:

    --resource-policies=POLICY_NAME

    Sostituisci quanto segue:

    • POLICY_NAME: il nome della policy di posizionamento compatto.

  4. (Facoltativo) Per collegare dischi SSD locali, aggiungi il seguente flag --local-ssd per ogni disco SSD locale.

    Assicurati che il numero di dischi SSD locali che colleghi sia consentito per il tuo tipo di macchina. Per i dettagli, consulta Informazioni sui dischi SSD locali nella documentazione di Compute Engine. Nello specifico, i tipi di macchine G4 utilizzano dischi Titanium SSD.

    --local-ssd interface=INTERFACE_TYPE

    Sostituisci quanto segue:

    • INTERFACE_TYPE: il tipo di interfaccia del disco che vuoi utilizzare per il disco SSD locale. Se l'immagine del disco di avvio ha driver NVMe ottimizzati, specifica NVME. Specifica SCSI per le altre immagini.

    Dopo aver creato una VM con dischi SSD locali, per poterla utilizzare devi prima formattare e montare ogni dispositivo.

  5. (Facoltativo) Per utilizzare la workstation virtuale (vWS) NVIDIA RTX, aggiungi il seguente flag.

    Quando crei un'istanza che utilizza la workstation virtuale NVIDIA RTX, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

    --accelerator=type=nvidia-rtx-pro-6000-vws,count=VWS_ACCELERATOR_COUNT

    Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali che vuoi.

  6. Esegui il comando.

Spot

Prima di eseguire il comando, esamina tutti i passaggi seguenti per determinare se includere flag aggiuntivi.

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --no-restart-on-failure

Completa i seguenti passaggi:

  1. Sostituisci quanto segue:

    • NAME_PATTERN: il pattern del nome da utilizzare per le istanze G4. Ad esempio, l'utilizzo di instance-# per il pattern del nome genera istanze G4 con nomi come instance-1 e instance-2, fino al numero di istanze G4 specificato da --count.
    • COUNT: il numero di istanze G4 da creare.
    • MACHINE_TYPE: il tipo di macchina da utilizzare per l'istanza G4. Per saperne di più, consulta Tipi di macchine GPU nella documentazione di Compute Engine.
    • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, vedi Sistemi operativi supportati.
    • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
    • REGION: specifica una regione in cui è disponibile il tipo di macchina che vuoi utilizzare. Se vuoi specificare una policy di posizionamento compatto, devi utilizzare la stessa regione della policy di posizionamento compatto. Per informazioni sulle regioni, consulta la sezione Disponibilità delle GPU per regioni e zone.
    • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta Limiti di dimensioni di Google Cloud Hyperdisk o Limiti di dimensioni di Persistent Disk in base al tipo di disco.

    • TERMINATION_ACTION: l'azione da intraprendere quando Compute Engine prerilascia l'istanza, ovvero STOP (impostazione predefinita) o DELETE.

  2. (Facoltativo) Se hai scelto di utilizzare una policy di posizionamento compatto, aggiungi il seguente flag al comando:

    --resource-policies=POLICY_NAME

    Sostituisci quanto segue:

    • POLICY_NAME: il nome della policy di posizionamento compatto.

  3. (Facoltativo) Per collegare dischi SSD locali, aggiungi il seguente flag --local-ssd per ogni disco SSD locale.

    Assicurati che il numero di dischi SSD locali che colleghi sia consentito per il tuo tipo di macchina. Per i dettagli, consulta Informazioni sui dischi SSD locali nella documentazione di Compute Engine. Nello specifico, i tipi di macchine G4 utilizzano dischi Titanium SSD.

    --local-ssd interface=INTERFACE_TYPE

    Sostituisci quanto segue:

    • INTERFACE_TYPE: il tipo di interfaccia del disco che vuoi utilizzare per il disco SSD locale. Se l'immagine del disco di avvio ha driver NVMe ottimizzati, specifica NVME. Specifica SCSI per le altre immagini.

    Dopo aver creato una VM con dischi SSD locali, per poterla utilizzare devi prima formattare e montare ogni dispositivo.

  4. (Facoltativo) Per utilizzare la workstation virtuale (vWS) NVIDIA RTX, aggiungi il seguente flag.

    Quando crei un'istanza che utilizza la workstation virtuale NVIDIA RTX, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

    --accelerator=type=nvidia-rtx-pro-6000-vws,count=VWS_ACCELERATOR_COUNT

    Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali che vuoi.

  5. Esegui il comando.

REST

Per creare istanze in blocco, invia una richiesta POST al metodo instances.bulkInsert.

I parametri da specificare dipendono dall'opzione di consumo che utilizzi per questo deployment. Seleziona la scheda corrispondente all'opzione di consumo.

Prenotazione

Le istanze G4 supportano i seguenti tipi di prenotazioni:

  • Prenotazioni on demand
  • Prenotazioni future standard

Per utilizzare questi tipi di prenotazioni, un'istanza deve utilizzare il modello di provisioning standard. Ad esempio, utilizza i seguenti parametri di creazione.

Prima di inviare la richiesta, esamina tutti i passaggi seguenti per determinare se includere campi aggiuntivi.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY",
    "key": "compute.googleapis.com/reservation-name",
    "values": [
      "RESERVATION"
    ]
  }
  }
}

Completa i seguenti passaggi:

  1. Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto del progetto in cui vuoi creare l'istanza G4.
    • ZONE: specifica una zona in cui è disponibile il tipo di macchina che vuoi utilizzare. Se vuoi specificare una policy di posizionamento compatto, devi utilizzare una zona nella stessa regione della policy di posizionamento compatto. Per informazioni sulle regioni, vedi Disponibilità delle GPU per regioni e zone.
    • NAME_PATTERN: il pattern del nome da utilizzare per le istanze G4. Ad esempio, l'utilizzo di instance-# per il pattern del nome genera istanze G4 con nomi come instance-1 e instance-2, fino al numero di istanze G4 specificato da --count.
    • COUNT: il numero di istanze G4 da creare.
    • MACHINE_TYPE: il tipo di macchina da utilizzare per l'istanza G4. Per saperne di più, consulta Tipi di macchine GPU nella documentazione di Compute Engine.
    • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta Limiti di dimensioni di Google Cloud Hyperdisk o Limiti di dimensioni di Persistent Disk in base al tipo di disco.
    • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
    • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, vedi Sistemi operativi supportati.

    • AUTOMATIC_RESTART: se l'istanza si riavvia automaticamente in caso di arresto anomalo o se Compute Engine la arresta per un arresto programmato, ad esempio un evento di manutenzione. Specifica true per attivare il riavvio automatico (impostazione predefinita) o false per disattivarlo.

    • RESERVATION_AFFINITY: le prenotazioni che l'istanza può utilizzare, se possibile. Specifica una delle seguenti opzioni:

      • ANY_RESERVATION (la capacità di prenotazione è facoltativa): questa è l'opzione predefinita. L'istanza tenta di utilizzare la capacità di una prenotazione consumata automaticamente, cosa che si verifica solo se è disponibile una capacità di prenotazione corrispondente. In caso contrario, l'istanza utilizza la capacità on demand.

      • SPECIFIC_RESERVATION (è richiesta la capacità di prenotazione): richiede che l'istanza utilizzi la capacità di una prenotazione con target specifico. L'istanza non è autorizzata a utilizzare la capacità on demand. Se la capacità di prenotazione non è disponibile, la creazione dell'istanza non riesce.

    • RESERVATION: la prenotazione da utilizzare. Specifica uno dei seguenti valori in base al valore specificato per RESERVATION_AFFINITY:

      • Se hai specificato ANY_RESERVATION, elimina RESERVATION in modo che il valore sia una stringa vuota (""). In alternativa, puoi rimuovere completamente i campi key e values.

      • Se hai specificato SPECIFIC_RESERVATION, sostituisci RESERVATION con quanto segue:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        Sostituisci quanto segue:

        • RESERVATION_OWNER_PROJECT_ID: l'ID progetto del progetto in cui è stata creata la prenotazione.
        • RESERVATION_NAME: il nome della prenotazione.

  2. (Facoltativo) Se hai scelto di utilizzare una policy di posizionamento compatto, aggiungi il seguente campo secondario instanceProperties al corpo della richiesta:

        "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto della policy di posizionamento compatto.
    • REGION: la regione della policy di posizionamento compatto.
    • POLICY_NAME: il nome della policy di posizionamento compatto.

  3. (Facoltativo) Per utilizzare i dischi SSD locali, aggiungi il seguente campo al campo disks[] per ogni disco SSD locale. Separa ogni sottocampo disks[] (incluso il disco di avvio) con una virgola.

    Assicurati che il numero di dischi SSD locali che colleghi sia consentito per il tuo tipo di macchina. Per i dettagli, consulta Informazioni sui dischi SSD locali nella documentazione di Compute Engine. Nello specifico, i tipi di macchine G4 utilizzano dischi Titanium SSD.

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    Sostituisci quanto segue:

    • ZONE: la zona specificata.
    • INTERFACE_TYPE: il tipo di interfaccia del disco che vuoi utilizzare per il disco SSD locale. Se l'immagine del disco di avvio ha driver NVMe ottimizzati, specifica NVME. Specifica SCSI per le altre immagini.

    Dopo aver creato una VM con dischi SSD locali, per poterla utilizzare devi prima formattare e montare ogni dispositivo.

  4. (Facoltativo) Per utilizzare la workstation virtuale (vWS) NVIDIA RTX, aggiungi il seguente campo.

    Quando crei un'istanza che utilizza la workstation virtuale NVIDIA RTX, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/nvidia-rtx-pro-6000-vws"
    }
  ]

    Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali che vuoi.

  5. Invia la richiesta.

On demand

Prima di inviare la richiesta, esamina tutti i passaggi seguenti per determinare se includere campi aggiuntivi.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling": {
    "provisioningModel": "STANDARD",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": AUTOMATIC_RESTART
  },
  "reservationAffinity": {
    "consumeReservationType": "RESERVATION_AFFINITY"
  }
  }
}

Completa i seguenti passaggi:

  1. Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto del progetto in cui vuoi creare l'istanza G4.
    • ZONE: specifica una zona in cui è disponibile il tipo di macchina che vuoi utilizzare. Se vuoi specificare una policy di posizionamento compatto, devi utilizzare una zona nella stessa regione della policy di posizionamento compatto. Per informazioni sulle regioni, vedi Disponibilità delle GPU per regioni e zone.
    • NAME_PATTERN: il pattern del nome da utilizzare per le istanze G4. Ad esempio, l'utilizzo di instance-# per il pattern del nome genera istanze G4 con nomi come instance-1 e instance-2, fino al numero di istanze G4 specificato da --count.
    • COUNT: il numero di istanze G4 da creare.
    • MACHINE_TYPE: il tipo di macchina da utilizzare per l'istanza G4. Per saperne di più, consulta Tipi di macchine GPU nella documentazione di Compute Engine.
    • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta Limiti di dimensioni di Google Cloud Hyperdisk o Limiti di dimensioni di Persistent Disk in base al tipo di disco.
    • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
    • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, vedi Sistemi operativi supportati.

    • AUTOMATIC_RESTART: se l'istanza si riavvia automaticamente in caso di arresto anomalo o se Compute Engine la arresta per un arresto programmato, ad esempio un evento di manutenzione. Specifica true per attivare il riavvio automatico (impostazione predefinita) o false per disattivarlo.

    • RESERVATION_AFFINITY: le prenotazioni che l'istanza può utilizzare, se possibile. Specifica una delle seguenti opzioni:

      • ANY_RESERVATION (la capacità di prenotazione è facoltativa): questa è l'opzione predefinita. L'istanza tenta di utilizzare la capacità di una prenotazione consumata automaticamente, cosa che si verifica solo se è disponibile una capacità di prenotazione corrispondente. In caso contrario, l'istanza utilizza la capacità on demand.

      • NO_RESERVATION (è necessaria la capacità on demand): impedisci all'istanza di utilizzare qualsiasi capacità di prenotazione.

  2. (Facoltativo) Se hai scelto di utilizzare una policy di posizionamento compatto, aggiungi il seguente campo secondario instanceProperties al corpo della richiesta:

        "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto della policy di posizionamento compatto.
    • REGION: la regione della policy di posizionamento compatto.
    • POLICY_NAME: il nome della policy di posizionamento compatto.

  3. (Facoltativo) Per utilizzare i dischi SSD locali, aggiungi il seguente campo al campo disks[] per ogni disco SSD locale. Separa ogni sottocampo disks[] (incluso il disco di avvio) con una virgola.

    Assicurati che il numero di dischi SSD locali che colleghi sia consentito per il tuo tipo di macchina. Per i dettagli, consulta Informazioni sui dischi SSD locali nella documentazione di Compute Engine. Nello specifico, i tipi di macchine G4 utilizzano dischi Titanium SSD.

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    Sostituisci quanto segue:

    • ZONE: la zona specificata.
    • INTERFACE_TYPE: il tipo di interfaccia del disco che vuoi utilizzare per il disco SSD locale. Se l'immagine del disco di avvio ha driver NVMe ottimizzati, specifica NVME. Specifica SCSI per le altre immagini.

    Dopo aver creato una VM con dischi SSD locali, per poterla utilizzare devi prima formattare e montare ogni dispositivo.

  4. (Facoltativo) Per utilizzare la workstation virtuale (vWS) NVIDIA RTX, aggiungi il seguente campo.

    Quando crei un'istanza che utilizza la workstation virtuale NVIDIA RTX, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/nvidia-rtx-pro-6000-vws"
    }
  ]

    Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali che vuoi.

  5. Invia la richiesta.

Spot

Prima di inviare la richiesta, esamina tutti i passaggi seguenti per determinare se includere campi aggiuntivi.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "scheduling":
    {
      "provisioningModel": "SPOT",
      "instanceTerminationAction": "TERMINATION_ACTION",
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": false
    }
  }
}

Completa i seguenti passaggi:

  1. Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto del progetto in cui vuoi creare l'istanza G4.
    • ZONE: specifica una zona in cui è disponibile il tipo di macchina che vuoi utilizzare. Se vuoi specificare una policy di posizionamento compatto, devi utilizzare una zona nella stessa regione della policy di posizionamento compatto. Per informazioni sulle regioni, vedi Disponibilità delle GPU per regioni e zone.
    • NAME_PATTERN: il pattern del nome da utilizzare per le istanze G4. Ad esempio, l'utilizzo di instance-# per il pattern del nome genera istanze G4 con nomi come instance-1 e instance-2, fino al numero di istanze G4 specificato da --count.
    • COUNT: il numero di istanze G4 da creare.
    • MACHINE_TYPE: il tipo di macchina da utilizzare per l'istanza G4. Per saperne di più, consulta Tipi di macchine GPU nella documentazione di Compute Engine.
    • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta Limiti di dimensioni di Google Cloud Hyperdisk o Limiti di dimensioni di Persistent Disk in base al tipo di disco.
    • IMAGE_PROJECT: l'ID progetto dell'immagine del sistema operativo.
    • IMAGE_FAMILY: la famiglia di immagini dell'immagine del sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, vedi Sistemi operativi supportati.

    • TERMINATION_ACTION: l'azione da intraprendere quando Compute Engine prerilascia l'istanza, ovvero STOP (impostazione predefinita) o DELETE.

  2. (Facoltativo) Se hai scelto di utilizzare una policy di posizionamento compatto, aggiungi il seguente campo secondario instanceProperties al corpo della richiesta:

        "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto della policy di posizionamento compatto.
    • REGION: la regione della policy di posizionamento compatto.
    • POLICY_NAME: il nome della policy di posizionamento compatto.

  3. (Facoltativo) Per utilizzare i dischi SSD locali, aggiungi il seguente campo al campo disks[] per ogni disco SSD locale. Separa ogni sottocampo disks[] (incluso il disco di avvio) con una virgola.

    Assicurati che il numero di dischi SSD locali che colleghi sia consentito per il tuo tipo di macchina. Per i dettagli, consulta Informazioni sui dischi SSD locali nella documentazione di Compute Engine. Nello specifico, i tipi di macchine G4 utilizzano dischi Titanium SSD.

        {
       "type": "SCRATCH",
       "initializeParams": {
          "diskType": "zones/ZONE/diskTypes/local-ssd"
       },
       "autoDelete": true,
       "interface": "INTERFACE_TYPE"
    }

    Sostituisci quanto segue:

    • ZONE: la zona specificata.
    • INTERFACE_TYPE: il tipo di interfaccia del disco che vuoi utilizzare per il disco SSD locale. Se l'immagine del disco di avvio ha driver NVMe ottimizzati, specifica NVME. Specifica SCSI per le altre immagini.

    Dopo aver creato una VM con dischi SSD locali, per poterla utilizzare devi prima formattare e montare ogni dispositivo.

  4. (Facoltativo) Per utilizzare la workstation virtuale (vWS) NVIDIA RTX, aggiungi il seguente campo.

    Quando crei un'istanza che utilizza la workstation virtuale NVIDIA RTX, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/nvidia-rtx-pro-6000-vws"
    }
  ]

    Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali che vuoi.

  5. Invia la richiesta.

Per saperne di più sulle opzioni di configurazione durante la creazione di VM in blocco, consulta Crea VM in blocco nella documentazione di Compute Engine.

Installa i driver della GPU

Dopo aver creato un'istanza, questa non può utilizzare le GPU a meno che non siano già installati i driver GPU corretti. Il driver che devi installare dipende dal fatto che l'istanza abbia GPU frazionarie o che sia stata attivata la workstation virtuale (vWS) NVIDIA RTX. Utilizza una delle seguenti opzioni:

(Facoltativo) Attiva la modalità GPU multi-istanza NVIDIA

La modalità GPU multi-istanza (MIG) è una funzionalità che puoi attivare per una GPU NVIDIA supportata. Dopo aver creato un'istanza, puoi attivare la modalità MIG su una singola GPU collegata alla tua macchina. Con la modalità MIG attivata, la singola GPU viene partizionata in un massimo di sette istanze GPU indipendenti. Ogni istanza viene eseguita contemporaneamente, ognuna con la propria memoria, cache e multiprocessori streaming. Puoi quindi eseguire in parallelo diversi carichi di lavoro su queste istanze GPU. La modalità MIG è diversa dall'utilizzo di tipi di macchine G4 con GPU frazionarie collegate, in cui più workload condividono l'accesso a una singola GPU fisica tramite il partizionamento frazionario (vGPU). Per ulteriori informazioni sull'utilizzo della modalità MIG, consulta la Guida dell'utente per le GPU multi-istanza (MIG) nella documentazione NVIDIA.

Passaggi successivi