Crea un'istanza VM pronta per l'HPC

I workload di computing ad alte prestazioni (HPC) e ad alto accoppiamento utilizzano spesso la Message Passing Interface (MPI) per comunicare tra i processi e le istanze di Compute Engine. Tuttavia,la creazione di un'immagine del sistema operativo ottimizzata per le prestazioni ottimali di MPI richiede competenze di sistema, conoscenza di Google Cloud e tempo extra per la manutenzione. Per configurare rapidamente un ambiente ottimizzato per i tuoi carichi di lavoro HPC, utilizza un'immagine VM HPC.

Un'immagine VM HPC è basata su Rocky Linux 8 o Rocky Linux 9 ed è ottimizzata per i workload HPC ad alto accoppiamento. Include i parametri di ottimizzazione del kernel e della rete preconfigurati necessari per creare istanze di computing che raggiungono prestazioni MPI ottimali su Google Cloud.

Per risultati ottimali, esegui il deployment dell'immagine VM HPC su un tipo di macchina della serie di macchine ottimizzate per il calcolo. Questi tipi di macchine sono progettati per applicazioni HPC strettamente accoppiate. Per utilizzare Cloud RDMA con H4D, devi utilizzare la versione 20250917 o successive dell'immagine VM HPC Rocky 8.

Puoi creare un'istanza VM HPC utilizzando uno qualsiasi dei metodi disponibili per creare un'istanza di computing. Puoi anche utilizzare il gestore dei workload Slurm di SchedMD per eseguire il deployment di un cluster HPC. Il supporto di Slurm non è ancora disponibile per le immagini VM HPC basate su Rocky Linux 9.

Prima di iniziare

  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione verifica la tua identità per l'accesso ad API e servizi Google Cloud . Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Seleziona la scheda relativa a come intendi utilizzare i campioni in questa pagina:

    Console

    Quando utilizzi la console Google Cloud per accedere ai servizi Google Cloud e alle API, non devi configurare l'autenticazione.

    gcloud

    1. Installa Google Cloud CLI. Dopo l'installazione, inizializza Google Cloud CLI eseguendo il comando seguente: 

      gcloud init

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  • Imposta una regione e una zona predefinite.

Vantaggi

L'immagine VM HPC offre i seguenti vantaggi:

  1. Istanze di calcolo pronte all'uso per i carichi di lavoro HPC. Non è necessario ottimizzare manualmente le prestazioni, gestire i riavvii delle istanze di computing o rimanere al passo con gli ultimi aggiornamenti di Google Cloud per i workload HPC ad alto accoppiamento.
  2. Ottimizzazioni di rete per workload ad alto accoppiamento. Sono incluse ottimizzazioni che riducono la latenza per i messaggi di piccole dimensioni, a vantaggio delle applicazioni che dipendono fortemente dalle comunicazioni collettive e point-to-point. Se utilizzi la serie di macchine H4D, l'immagine VM HPC Rocky 8 contiene i driver Cloud RDMA necessari.
  3. Ottimizzazioni per il calcolo per workload HPC. Sono incluse ottimizzazioni che riducono il tremolio del sistema, il che rende più prevedibili le prestazioni elevate del singolo nodo.
  4. Prestazioni coerenti e riproducibili. La standardizzazione delle immagini sistema operativo ti offre prestazioni a livello di applicazione coerenti e riproducibili.
  5. Maggiore compatibilità delle applicazioni. L'allineamento ai requisiti a livello di nodo della specifica della piattaforma HPC di Intel consente un elevato grado di interoperabilità tra i sistemi.

Funzionalità dell'immagine VM HPC

L'immagine VM HPC offre diverse funzionalità progettate per ottimizzare le prestazioni per i carichi di lavoro HPC (computing ad alte prestazioni):

  • Aggiornamenti automatici disattivati
  • Ottimizzazioni collettive MPI
  • RPM preinstallati

Aggiornamenti automatici disattivati

Gli aggiornamenti automatici possono avere un impatto negativo sulle prestazioni dei carichi di lavoro HPC. Durante la creazione di un'istanza di computing, gli aggiornamenti automatici possono essere disattivati quando si utilizzano le immagini VM HPC impostando la voce dei metadati google_disable_automatic_updates su TRUE. La modalità di impostazione di questa voce di metadati durante la creazione dell'istanza dipende dallo strumento utilizzato per creare l'istanza.

Ad esempio, quando utilizzi il comando gcloud compute instances create per creare un'istanza di computing, fornisci l'argomento --metadata. Per ulteriori informazioni, vedi le informazioni sui metadati delle VM.

La voce di metadati google_disable_automatic_updates è disponibile come segue:

  • Immagini VM HPC Rocky 9: tutte le versioni.
  • Immagini VM HPC Rocky 8: solo nelle immagini create a partire dal 12 luglio 2024. La data di creazione (formattata come YYYYMMDD) viene utilizzata come numero di versione alla fine dei nomi delle immagini. Ad esempio, un'immagine VM HPC Rocky 8 creata il 21 luglio 2025 ha il nome hpc-rocky-linux-8-v20250721.

Se disattivi gli aggiornamenti automatici sulle tue istanze H4D, devi eseguire regolarmente il comando dnf update sull'istanza per mantenere aggiornato il driver Cloud RDMA.

Libreria Intel MPI

Google consiglia di utilizzare lo script google_install_intelmpi per installare la libreria Message Passing Interface (MPI) prima di eseguire job MPI su Google Cloud. Per saperne di più, consulta la sezione Utilizza Intel MPI 2021.

RPM preinstallati

L'immagine VM HPC è dotata dei seguenti pacchetti RPM preinstallati:

  • daos-client
  • gcc-gfortran
  • gcc-toolset-12
  • Lmod
  • dkms
  • htop
  • hwloc
  • hwloc-devel
  • infiniband-diags
  • kernel-devel
  • kmod-idpf-irdma
  • libfabric
  • librdmacm-utils
  • libibverbs-utils
  • libXt
  • ltrace
  • nfs-utils
  • numactl
  • numactl-devel
  • papi
  • pciutils
  • pdsh
  • perf
  • perftest
  • rdma-core
  • redhat-lsb-core (solo VM HPC Rocky 8)
  • redhat-lsb-cxx (solo VM HPC Rocky 8)
  • rsh
  • screen
  • strace
  • wget
  • zsh
  • Gruppo di pacchetti "Strumenti di sviluppo"

Guide rapide

Questi tutorial descrivono i passaggi per configurare un'istanza VM ottimizzata per l'HPC. Le procedure descrivono come:

  • Crea un'istanza VM HPC (senza configurare Cloud RDMA)
  • Specifica una policy di posizionamento compatto durante la creazione di istanze VM HPC
  • Crea un'istanza VM HPC che utilizza Cloud RDMA

Non puoi aggiungere Cloud RDMA a un'istanza VM HPC esistente, quindi segui i passaggi appropriati durante la creazione dell'istanza.

Prima di iniziare

  1. Per utilizzare Google Cloud CLI per questa guida rapida, devi prima installare e inizializzare questo strumento di interfaccia:
  2. Nella console Google Cloud , nella pagina di selezione del progetto, seleziona o crea un progettoGoogle Cloud .

Crea un'istanza VM HPC

Ti consigliamo vivamente di utilizzare l'immagine VM HPC con i tuoi workload HPC utilizzando le seguenti serie di macchine:

I tipi di macchine di queste serie hanno mappature dei core da virtuali a fisici fisse ed espongono l'architettura delle celle NUMA al sistema operativo guest, entrambi elementi fondamentali per le prestazioni delle applicazioni HPC ad alto accoppiamento.

Se crei più istanze VM HPC interconnesse, segui le istruzioni riportate in Crea istanze VM HPC con policy di posizionamento compatto per ottenere una bassa latenza di rete.

Console

  1. Nella console Google Cloud , vai alla pagina Crea un'istanza.

    Vai a Crea un'istanza

    Se richiesto, seleziona il progetto e fai clic su Continua. Viene visualizzata la pagina Crea un'istanza, che mostra il riquadro Configurazione macchina.

  2. Nel riquadro Configurazione macchina, segui questi passaggi:

    1. Nel campo Nome, specifica un nome per l'istanza di computing. Per maggiori informazioni, consulta Convenzioni per la denominazione delle risorse.

    2. (Facoltativo) Seleziona una regione e una zona per l'istanza.

      La selezione predefinita per Zona è Qualsiasi. Se non modifichi questa selezione predefinita, Google sceglie automaticamente una zona in base al tipo di macchina e alla disponibilità.

    3. Fai clic sulla scheda Ottimizzata per il calcolo. La console Google Cloud mostra le serie di macchine disponibili per la famiglia di macchine selezionata.

    4. Nella colonna Serie, seleziona la serie di macchine per la tua VM, ad esempio C2.

    5. Nella sezione Tipo di macchina, seleziona il tipo di macchina per la tua VM, ad esempio c2-standard-60.

  3. Nel menu di navigazione (a sinistra), fai clic su Sistema operativo e spazio di archiviazione. In

  4. Nel riquadro Sistema operativo e spazio di archiviazione, configura il disco di avvio seguendo questi passaggi:

    1. Fai clic su Cambia. Viene visualizzato il riquadro Disco di avvio con la scheda Immagini pubbliche.
    2. Nell'elenco Sistema operativo, seleziona Immagine VM HPC.
    3. Nell'elenco Versione, seleziona la versione del sistema operativo.
    4. (Facoltativo) Nell'elenco Tipo di disco di avvio, seleziona il tipo di disco di avvio.
    5. (Facoltativo) Nel campo Dimensioni (GB), specifica le dimensioni del disco di avvio.
    6. (Facoltativo) Per i dischi di avvio Hyperdisk bilanciato, specifica i valori per i campi IOPS sottoposte a provisioning e Throughput riservato.
    7. (Facoltativo) Per le opzioni di configurazione avanzata, espandi la sezione Mostra configurazioni avanzate.
    8. Per confermare le opzioni del disco di avvio e tornare al riquadro Sistema operativo e spazio di archiviazione, fai clic su Seleziona.

  5. Nel menu di navigazione, fai clic su Networking. Nel riquadro Networking visualizzato, segui questi passaggi:

    1. Vai alla sezione Firewall.

    2. Per consentire il traffico HTTP o HTTPS verso la VM, seleziona Consenti traffico HTTP o Consenti traffico HTTPS.

      Compute Engine aggiunge un tag di rete alla VM e crea la regola firewall in entrata corrispondente che consente tutto il traffico in entrata su tcp:80 (HTTP) o tcp:443 (HTTPS). Il tag di rete associa la regola firewall alla VM. Per saperne di più, consulta la Panoramica delle regole firewall nella documentazione di Cloud Next Generation Firewall.

  6. (Facoltativo) Se hai scelto un'immagine sistema operativo che supporta le funzionalità delle Shielded VM, puoi modificare le impostazioni delle Shielded VM.

    Per farlo, fai clic su Sicurezza nel menu di navigazione. Nel riquadro Sicurezza che viene visualizzato, puoi configurare quanto segue:

  7. (Facoltativo) Specifica altre opzioni di configurazione. Per ulteriori informazioni, consulta Opzioni di configurazione durante la creazione dell'istanza.

  8. (Facoltativo) Per creare l'istanza di computing utilizzando le risorse riservate, nel menu di navigazione, fai clic su Avanzate. Nella sezione Prenotazioni, seleziona Utilizza la selezione automatica. Per utilizzare la prenotazione, assicurati che le proprietà dell'istanza di computing corrispondano a quelle specificate nella prenotazione.

  9. Per creare e avviare l'istanza VM HPC, fai clic su Crea.

gcloud

Crea un'istanza VM HPC utilizzando il comando instances create.

Per creare un'istanza VM HPC senza una policy di posizionamento, utilizza un comando simile al seguente:

gcloud compute instances create INSTANCE_NAME \
        --zone=ZONE \
        --image-family=IMAGE_FAMILY \
        --image-project=cloud-hpc-image-public \
        --maintenance-policy=TERMINATE \
        --machine-type=MACHINE_TYPE

Sostituisci quanto segue:

  • INSTANCE_NAME: un nome per l'istanza VM HPC.
  • ZONE: la zona in cui creare l'istanza.
  • IMAGE_FAMILY: la famiglia di immagini da utilizzare per la creazione delle istanze VM. Utilizza hpc-rocky-linux-8 per la versione immagine più recente basata su Rocky Linux 8 o hpc-rocky-linux-9 per la versione immagine più recente basata su Rocky Linux 9.
  • MACHINE_TYPE: il tipo di macchina da utilizzare per la creazione dell'istanza VM.

Dopo un po' di tempo, la creazione dell'istanza VM viene completata. Per verificare la configurazione dell'istanza e per visualizzarne lo stato, esegui il seguente comando:

gcloud compute instances describe INSTANCE_NAME

REST

Utilizza il metodo instances.insert per creare un'istanza di Compute che utilizza un'immagine sistema operativo VM HPC:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances

{
   "machineType":"zones/ZONE/machineTypes/MACHINE_TYPE",
   "name":"VM_NAME",
   "disks":[
      {
         "initializeParams":{
            "sourceImage":"projects/cloud-hpc-image-public/global/images/IMAGE"
         },
         "boot":true
      }
   ],
   "networkInterfaces":[
      {
         "network":"global/networks/NETWORK_NAME"
      }
   ]
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto in cui creare l'istanza di computing
  • ZONE: la zona in cui creare l'istanza di computing
  • MACHINE_TYPE: tipo di macchina, predefinito o personalizzato, per la nuova istanza di computing
  • INSTANCE_NAME: il nome della nuova istanza di computing
  • IMAGE: specifica una delle seguenti opzioni:
    • IMAGE: una versione specifica di un'immagine VM HPC, ad esempio hpc-rocky-linux-9-v20260326
    • IMAGE_FAMILY: la famiglia di immagini, che è hpc-rocky-linux-9 o hpc-rocky-linux-8. L'utilizzo di questo metodo crea l'istanza di computing utilizzando l'immagine VM HPC più recente e non deprecata nella famiglia specificata.
  • NETWORK_NAME: la rete VPC che vuoi utilizzare per l'istanza di computing. Puoi specificare default per utilizzare la rete predefinita.

Crea istanze VM HPC con policy di posizionamento compatto

Puoi ridurre la latenza tra le istanze di calcolo creando una policy di posizionamento compatto. Una policy di posizionamento compatto garantisce che le istanze nella stessa zona di disponibilità siano posizionate vicine tra loro.

Se hai bisogno di più istanze di computing di quante possano essere inserite in una singola policy di posizionamento compatto, suddividile in più policy di posizionamento. Utilizza il numero minimo di policy di posizionamento che possono adattarsi a tutte le tue istanze.

Per creare istanze di VM HPC che specificano una policy di posizionamento compatto, segui questi passaggi:

  1. Crea una policy di posizionamento compatto.

  2. Esegui una delle seguenti operazioni:

Crea un'istanza VM HPC che utilizza Cloud RDMA

Per creare un'istanza VM HPC che utilizza Cloud RDMA, devi prima creare almeno una rete Virtual Private Cloud (VPC) normale e una rete VPC Falcon. La rete VPC Falcon utilizza un profilo di rete RDMA che consente il traffico RDMA tra le istanze di computing. Questa rete è separata dalla rete VPC normale che trasporta il traffico non RDMA ad altri serviziGoogle Cloud o a internet.

Per creare un'istanza VM HPC che utilizza Cloud RDMA, le attività da completare sono le seguenti:

  1. Identifica o crea almeno due reti VPC:

    • Una rete VPC normale per il traffico che passa attraverso l'interfaccia di rete gVNIC
    • Una rete VPC Falcon per il traffico di rete RDMA

  2. Crea un'istanza VM HPC.

    1. Per l'immagine di origine, utilizza un'immagine VM HPC. Questa immagine include i driver necessari per Cloud RDMA.

    2. Durante la creazione dell'istanza, configura almeno due interfacce di rete: una che utilizza il driver gVNIC e una che utilizza il driver IRDMA.

      Per una spiegazione più completa, consulta Crea un'istanza che utilizza Cloud RDMA.

  3. Se prevedi di eseguire applicazioni MPI sulle istanze VM HPC che utilizzano Cloud RDMA, segui i passaggi di configurazione di MPI in Configurare e scalare le applicazioni MPI sulle VM H4D con Cloud RDMA.

Accedi all'istanza VM HPC

Dopo aver creato l'istanza VM HPC, questa si avvia automaticamente. Per accedere all'istanza, procedi in uno dei seguenti modi:

Console

  1. Nella console Google Cloud , vai alla pagina Istanze VM.

    Vai a Istanze VM

  2. Fai clic sul nome dell'istanza di computing.

  3. Nella sezione Accesso remoto, fai clic sul primo elenco a discesa e scegli come accedere all'istanza.

Compute Engine propaga le tue chiavi SSH e crea il tuo utente. Per saperne di più, vedi Connessione alle VM Linux.

gcloud

Per accedere all'istanza tramite SSH, utilizza il comando gcloud compute ssh:

gcloud compute ssh INSTANCE_NAME --zone ZONE

Compute Engine propaga le tue chiavi SSH e crea il tuo utente. Per saperne di più, consulta Connettiti alle VM Linux.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in queste guide rapide, elimina tutte le istanze VM HPC e tutte le risorse collegate che hai creato.

Console

  1. Nella console Google Cloud , vai alla pagina Istanze VM.

    Vai a Istanze VM

  2. Seleziona le istanze da eliminare.

  3. Fai clic su Elimina.

  4. Nella finestra di dialogo, procedi nel seguente modo:

    1. (Facoltativo) Per eliminare le istanze senza arrestarle in modo normale o terminare un arresto normale in corso, seleziona la casella di controllo Salta arresto normale (se applicabile).

    2. Per confermare, fai clic su Elimina.

  5. Per eliminare i dischi utilizzati dalle istanze eliminate, vai alla pagina Dischi e segui questi passaggi:

    Vai a Dischi

    1. Seleziona i dischi da eliminare. I dischi selezionati non possono avere un valore nella colonna In uso da.

    2. Fai clic su Elimina.

    3. Per confermare, fai clic su Elimina.

gcloud

Per eliminare una o più istanze nella stessa zona, utilizza il comando gcloud compute instances delete. Per forzare l'eliminazione dei dischi collegati a una o più istanze, includi il flag --delete-disks:

gcloud compute instances delete INSTANCE_NAMES \
        --delete-disks=DELETE_DISK_TYPE \
        --zone=ZONE

Sostituisci quanto segue:

  • INSTANCE_NAMES: un elenco di nomi di istanze separati da spazi, ad esempio instance-01 instance-02 instance-03.

  • ZONE: la zona in cui si trovano le istanze.

  • DELETE_DISK_TYPE: specifica uno dei seguenti valori:

    • Per eliminare l'archiviazione permanente di avvio e non di avvio collegata: all
    • Per eliminare solo l'archiviazione permanente di avvio collegata: boot
    • Per eliminare solo l'archiviazione permanenteo non di avvio: data

REST

  1. Per eliminare un'istanza, effettua una richiesta DELETE al metodo instances.delete:

    DELETE https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/INSTANCE_NAME

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del progetto in cui si trova l'istanza
    • ZONE: la zona dell'istanza
    • INSTANCE_NAME: il nome dell'istanza

  2. Per eliminare un disco utilizzato dall'istanza, invia una richiesta DELETE al metodo disks.delete:

    DELETE https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/disks/DISK_NAME

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del progetto in cui si trova il disco.
    • ZONE: la zona in cui si trova il disco.
    • DISK_NAME: il nome del disco.

  3. Ripeti i passaggi precedenti per altre istanze o dischi.

Configura l'istanza VM HPC in base alle best practice

Per ottenere prestazioni migliori e più prevedibili per la tua istanza VM HPC, ti consigliamo di utilizzare le seguenti best practice.

Disabilita il multi-threading simultaneo

Per impostazione predefinita, l'immagine VM HPC abilita il multi-threading simultaneo (SMT), noto anche come Hyper-Threading sui processori Intel. La disattivazione dell'SMT può rendere le performance più prevedibili e ridurre i tempi di esecuzione dei job.

Per disattivare SMT, puoi utilizzare i seguenti metodi:

  • Per disattivare SMT durante la creazione di una nuova istanza VM HPC, segui i passaggi per creare un'istanza VM HPC e includi il flag
    --threads-per-core=1.

  • Per disattivare SMT su un'istanza VM HPC esistente, connettiti all'istanza ed esegui questo comando dal sistema operativo guest:

    sudo google_mpi_tuning --nosmt

Per ulteriori informazioni, vedi Imposta il numero di thread per core.

Configurare gVNIC come tipo di interfaccia di rete per le istanze C2 e C2D

L'immagine VM HPC supporta sia Virtio-net sia Google Virtual NIC (gVNIC) come interfacce di rete virtuali. L'utilizzo di gVNIC anziché Virtio-net può migliorare la scalabilità delle applicazioni MPI offrendo prestazioni di comunicazione migliori e un throughput più elevato. Inoltre, gVNIC è un prerequisito per le prestazioni di rete Tier_1 per VM, che offrono una maggiore larghezza di banda e consentono un throughput più elevato.

Se crei una nuova istanza C2 o C2D, per impostazione predefinita viene utilizzato Virtio-net per l'interfaccia di rete virtuale. Per utilizzare gVNIC, segui i passaggi per creare un'istanza VM HPC e svolgi una delle seguenti operazioni:

Console

Per impostare gVNIC come interfaccia di rete, durante la creazione dell'istanza, fai clic su Networking nel menu di navigazione. Nel riquadro Networking visualizzato, segui questi passaggi:

  1. Vai alla sezione Interfacce di rete.
  2. In Scheda di interfaccia di rete, seleziona gVNIC.

gcloud

Includi il flag --network-interface=nic-type=GVNIC nel comando gcloud compute instances create.

REST

Nella richiesta POST al metodo instances.insert, includi "nicType": "GVNIC" nella proprietà networkInterfaces.

L'immagine VM HPC include il driver gVNIC come Dynamic Kernel Module Support (DKMS). Per saperne di più, consulta Utilizzo di Google Virtual NIC.

Disattiva le mitigazioni di Meltdown e Spectre

L'immagine VM HPC attiva le mitigazioni di Meltdown e Spectre per impostazione predefinita. In alcuni casi, queste mitigazioni potrebbero comportare un peggioramento delle prestazioni specifiche per il workload. Per disattivare queste mitigazioni ed evitare di incorrere in rischi per la sicurezza a queste associati, segui questi passaggi:

  1. Esegui questo comando nell'istanza HPC:

    sudo google_mpi_tuning --nomitigation

  2. Riavvia l'istanza.

Migliora le prestazioni di rete

Per migliorare le prestazioni di rete dell'istanza, configura una o più delle seguenti configurazioni:

  • Configura una larghezza di banda più elevata. Per configurare il networking Tier_1 per le istanze di computing C2 o C2D, utilizza il comando gcloud compute instances create per creare l'istanza. Specifica il flag --network-performance-configs quando crei l'istanza. Per saperne di più, consulta Crea istanze e container che utilizzano il networking Tier_1.

  • Utilizza i frame jumbo. Per ridurre al minimo l'overhead di elaborazione per i pacchetti di rete, consigliamo di utilizzare una dimensione del pacchetto più grande. Per le specifiche della tua applicazione, devi configurare dimensioni di pacchetti più grandi. Per informazioni sull' utilizzo dei frame jumbo e delle dimensioni dei pacchetti, consulta la guida all'unità massima di trasmissione.

  • Aumenta i limiti di memoria TCP. Una larghezza di banda più elevata richiede una memoria TCP più grande. Segui i passaggi per aumentare le impostazioni di tcp_*mem.

  • Utilizza il profilo di latenza di rete. Valuta la latenza della tua applicazione e attiva il polling occupato che riduce la latenza nel percorso di ricezione della rete. Modifica le impostazioni net.core.busy_poll e net.core.busy_read in /etc/sysctl.conf oppure utilizza tuned-adm.

Utilizza Intel MPI 2021

Google consiglia di utilizzare la libreria Intel MPI 2021 per l'esecuzione di job MPI su Google Cloud.

Le implementazioni MPI hanno molti parametri di configurazione interni che possono influire sulle prestazioni di comunicazione. Questi parametri sono particolarmente importanti per la comunicazione collettiva MPI, che consente di specificare algoritmi e parametri di configurazione in grado di avere prestazioni molto diverse nell'ambiente Google Cloud.

L'immagine VM HPC include un'utilità, google-hpc-compute, che installa le librerie MPI consigliate e utilizza fornitori libfabric Google Cloud personalizzati tramite il trasporto TCP.

Limitazioni

I vantaggi dell'ottimizzazione variano da un'applicazione all'altra. In alcuni casi, una determinata ottimizzazione potrebbe avere un effetto negativo sulle prestazioni. Valuta la possibilità di eseguire il benchmarking delle tue applicazioni per trovare la configurazione più efficiente o conveniente.

Utilizza l'utilità google-hpc-compute per il supporto di Intel MPI 2021

Lo script google_install_intelmpi è lo strumento correlato a MPI nell'utilità google-hpc-compute. Semplifica l'installazione e la configurazione di Intel MPI.

L'utilità google-hpc-compute è inclusa nell'immagine VM HPC.

Installa Intel MPI 2021

Per installare la libreria Intel MPI durante la creazione di una nuova istanza VM HPC, segui i passaggi per creare un'istanza VM HPC e includi quanto segue durante la creazione dell'istanza di computing:

--metadata=google_install_intelmpi="--impi_2021"

Per installare la libreria su un'istanza VM HPC esistente, esegui questo comando sull'istanza di Compute:

sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI

La posizione predefinita per install_dir è impostata su /opt/intel.

Libreria Intel MPI e ottimizzazioni collettive MPI

L'immagine VM HPC include ottimizzazioni generiche che disabilitano l'hyperthreading, ottimizzano la memoria, modificano i limiti delle risorse di sistema e applicano profili ottimizzati personalizzati. Lo script google_hpc_firstrun è progettato per essere eseguito automaticamente al primo avvio di un'istanza VM HPC.

Nell'ambito dell'utilità google-hpc-firstrun, viene eseguito lo script mpi-tuning per migliorare le prestazioni e la latenza dell'istanza VM HPC. Puoi eseguire lo script mpi-tuning.sh per applicare le ottimizzazioni alle singole istanze di computing.

Usage:
  Verify tuning steps: $ mpi_tuning OPTIONS --dryrun
  Apply tunings: $ mpi_tuning OPTIONS

Options:
  --hpcprofile       Install and apply google-hpc-compute tuned profile
                     Also applies: --tcpmem, --limits
  --hpcthroughput    Install and apply google-hpc-compute-throughput profile
                     Also applies: --tcpmem, --limits
  --tcpmem           Increase memory for TCP
  --limits           Change the system ulimits
  --nosmt            Disable simultaneous multi threading
  --nofirewalld      Disable firewalld
  --noselinux        Disable SE Linux (reboot required)
  --nomitigation     Disable CPU vulnerabilities mitigations (reboot required)
  --reboot           Reboot system after tunings if required
  --dryrun           Do not execute commands
  --verbose          Print verbose messages
  --help             Show help message

Crea un'immagine personalizzata utilizzando l'immagine VM HPC

Per implementare le best practice su larga scala, crea un'immagine sistema operativo personalizzata da utilizzare con le tue istanze VM HPC. Completa le seguenti attività per creare un'immagine personalizzata da utilizzare durante la creazione di istanze VM HPC:

  1. Crea un'istanza di computing che utilizza l'immagine VM HPC.

  2. Personalizza l'istanza di computing con le ottimizzazioni MPI.

  3. Crea un'immagine personalizzata utilizzando il disco di avvio dell'immagine VM HPC come disco di origine. Puoi farlo tramite la consoleGoogle Cloud o Google Cloud CLI.

Console

  1. Nella console Google Cloud , vai alla pagina Immagini.

    Vai a Immagini

  2. Fai clic su Crea immagine.

  3. Specifica un nome per l'immagine.

  4. In Disco di origine, seleziona il nome del disco di avvio sull'istanza VM HPC.

  5. Seleziona le altre proprietà rimanenti per l'immagine.

  6. Fai clic su Crea.

gcloud

Crea l'immagine personalizzata utilizzando il comando images create.

gcloud compute images create IMAGE_NAME \
         --source-disk=INSTANCE_NAME \
         --source-disk-zone=ZONE \
         --family=IMAGE_FAMILY \
         --storage-location=LOCATION

Sostituisci quanto segue:

  • IMAGE_NAME: il nome dell'immagine personalizzata
  • INSTANCE_NAME: il nome dell'istanza VM HPC.
  • ZONE: la zona in cui si trova l'istanza VM HPC.
  • IMAGE_FAMILY: facoltativo. La famiglia di immagini a cui appartiene questa immagine.
  • LOCATION: facoltativo. La regione in cui archiviare l'immagine personalizzata. La località predefinita è la multi-regione più vicina alla località del disco di origine.

Prezzi

L'immagine VM HPC è disponibile senza costi aggiuntivi. Poiché l'immagine VM HPC viene eseguita su Compute Engine, potresti dover sostenere dei costi relativi alle risorse di Compute Engine, come vCPU, dischi e memoria.

Per saperne di più, consulta la pagina relativa ai prezzi di Compute Engine.

Passaggi successivi