Créer une instance de VM compatible avec HPC

Les charges de travail de calcul hautes performances étroitement couplée utilisent souvent l&#HPC;interface de transmission de messages (MPI, Message Passing Interface) pour communiquer entre les processus et les instances Compute Engine. Toutefois,la création de votre propre image d'OS adaptée aux performances MPI optimales nécessite une expertise système, une connaissance de Google Cloud et un temps de maintenance supplémentaire. Pour configurer rapidement un environnement optimisé pour vos charges de travail HPC, utilisez une image de VM HPC.

Une image de VM HPC est basée sur Rocky Linux 8 ou Rocky Linux 9, et est optimisée pour les charges de travail HPC à couplage fort. Elle inclut le noyau préconfiguré et les paramètres de réglages réseau nécessaires pour créer des instances de calcul qui atteignent des performances MPI optimales sur Google Cloud.

Pour obtenir les meilleurs résultats, déployez l'image de VM HPC sur un type de machine de la série de machines optimisées pour le calcul. Ces types de machines sont conçus pour les applications HPC à couplage fort. Pour utiliser Cloud RDMA avec H4D, vous devez utiliser la version 20250917 ou ultérieure de l'image HPC VM Rocky 8.

Vous pouvez créer une instance de VM HPC à l'aide de l'une des méthodes disponibles pour créer une instance de calcul. Vous pouvez également utiliser Slurm Workload Manager de SchedMD pour déployer un cluster HPC. La compatibilité avec Slurm n'est pas encore disponible pour les images de VM HPC basées sur Rocky Linux 9.

Avant de commencer

Avantages

L'image de VM HPC offre les avantages suivants :

  1. Instances de calcul prêtes à l'emploi pour les charges de travail HPC. Vous n'avez pas besoin de régler manuellement les performances, de gérer les redémarrages des instances de calcul ni de vous tenir informé des dernières mises à jour Google Cloud concernant les charges de travail HPC à couplage fort.
  2. Optimisations de la mise en réseau pour les charges de travail à couplage fort. Optimisations permettant de réduire la latence des petits messages, ce qui profite aux applications fortement dépendantes des communications de type point à point et collectives. Si vous utilisez la série de machines H4D, l'image HPC VM Rocky 8 contient les pilotes Cloud RDMA nécessaires.
  3. Optimisations du calcul pour les charges de travail HPC. Optimisations permettant de réduire la gigue du système, ce qui rend les hautes performances plus prévisibles sur un nœud unique.
  4. Performances cohérentes et reproductibles : La standardisation des images d'OS offre des performances cohérentes et reproductibles au niveau de l'application.
  5. Compatibilité des applications améliorée L'alignement avec les exigences au niveau du nœud de la spécification de la plate-forme HPC Intel permet un haut degré d'interopérabilité entre les systèmes.

Fonctionnalités de l'image de VM HPC

L'image de VM HPC offre plusieurs fonctionnalités conçues pour optimiser les performances des charges de travail de calcul hautes performances (HPC) :

  • Mises à jour automatiques désactivées
  • Réglages collectifs MPI
  • RPM préinstallés

Mises à jour automatiques désactivées

Les mises à jour automatiques peuvent avoir un impact négatif sur les performances des charges de travail HPC. Vous pouvez désactiver les mises à jour automatiques lorsque vous utilisez des images de VM HPC en définissant l'entrée de métadonnées google_disable_automatic_updates sur TRUE lors de la création d'une instance de calcul. La façon dont cette entrée de métadonnées est définie lors de la création de l'instance dépend de l'outil que vous utilisez pour créer l'instance.

Par exemple, lorsque vous utilisez la commande gcloud compute instances create pour créer une instance de calcul, fournissez l'argument --metadata. Pour en savoir plus, consultez la page À propos des métadonnées de VM.

L'entrée de métadonnées google_disable_automatic_updates est disponible comme suit :

  • Images de VM HPC Rocky 9 : toutes les versions.
  • Images de VM HPC Rocky 8 : uniquement dans les images créées le 12 juillet 2024 ou après. La date de compilation (au format YYYYMMDD) est utilisée comme numéro de version à la fin des noms d'image. Par exemple, une image de VM HPC Rocky 8 créée le 21 juillet 2025 se nomme hpc-rocky-linux-8-v20250721.

Si vous désactivez les mises à jour automatiques sur vos instances H4D, vous devez exécuter régulièrement la commande dnf update sur l'instance pour maintenir le pilote Cloud RDMA à jour.

Bibliothèque Intel MPI

Google vous recommande d'utiliser le script google_install_intelmpi pour installer la bibliothèque MPI (Message Passing Interface) avant d'exécuter des jobs MPI surGoogle Cloud. Pour en savoir plus, consultez Utiliser Intel MPI 2021.

RPM préinstallés

Les packages RPM suivants sont préinstallés sur l'image de la VM HPC:

  • daos-client
  • gcc-gfortran
  • gcc-toolset-12
  • Lmod
  • dkms
  • htop
  • hwloc
  • hwloc-devel
  • infiniband-diags
  • kernel-devel
  • kmod-idpf-irdma
  • libfabric
  • librdmacm-utils
  • libibverbs-utils
  • libXt
  • ltrace
  • nfs-utils
  • numactl
  • numactl-devel
  • papi
  • pciutils
  • pdsh
  • perf
  • perftest
  • rdma-core
  • redhat-lsb-core (VM HPC Rocky 8 uniquement)
  • redhat-lsb-cxx (VM HPC Rocky 8 uniquement)
  • rsh
  • screen
  • strace
  • wget
  • zsh
  • Groupe de packages "Outils pour les développeurs"

Guides de démarrage rapide

Ces tutoriels décrivent les étapes à suivre pour configurer une instance de VM optimisée pour le HPC. Les procédures décrivent comment :

  • Créer une instance de VM HPC (sans configurer Cloud RDMA)
  • Spécifier une stratégie d'emplacement compact lors de la création d'instances de VM HPC
  • Créer une instance de VM HPC qui utilise Cloud RDMA

Vous ne pouvez pas ajouter Cloud RDMA à une instance de VM HPC existante. Suivez donc les étapes appropriées lors de la création de votre instance.

Avant de commencer

  1. Pour utiliser Google Cloud CLI dans le cadre de ce guide de démarrage rapide, vous devez d'abord installer et initialiser Google Cloud CLI :
  2. Dans la console Google Cloud , sur la page de sélection du projet, sélectionnez ou créez un projetGoogle Cloud .

Créer une instance de VM HPC

Nous vous recommandons vivement d'utiliser l'image de VM HPC avec vos charges de travail HPC à l'aide des séries de machines suivantes :

Les types de machines de ces séries ont des mappages de cœur virtuel vers physique fixes et exposent l'architecture de cellule NUMA au système d'exploitation invité. Ces deux éléments sont essentiels à la performance d'applications HPC à couplage fort.

Si vous créez plusieurs instances de VM HPC interconnectées, suivez les instructions de la section Créer des instances de VM HPC avec des règles de concentration pour obtenir une faible latence réseau.

Console

  1. Accédez à la page Créer une instance dans la console Google Cloud .

    Accéder à la page "Créer une instance"

    Si vous y êtes invité, sélectionnez votre projet et cliquez sur Continuer. La page Créer une instance s'affiche et le volet Configuration de la machine s'ouvre.

  2. Dans le volet Configuration de la machine, procédez comme suit :

    1. Dans le champ Nom, spécifiez un nom pour votre instance de calcul. Pour en savoir plus, consultez Recommandation pour l'attribution de noms aux ressources.

    2. Facultatif : Sélectionnez une région et une zone pour l'instance.

      La sélection par défaut pour Zone est Toutes. Si vous ne modifiez pas cette sélection par défaut, Google choisit automatiquement une zone en fonction du type de machine et de la disponibilité.

    3. Cliquez sur l'onglet Optimisé pour le calcul. La console Google Cloud affiche ensuite les séries de machines disponibles pour la famille de machines que vous avez sélectionnée.

    4. Dans la colonne Série, sélectionnez la série de machines pour votre VM (par exemple, C2).

    5. Dans la section Type de machine, sélectionnez le type de machine pour votre VM (par exemple, c2-standard-60).

  3. Dans le menu de navigation (sur la gauche), cliquez sur OS et stockage. Dans

  4. Dans le volet Système d'exploitation et stockage, configurez votre disque de démarrage en procédant comme suit :

    1. Cliquez sur Modifier. Le volet Disque de démarrage s'affiche et l'onglet Images publiques est sélectionné.
    2. Dans la liste Système d'exploitation, sélectionnez Image de VM HPC.
    3. Dans le champ Version, sélectionnez la version du système d'exploitation.
    4. Facultatif : Dans la liste Type de disque de démarrage, sélectionnez le type de disque de démarrage.
    5. Facultatif : Dans le champ Taille (Go), spécifiez la taille du disque de démarrage.
    6. Facultatif : Pour les disques de démarrage Hyperdisk Balanced, spécifiez des valeurs pour les champs IOPS provisionnées et Débit provisionné.
    7. Facultatif : Pour afficher les options de configuration avancées, développez la section Afficher les configurations avancées.
    8. Pour confirmer vos options de disque de démarrage et revenir au volet Système d'exploitation et stockage, cliquez sur Sélectionner.

  5. Dans le menu de navigation, cliquez sur Mise en réseau. Dans le volet Mise en réseau qui s'affiche, procédez comme suit :

    1. Accédez à la section Pare-feu.

    2. Pour autoriser le trafic HTTP ou HTTPS vers la VM, sélectionnez Autoriser le trafic HTTP ou Autoriser le trafic HTTPS.

      La console ajoute un tag réseau à votre VM et crée la règle de pare-feu d'entrée correspondante, qui autorise l'intégralité du trafic entrant sur le port tcp:80 (HTTP) ou tcp:443 (HTTPS). Le tag réseau associe la règle de pare-feu à la VM. Pour en savoir plus, consultez Présentation des règles de pare-feu dans la documentation de Cloud Next Generation Firewall.

  6. Facultatif : si vous avez choisi une image d'OS compatible avec les fonctionnalités de VM protégée, vous pouvez modifier les paramètres de VM protégée :

    Pour ce faire, dans le menu de navigation, cliquez sur Sécurité. Dans le volet Sécurité qui s'affiche, vous pouvez configurer les éléments suivants :

  7. Facultatif : spécifiez d'autres options de configuration. Pour en savoir plus, consultez Options de configuration lors de la création d'une instance.

  8. Facultatif : Pour créer l'instance de calcul à l'aide de ressources réservées, cliquez sur Avancé dans le menu de navigation. Dans la section Réservations, sélectionnez Utiliser la sélection automatique. Pour utiliser la réservation, assurez-vous que les propriétés de l'instance de calcul correspondent à celles spécifiées dans la réservation.

  9. Pour créer et démarrer l'instance de VM HPC, cliquez sur Créer.

gcloud

Créez une instance de VM HPC à l'aide de la commande instances create.

Pour créer une instance de VM HPC sans règle de placement, utilisez une commande semblable à la suivante :

gcloud compute instances create INSTANCE_NAME \
        --zone=ZONE \
        --image-family=IMAGE_FAMILY \
        --image-project=cloud-hpc-image-public \
        --maintenance-policy=TERMINATE \
        --machine-type=MACHINE_TYPE

Remplacez les éléments suivants :

  • INSTANCE_NAME : nom de l'instance de VM HPC.
  • ZONE : zone dans laquelle créer l'instance.
  • IMAGE_FAMILY : famille d'images de l'image à utiliser lors de la création des instances de VM. Utilisez hpc-rocky-linux-8 pour la dernière version d'image basée sur Rocky Linux 8, ou hpc-rocky-linux-9 pour la dernière version d'image basée sur Rocky Linux 9.
  • MACHINE_TYPE : type de machine à utiliser lors de la création de l'instance de VM.

Après un certain temps, la création de l'instance de VM se termine. Pour vérifier la configuration de l'instance et afficher son état, exécutez la commande suivante :

gcloud compute instances describe INSTANCE_NAME

REST

Utilisez la méthode instances.insert pour créer une instance de calcul qui utilise une image d'OS de VM HPC :

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances

{
   "machineType":"zones/ZONE/machineTypes/MACHINE_TYPE",
   "name":"VM_NAME",
   "disks":[
      {
         "initializeParams":{
            "sourceImage":"projects/cloud-hpc-image-public/global/images/IMAGE"
         },
         "boot":true
      }
   ],
   "networkInterfaces":[
      {
         "network":"global/networks/NETWORK_NAME"
      }
   ]
}

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet dans lequel créer l'instance de calcul
  • ZONE : zone dans laquelle créer l'instance de calcul.
  • MACHINE_TYPE : type de machine, prédéfini ou personnalisé, pour la nouvelle instance de calcul
  • INSTANCE_NAME : nom de la nouvelle instance de calcul
  • IMAGE : Spécifiez l'une des options suivantes :
    • IMAGE : version spécifique d'une image de VM HPC, par exemple hpc-rocky-linux-9-v20260326
    • IMAGE_FAMILY : famille d'images, à savoir hpc-rocky-linux-9 ou hpc-rocky-linux-8. Cette méthode permet de créer l'instance de calcul à l'aide de l'image de VM HPC non obsolète la plus récente de la famille spécifiée.
  • NETWORK_NAME : réseau VPC que vous souhaitez utiliser pour l'instance de calcul. Vous pouvez spécifier default pour utiliser votre réseau par défaut.

Créer des instances de VM HPC avec des règles de concentration

Vous pouvez réduire la latence entre les instances de calcul en créant une stratégie de placement compact. Une stratégie d'emplacement compact garantit que les instances situées dans la même zone de disponibilité sont proches les unes des autres.

Si vous avez besoin de plus d'instances de calcul que ne le permet une seule stratégie d'emplacement compact, divisez vos instances en plusieurs stratégies d'emplacement. Utilisez le nombre minimal de règles d'emplacement adaptées à toutes vos instances.

Pour créer des instances de VM HPC qui spécifient une stratégie d'emplacement compact, procédez comme suit :

  1. Créez une stratégie d'emplacement compact.

  2. Effectuez l'une des opérations suivantes :

Créer une instance de VM HPC qui utilise Cloud RDMA

Pour créer une instance de VM HPC qui utilise Cloud RDMA, vous devez d'abord créer au moins un réseau de cloud privé virtuel (VPC) standard et un réseau VPC Falcon. Le réseau VPC Falcon utilise un profil réseau RDMA qui permet le trafic RDMA entre les instances de calcul. Ce réseau est distinct du réseau VPC habituel qui transporte le trafic non RDMA vers d'autres servicesGoogle Cloud ou vers Internet.

Pour créer une instance de VM HPC qui utilise Cloud RDMA, vous devez effectuer les tâches suivantes :

  1. Identifiez ou créez au moins deux réseaux VPC :

    • Un réseau VPC standard pour le trafic qui transite par l'interface réseau gVNIC
    • Un réseau VPC Falcon pour le trafic réseau RDMA

  2. Créez une instance de VM HPC.

    1. Pour l'image source, utilisez une image de VM HPC. Cette image inclut les pilotes nécessaires pour Cloud RDMA.

    2. Lors de la création de l'instance, configurez au moins deux interfaces réseau : une qui utilise le pilote gVNIC et une qui utilise le pilote IRDMA.

      Pour obtenir une explication plus complète, consultez Créer une instance qui utilise Cloud RDMA.

  3. Si vous prévoyez d'exécuter des applications MPI sur les instances de VM HPC qui utilisent Cloud RDMA, suivez les étapes de configuration MPI décrites dans Configurer et mettre à l'échelle des applications MPI sur des VM H4D avec Cloud RDMA.

Accéder à l'instance de VM HPC

Une fois que vous avez créé l'instance de VM HPC, elle démarre automatiquement. Pour accéder à l'instance, effectuez l'une des opérations suivantes :

Console

  1. Dans la console Google Cloud , accédez à la page Instances de VM.

    Accéder à la page Instances de VM

  2. Cliquez sur le nom de votre instance de calcul.

  3. Dans la section Accès à distance, cliquez sur la première liste déroulante et choisissez le mode d'accès à l'instance souhaité.

Compute Engine propage vos clés SSH et crée votre utilisateur. Pour en savoir plus, consultez la page Se connecter à des VM Linux.

gcloud

Pour accéder à l'instance à l'aide de SSH, utilisez la commande gcloud compute ssh :

gcloud compute ssh INSTANCE_NAME --zone ZONE

Compute Engine propage vos clés SSH et crée votre utilisateur. Pour en savoir plus, consultez Se connecter à des VM Linux.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans ces guides de démarrage rapide ne soient facturées sur votre compte Google Cloud , supprimez toutes les instances de VM HPC et toutes les ressources associées que vous avez créées.

Console

  1. Dans la console Google Cloud , accédez à la page Instances de VM.

    Accéder à "Instances de VM"

  2. Sélectionnez les instances à supprimer.

  3. Cliquez sur  Supprimer.

  4. Dans la boîte de dialogue, procédez comme suit :

    1. Facultatif : Pour supprimer les instances sans arrêt progressif ou pour mettre fin à un arrêt progressif en cours, cochez la case Ignorer l'arrêt progressif (le cas échéant).

    2. Pour confirmer l'opération, cliquez sur Supprimer.

  5. Pour supprimer les disques utilisés par les instances supprimées, accédez à la page Disques, puis procédez comme suit :

    Accéder à la page Disques

    1. Sélectionnez les disques que vous souhaitez supprimer. Les disques que vous sélectionnez ne doivent pas avoir de valeur dans la colonne Utilisé par.

    2. Cliquez sur  Supprimer.

    3. Pour confirmer l'opération, cliquez sur Supprimer.

gcloud

Pour supprimer une ou plusieurs instances dans la même zone, utilisez la commande gcloud compute instances delete. Pour forcer la suppression des disques associés à une ou plusieurs instances, incluez le flag --delete-disks :

gcloud compute instances delete INSTANCE_NAMES \
        --delete-disks=DELETE_DISK_TYPE \
        --zone=ZONE

Remplacez les éléments suivants :

  • INSTANCE_NAMES : liste des noms d'instance séparés par des espaces (par exemple, instance-01 instance-02 instance-03).

  • ZONE : zone où se trouvent les instances.

  • DELETE_DISK_TYPE : spécifiez l'une des valeurs suivantes :

    • Pour supprimer le stockage persistant de démarrage et non amorçable associé : all
    • Pour ne supprimer que le stockage persistant de démarrage associé : boot
    • Pour ne supprimer que le stockage persistant non amorçable : data

REST

  1. Pour supprimer une instance, envoyez une requête DELETE à la méthode instances.delete :

    DELETE https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/INSTANCE_NAME

    Remplacez les éléments suivants :

    • PROJECT_ID : ID du projet dans lequel se trouve l'instance
    • ZONE : zone de l'instance
    • INSTANCE_NAME : nom de l'instance

  2. Pour supprimer un disque utilisé par l'instance, envoyez une requête DELETE à la méthode disks.delete :

    DELETE https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/disks/DISK_NAME

    Remplacez les éléments suivants :

    • PROJECT_ID : ID du projet dans lequel se trouve le disque.
    • ZONE : zone où se trouve le disque.
    • DISK_NAME : nom du disque.

  3. Répétez les étapes précédentes pour les instances ou les disques supplémentaires.

Configurer votre instance de VM HPC selon les bonnes pratiques

Pour optimiser les performances de votre instance de VM HPC et les rendre plus prévisibles, nous vous recommandons de suivre les bonnes pratiques suivantes.

Désactiver le multithreading simultané

L'image de VM HPC permet d'utiliser le multithreading simultané (SMT), également appelé Hyper-Threading sur les processeurs Intel, par défaut. La désactivation du SMT peut améliorer les performances de vos tâches et réduire les temps de tâche.

Vous pouvez utiliser les méthodes suivantes pour désactiver SMT :

  • Pour désactiver SMT lors de la création d'une instance de VM HPC, suivez les étapes permettant de créer une instance de VM HPC et ajoutez l'option
    --threads-per-core=1.

  • Pour désactiver SMT sur une instance de VM HPC existante, connectez-vous à l'instance et exécutez la commande suivante à partir de l'OS invité :

    sudo google_mpi_tuning --nosmt

Pour en savoir plus, consultez la section Définir le nombre de threads par cœur.

Configurer gVNIC comme type d'interface réseau pour les instances C2 et C2D

L'image de VM HPC est compatible avec Virtio-net et la carte d'interface réseau virtuelle Google (gVNIC) en tant qu'interfaces réseau virtuel. L'utilisation de gVNIC au lieu de Virtio-net peut améliorer l'évolutivité des applications MPI en offrant de meilleures performances de communication et un débit plus élevé. De plus, gVNIC est une condition préalable aux performances réseau Tier_1 par VM, qui offrent une bande passante plus élevée et permettent un débit plus élevé.

Si vous créez une instance C2 ou C2D, Virtio-net est utilisé par défaut pour l'interface de réseau virtuel. Pour utiliser gVNIC, suivez les étapes permettant de créer une instance de VM HPC et effectuez l'une des opérations suivantes :

Console

Pour définir gVNIC comme interface réseau lors de la création de l'instance, cliquez sur Mise en réseau dans le menu de navigation. Dans le volet "Mise en réseau" qui s'affiche, procédez comme suit :

  1. Accédez à la section Interfaces réseau.
  2. Pour Carte d'interface réseau, sélectionnez gVNIC.

gcloud

Incluez l'option --network-interface=nic-type=GVNIC dans la commande gcloud compute instances create.

REST

Dans la requête POST envoyée à la méthode instances.insert, incluez "nicType": "GVNIC" dans la propriété networkInterfaces.

L'image de VM HPC inclut le pilote gVNIC en tant que DKMS (Dynamic Kernel Module Support). Pour en savoir plus, consultez Utiliser la carte d'interface réseau virtuelle Google.

Désactiver les mesures d'atténuation pour Meltdown et de Spectre

Par défaut, l'image de VM HPC active les mesures d'atténuation des risques liés à Spectre et Meltdown. Dans certains cas, ces mesures d'atténuation peuvent entraîner une dégradation des performances spécifiques à la charge de travail. Pour désactiver ces mesures d'atténuation et limiter les risques de sécurité associés, procédez comme suit :

  1. Exécutez la commande suivante sur votre instance HPC :

    sudo google_mpi_tuning --nomitigation

  2. Redémarrez l'instance.

Améliorer les performances réseau

Pour améliorer les performances réseau de votre instance, définissez une ou plusieurs des configurations suivantes :

  • Configurez une bande passante plus élevée. Pour configurer la mise en réseau Tier_1 pour les instances de calcul C2 ou C2D, utilisez la commande gcloud compute instances create pour créer l'instance. Spécifiez l'option --network-performance-configs lors de la création de l'instance. Pour en savoir plus, consultez Créer des instances et des conteneurs qui utilisent la mise en réseau Tier_1.

  • Utiliser des trames géantes Pour réduire au minimum les frais de traitement des paquets réseau, nous vous recommandons d'utiliser une taille de paquet plus importante. Vous devez valider les tailles de paquets plus importantes selon les spécificités de votre application. Pour en savoir plus sur l'utilisation des trames géantes et des tailles de paquets, consultez le guide sur les unités de transmission maximales.

  • Augmentez les limites de mémoire TCP. Une bande passante plus élevée nécessite une mémoire TCP plus importante. Suivez la procédure permettant d'augmenter les paramètres tcp_*mem.

  • Utilisez le profil de latence du réseau. Évaluez la latence de votre application et activez l'interrogation intensive afin de réduire la latence dans le chemin de réception du réseau. Ajustez les paramètres net.core.busy_poll et net.core.busy_read dans /etc/sysctl.conf, ou utilisez tuned-adm.

Utiliser Intel MPI 2021

Google recommande d'utiliser la bibliothèque Intel MPI 2021 pour exécuter des jobs MPI surGoogle Cloud.

Les implémentations MPI comportent de nombreux paramètres de configuration internes qui peuvent affecter les performances de communication. Ces paramètres sont particulièrement pertinents pour la communication MPI collective qui vous permet de spécifier des algorithmes et des paramètres de configuration pouvant varier considérablement dans l'environnement Google Cloud.

L'image de VM HPC inclut un utilitaire, google-hpc-compute, qui installe les bibliothèques MPI recommandées et utilise des fournisseurs libfabric adaptés à Google Cloud via le transport TCP.

Limites

Les avantages du réglage varient d'une application à l'autre. Dans certains cas, un réglage particulier peut avoir un impact négatif sur les performances. Pensez à analyser vos applications pour trouver la configuration la plus efficace ou la plus rentable.

Utiliser l'utilitaire google-hpc-compute pour la compatibilité avec Intel MPI 2021

Le script google_install_intelmpi est l'outil associé MPI de l'utilitaire google-hpc-compute. Il permet d'installer et de configurer Intel MPI.

L'utilitaire google-hpc-compute est inclus dans l'image de VM HPC.

Installer Intel MPI 2021

Pour installer la bibliothèque Intel MPI lors de la création d'une instance de VM HPC, suivez les étapes permettant de créer une instance de VM HPC et incluez les éléments suivants lors de la création de l'instance de calcul :

--metadata=google_install_intelmpi="--impi_2021"

Pour installer la bibliothèque sur une instance de VM HPC existante, exécutez la commande suivante sur cette instance de calcul :

sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI

L'emplacement par défaut de install_dir est défini sur /opt/intel.

Bibliothèque Intel MPI et réglages collectifs MPI

L'image de VM HPC inclut des réglages génériques qui désactivent l'hyper-threading, optimisent la mémoire, modifient les limites de ressources système et appliquent des profils personnalisés. Le script google_hpc_firstrun est conçu pour s'exécuter automatiquement lors du premier démarrage d'une instance de VM HPC.

Le script mpi-tuning est exécuté dans l'utilitaire google-hpc-firstrun pour améliorer les performances et la latence de l'instance de VM HPC. Vous pouvez exécuter le script mpi-tuning.sh pour appliquer des réglages sur des instances de calcul individuelles.

Usage:
  Verify tuning steps: $ mpi_tuning OPTIONS --dryrun
  Apply tunings: $ mpi_tuning OPTIONS

Options:
  --hpcprofile       Install and apply google-hpc-compute tuned profile
                     Also applies: --tcpmem, --limits
  --hpcthroughput    Install and apply google-hpc-compute-throughput profile
                     Also applies: --tcpmem, --limits
  --tcpmem           Increase memory for TCP
  --limits           Change the system ulimits
  --nosmt            Disable simultaneous multi threading
  --nofirewalld      Disable firewalld
  --noselinux        Disable SE Linux (reboot required)
  --nomitigation     Disable CPU vulnerabilities mitigations (reboot required)
  --reboot           Reboot system after tunings if required
  --dryrun           Do not execute commands
  --verbose          Print verbose messages
  --help             Show help message

Créer une image personnalisée à l'aide de l'image de VM HPC

Pour appliquer les bonnes pratiques à grande échelle, créez une image d'OS personnalisée à utiliser avec vos instances de VM HPC. Pour créer une image personnalisée à utiliser lors de la création d'instances de VM HPC, effectuez les tâches suivantes :

  1. Créez une instance de calcul qui utilise l'image de VM HPC.

  2. Personnaliser l'instance de calcul avec les réglages de MPI.

  3. Créez une image personnalisée en utilisant le disque de démarrage de votre image de VM HPC comme disque source. Pour ce faire, utilisez la consoleGoogle Cloud ou Google Cloud CLI.

Console

  1. Dans la console Google Cloud , accédez à la page Images.

    Accéder à la page "Images"

  2. Cliquez sur Create image (Créer une image).

  3. Indiquez un Nom pour votre image.

  4. Sous Disque source, sélectionnez le nom du disque de démarrage sur votre instance de VM HPC.

  5. Sélectionnez les autres propriétés restantes pour votre image.

  6. Cliquez sur Créer.

gcloud

Créez l'image personnalisée à l'aide de la commande images create.

gcloud compute images create IMAGE_NAME \
         --source-disk=INSTANCE_NAME \
         --source-disk-zone=ZONE \
         --family=IMAGE_FAMILY \
         --storage-location=LOCATION

Remplacez les éléments suivants :

  • IMAGE_NAME: nom de l'image personnalisée.
  • INSTANCE_NAME : nom de votre instance de VM HPC.
  • ZONE : zone où se trouve votre instance de VM HPC.
  • IMAGE_FAMILY (facultatif) : famille d'images à laquelle cette nouvelle image appartient.
  • LOCATION : Facultatif. Région dans laquelle l'image personnalisée est stockée. L'emplacement par défaut est l'emplacement multirégional le plus proche de l'emplacement du disque source.

Tarifs

L'image de VM HPC est disponible sans frais supplémentaires. Étant donné que l'image de VM HPC s'exécute sur Compute Engine, des frais peuvent vous être facturés pour les ressources Compute Engine, telles que les processeurs virtuels, les disques et la mémoire.

Pour en savoir plus, consultez la page Tarifs de Compute Engine.

Étapes suivantes