Le modèle Apportez votre propre nœud dans Google Distributed Cloud (logiciel uniquement) pour solution Bare Metal vous permet d'exécuter des charges de travail accélérées par GPU sur votre propre matériel. Pour préparer vos clusters Bare Metal pour les GPU NVIDIA, vous devez installer l'opérateur de GPU NVIDIA, puis vérifier que vos GPU sont reconnus et fonctionnent.
Présentation de l'opérateur GPU NVIDIA
L'opérateur GPU NVIDIA utilise le framework d'opérateur pour gérer les composants logiciels NVIDIA nécessaires au provisionnement et à la gestion des appareils GPU. Nous vous recommandons d'utiliser l'opérateur GPU NVIDIA pour bénéficier de la flexibilité et des avantages suivants :
Choix du type de GPU : le logiciel Google Distributed Cloud est uniquement compatible avec une large gamme de types de GPU compatibles avec le dernier opérateur GPU NVIDIA.
Choix du système d'exploitation compatible : les nœuds de calcul du cluster peuvent utiliser n'importe quel système d'exploitation (OS) compatible avec les GPU NVIDIA. Vous pouvez utiliser des pilotes de GPU préinstallés ou l'installation dynamique de pilotes avec l'opérateur GPU NVIDIA.
Choix des modèles de déploiement : vous pouvez utiliser des GPU NVIDIA sur n'importe quel type de cluster avec des nœuds de calcul : clusters d'utilisateur, clusters autonomes ou clusters hybrides.
Avant de commencer
Avant d'effectuer les étapes décrites dans les sections suivantes, assurez-vous de disposer des éléments suivants :
Cluster opérationnel : assurez-vous de disposer d'un cluster bare metal fonctionnel créé avec Google Distributed Cloud.
GPU NVIDIA : assurez-vous que les GPU NVIDIA sont installés sur les nœuds de calcul de votre cluster. La section suivante, qui explique comment installer l'opérateur GPU NVIDIA, comprend des étapes permettant de vérifier que les GPU sont correctement installés et reconnus par votre système d'exploitation.
Version du pilote NVIDIA compatible : la version du pilote NVIDIA que vous utilisez doit être compatible avec votre GPU, votre système d'exploitation et la version de CUDA utilisée par vos applications. Vous disposez des options d'installation de pilote NVIDIA suivantes :
Utilisez l'opérateur GPU NVIDIA pour installer la version appropriée du pilote GPU NVIDIA, comme décrit dans les sections suivantes.
Utilisez le pilote NVIDIA préinstallé dans l'image de votre système d'exploitation.
Suivez les instructions du guide de démarrage rapide pour l'installation du pilote NVIDIA pour installer manuellement le pilote NVIDIA.
Helm version 3.0.0 ou ultérieure : installez l'interface de ligne de commande Helm pour la gestion des packages sur votre poste de travail administrateur. Vous utilisez Helm pour installer l'opérateur GPU NVIDIA. Vous pouvez exécuter les commandes suivantes pour télécharger et installer l'outil de ligne de commande Helm :
curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 \ && chmod 700 get_helm.sh \ && ./get_helm.sh
Installer et vérifier l'opérateur GPU NVIDIA
Les étapes suivantes vous guident tout au long de l'installation de l'opérateur GPU NVIDIA sur votre cluster Bare Metal et vous aident à vérifier qu'il fonctionne avec vos GPU :
Pour les appareils GPU connectés via l'interconnexion de composants périphériques (PCIe), exécutez la commande suivante pour obtenir la liste des bus PCI système dont le nom contient "NVIDIA" :
sudo lspci | grep NVIDIALe résultat ressemble à ce qui suit :
25:00.0 3D controller: NVIDIA Corporation Device 20b5 (rev a1)Vous pouvez utiliser l'outil de ligne de commande NVIDIA System Management Interface (
nvidia-smi) sur un nœud donné pour obtenir des informations plus détaillées sur les GPU :nvidia-smiLe résultat ressemble à ce qui suit :
+---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.183.01 Driver Version: 535.183.1 CUDA Veersion 12.2 | |-----------------------------------------+----------------------+----------------------| | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA A100 80GB PCIe Off | 00000000:25:00.0 Off | 0 | | N/A 30C P0 44W / 300W | 0MiB / 81920MiB | 0% Default | | | | Disabled | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | No running processes found | +---------------------------------------------------------------------------------------+Ajoutez le dépôt Helm NVIDIA sur le poste de travail administrateur :
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia \ && helm repo updateInstallez l'opérateur GPU NVIDIA.
Lorsque vous installez l'opérateur GPU NVIDIA, il existe trois variantes de commande de base :
Installez l'opérateur GPU NVIDIA avec la configuration par défaut :
helm install --wait --generate-name \ -n gpu-operator --create-namespace \ nvidia/gpu-operator \ --set cdi.enabled=true \ --set cdi.default=trueUtilisez l'option
--setpour transmettre un ensemble de paires clé/valeur délimitées par une virgule afin de spécifier les options de configuration :helm install --wait --generate-name \ -n gpu-operator --create-namespace \ nvidia/gpu-operator \ --set cdi.enabled=true \ --set cdi.default=true \ --set OPTION_1_NAME=OPTION_1_VALUE,OPTION_2_NAME=OPTION_2_VALUEPour obtenir la liste détaillée des options de configuration, consultez Options de personnalisation des graphiques courants dans la documentation NVIDIA. Pour en savoir plus sur la logistique d'utilisation de l'option
--set, consultez la section Format et limites de--setdans la documentation Helm.Désactivez l'installation du pilote si vous avez déjà installé le pilote de GPU NVIDIA sur vos nœuds :
Par défaut, l'opérateur GPU NVIDIA déploie le pilote GPU le plus récent ou spécifié sur tous les nœuds de calcul GPU du cluster. Pour cela, tous les nœuds de calcul dotés de GPU doivent exécuter la même version du système d'exploitation pour utiliser le conteneur de pilote GPU NVIDIA. Pour contourner ce problème, vous pouvez installer manuellement les pilotes de GPU sur les nœuds et exécuter la commande
helm installavec--set driver.enabled=falsepour empêcher l'opérateur de GPU NVIDIA de déployer les pilotes.helm install --wait --generate-name \ -n gpu-operator --create-namespace \ nvidia/gpu-operator \ --set cdi.enabled=true \ --set cdi.default=true \ --set driver.enabled=false
Pour obtenir des scénarios de déploiement courants et des exemples de commandes, consultez la page Common Deployment Scenarios de la documentation NVIDIA.
Vérifiez l'exportation des ressources GPU :
Une fois l'opérateur GPU NVIDIA installé avec un pilote de GPU et un plug-in d'appareil fonctionnant correctement, vous devriez voir que le nombre de GPU est correctement configuré dans le champ
Allocatablede la ressource de nœud.kubectl describe node GPU_NODE_NAME | grep Allocatable -A7Remplacez
GPU_NODE_NAMEpar le nom de la machine du nœud avec le GPU que vous testez.Le résultat ressemble à ce qui suit :
Allocatable: cpu: 127130m ephemeral-storage: 858356868519 hugepages-1Gi: 0 hugepages-2Mi: 0 memory: 509648288Ki nvidia.com/gpu: 1 pods: 250Pour vérifier que les GPU fonctionnent, exécutez l'exemple de tâche GPU suivant, qui exécute la commande
nvidia-smi:export NODE_NAME=GPU_NODE_NAME cat <<EOF | kubectl create --kubeconfig=CLUSTER_KUBECONFIG -f - apiVersion: batch/v1 kind: Job metadata: name: test-job-gpu spec: template: spec: runtimeClassName: nvidia containers: - name: nvidia-test image: nvidia/cuda:12.0.0-base-ubuntu22.04 command: ["nvidia-smi"] resources: limits: nvidia.com/gpu: 1 nodeSelector: kubernetes.io/hostname: ${NODE_NAME} restartPolicy: Never EOFRemplacez
CLUSTER_KUBECONFIGpar le chemin d'accès au fichier kubeconfig du cluster.Vérifiez les journaux pour voir le résultat de l'exemple de job :
kubectl logs job/test-job-gpu --kubeconfig=CLUSTER_KUBECONFIGLe résultat ressemble à ce qui suit :
+---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.183.01 Driver Version: 535.183.1 CUDA Veersion 12.2 | |-----------------------------------------+----------------------+----------------------| | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA A100 80GB PCIe Off | 00000000:25:00.0 Off | 0 | | N/A 30C P0 44W / 300W | 0MiB / 81920MiB | 0% Default | | | | Disabled | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | No running processes found | +---------------------------------------------------------------------------------------+
Limites
Les limites suivantes s'appliquent lorsque vous utilisez l'opérateur GPU NVIDIA avec des clusters créés avec Google Distributed Cloud :
Si vous installez une version récente de l'opérateur GPU NVIDIA, les configurations containerd appliquées par l'opérateur peuvent être écrasées lors des mises à jour ou des mises à niveau du cluster ou du pool de nœuds.
Utilisez l'interface CDI (Container Device Interface) pour les charges de travail GPU. Pour les versions antérieures de Google Distributed Cloud qui utilisent containerd 1.6, certaines fonctionnalités CDI peuvent ne pas être disponibles.
Les pools de nœuds d'équilibreur de charge exécutent automatiquement un job de mise à jour tous les sept jours. Ce job écrase les configurations containerd, y compris celles ajoutées par l'opérateur GPU NVIDIA.
Bonnes pratiques
Pour minimiser les conflits et les problèmes liés à vos configurations NVIDIA, nous vous recommandons de prendre les précautions suivantes :
Sauvegardez le fichier de configuration containerd,
/etc/containerd/config.toml, avant de mettre à niveau ou de mettre à jour le cluster ou les pools de nœuds. Ce fichier contient la configuration d'exécutionnvidia. Restaurez le fichierconfig.tomlune fois la mise à niveau ou la mise à jour terminée, puis redémarrez containerd pour que les modifications de configuration prennent effet.Pour éviter d'éventuels conflits ou problèmes avec la configuration containerd, n'utilisez pas de nœuds GPU comme nœuds d'équilibreur de charge (
loadBalancer.nodePoolSpec).
Obtenir de l'aide
Si vous avez besoin d'une aide supplémentaire concernant l'utilisation de GPU avec Google Distributed Cloud, contactez Cloud Customer Care.
Pour les problèmes liés à la configuration ou à l'utilisation du matériel GPU sur votre système d'exploitation, contactez votre fournisseur de matériel ou, le cas échéant, l'assistance NVIDIA directement.
Vos commentaires nous sont précieux.