Pour en savoir plus sur l'utilisation de Managed Lustre afin d'optimiser les performances des charges de travail d'IA/ML déployées sur GKE, consultez l' architecture de référence Optimiser les charges de travail d'IA et de ML avec Google Cloud Managed Lustre.
En utilisant le pilote CSI Managed Lustre, vous pouvez provisionner, gérer et accéder aux instances Managed Lustre directement via des revendications de volume persistant (PVC) et des volumes persistants (PV) Kubernetes standards. Le pilote fait office de plan de contrôle, en automatisant la gestion du cycle de vie des instances Managed Lustre en réponse aux appels CSI, y compris la création, la suppression, l'installation et le désinstallation de volumes sur les nœuds GKE.
Le pilote CSI Managed Lustre est compatible avec les volumes persistants provisionnés de manière dynamique (où le pilote crée l'instance Managed Lustre en fonction de la PVC) et les volumes persistants provisionnés de manière statique (pour se connecter à des instances Managed Lustre préexistantes). Il offre un moyen efficace pour vos applications Kubernetes d'utiliser pleinement les capacités de performances de Managed Lustre.
Avantages
Le pilote CSI Managed Lustre offre plusieurs avantages pour l'intégration du stockage hautes performances à vos charges de travail Kubernetes :
- Vous accédez à des systèmes de fichiers Managed Lustre entièrement gérés en tant que stockage de votre charge de travail via les API Kubernetes.
- Le pilote est compatible avec les modes d'accès
ReadWriteMany,ReadOnlyMany, etReadWriteOnce. - Vous pouvez utiliser le pilote pour créer des instances Managed Lustre et vous y connecter en tant que PersistentVolumes.
- Vos charges de travail Kubernetes peuvent accéder aux instances Managed Lustre existantes sans nécessiter l'installation manuelle d'un logiciel Managed Lustre, y compris des modules de noyau ou des utilitaires clients.
Limites
Lorsque vous utilisez le pilote CSI Managed Lustre, tenez compte des limites suivantes :
- Le montage de plusieurs volumes à partir de différentes instances Managed Lustre
avec le même
filesystemnom sur un seul nœud n'est pas pris en charge. - Seuls les nœuds Container-Optimized OS (COS) sont acceptés. La version minimale de nœud GKE compatible pour l'architecture x86_64 est 1.33.2-gke.1111000 ou ultérieure, et 1.34.1-gke.2541000 ou ultérieure pour l'architecture ARM.
- Le pilote CSI Managed Lustre n'est pas compatible avec les images de nœuds GKE personnalisées.
- L'expansion de volume n'est disponible que pour les versions de cluster GKE 1.35.0-gke.2331000 et ultérieures. Pour modifier la taille d'une PVC sur les versions antérieures, utilisez l'une des options suivantes :
- (Recommandé) Recréez la PVC avec la taille sélectionnée
spec.resources.requests.storagetaille. GKE provisionne un nouveau volume avec la taille sélectionnée. - Supprimez la PVC et le PV. Si la
reclaimPolicydu PV estDelete, l'instance Lustre est supprimée. Pour conserver l'instance en vue d'une réutilisation, appliquez le correctifreclaimPolicysurRetainavant de la supprimer. - Vous pouvez également créer manuellement une instance Lustre avec la taille sélectionnée. Que vous réutilisiez une instance ou que vous vous connectiez à une nouvelle, utilisez le provisionnement statique pour connecter l'instance à une nouvelle PVC.
- (Recommandé) Recréez la PVC avec la taille sélectionnée
Conditions requises
Pour utiliser le pilote CSI Managed Lustre, votre cluster doit répondre aux exigences suivantes :
- Vous avez besoin de la version 1.33.2-gke.1111000 ou ultérieure du cluster GKE et du pool de nœuds.
- Vous devez avoir installé la dernière version de la Google Cloud CLI, avec une version minimale compatible de 523.0.0 ou ultérieure.
- Le pilote CSI doit être activé dans votre cluster GKE. Le pilote est désactivé par défaut dans les clusters Standard et Autopilot. Vous pouvez l'activer lors de la création du cluster ou sur un cluster existant.
- Votre cluster GKE doit s'exécuter dans le même réseau VPC que l'instance Managed Lustre.
Étape suivante
- Créez et utilisez un volume basé sur une instance Managed Lustre dans Google Kubernetes Engine.
- Accédez à une instance Managed Lustre existante à partir de Google Kubernetes Engine.