Per saperne di più su come utilizzare Managed Lustre per ottimizzare le prestazioni dei carichi di lavoro di AI/ML di cui è stato eseguito il deployment su GKE, consulta l' architettura di riferimento Ottimizzare i carichi di lavoro di AI e ML con Google Cloud Managed Lustre.
Utilizzando il driver CSI Managed Lustre, puoi eseguire il provisioning, gestire e accedere alle istanze Managed Lustre direttamente tramite le richieste di volumi permanenti (PVC) e i volumi permanenti (PV) standard di Kubernetes. Il driver funge da piano di controllo, automatizzando la gestione del ciclo di vita delle istanze Managed Lustre in risposta alle chiamate CSI, inclusa la creazione, l'eliminazione, il montaggio e lo smontaggio dei volumi sui nodi GKE.
Il driver CSI Managed Lustre supporta sia i volumi permanenti di cui è stato eseguito il provisioning dinamico (dove il driver crea l'istanza Managed Lustre in base a il PVC) sia i volumi permanenti di cui è stato eseguito il provisioning statico (per la connessione a istanze Managed Lustre preesistenti). Fornisce un modo efficiente per le applicazioni Kubernetes di utilizzare appieno le funzionalità di prestazioni di Managed Lustre.
Vantaggi
Il driver CSI Managed Lustre offre diversi vantaggi per l'integrazione dello spazio di archiviazione ad alte prestazioni con i carichi di lavoro Kubernetes:
- Puoi accedere ai file system Managed Lustre completamente gestiti come spazio di archiviazione dei carichi di lavoro tramite le API Kubernetes.
- Il driver supporta le modalità di accesso
ReadWriteMany,ReadOnlyMany, eReadWriteOnce. - Puoi utilizzare il driver per creare e connetterti a nuove istanze Managed Lustre come PersistentVolumes.
- I carichi di lavoro Kubernetes possono accedere alle istanze Managed Lustre esistenti senza richiedere l'installazione manuale di alcun software Managed Lustre, inclusi moduli kernel o utilità client.
Limitazioni
Quando utilizzi il driver CSI Managed Lustre, tieni presente le seguenti limitazioni:
- Il montaggio di più volumi da istanze Managed Lustre
diverse con lo stesso
filesystemnome su un singolo nodo non è supportato. - Sistemi operativi supportati e versioni minime dei nodi GKE:
- Container-Optimized OS (COS):
- x86_64: 1.33.2-gke.1111000 o versioni successive
- ARM: 1.34.1-gke.2541000 o versioni successive
- Ubuntu:
- x86_64 e ARM: 1.36.0-gke.3302001 o versioni successive
- Container-Optimized OS (COS):
- Il driver CSI Managed Lustre non supporta le immagini dei nodi GKE personalizzate.
- L'espansione dei volumi è supportata solo per le versioni dei cluster GKE 1.35.0-gke.2331000 e successive. Per modificare le dimensioni di un PVC nelle versioni precedenti, utilizza una delle seguenti opzioni:
- (Consigliato) Ricrea il PVC con le dimensioni selezionate
spec.resources.requests.storagedimensioni. GKE esegue il provisioning di un nuovo volume con le dimensioni selezionate. - Elimina il PVC e il PV. Se
reclaimPolicydel PV èDelete, l'istanza Lustre viene eliminata. Per conservare l'istanza per il riutilizzo, applica la patch ilreclaimPolicyaRetainprima dell'eliminazione. - In alternativa, crea manualmente una nuova istanza Lustre con le dimensioni selezionate. Se riutilizzi un'istanza o ti connetti a una nuova, utilizza il provisioning statico per connettere l'istanza a un nuovo PVC.
- (Consigliato) Ricrea il PVC con le dimensioni selezionate
Requisiti
Per utilizzare il driver CSI Managed Lustre, il cluster deve soddisfare i seguenti requisiti:
- È necessaria la versione 1.33.2-gke.1111000 o successive del cluster GKE e del pool di nodi.
- Devi aver installato l'ultima versione di Google Cloud CLI, con una versione minima supportata di 523.0.0 o successive.
- Il driver CSI deve essere abilitato nel cluster GKE. Il driver è disabilitato per impostazione predefinita nei cluster Standard e Autopilot. Puoi abilitarlo durante la creazione del cluster o in un cluster esistente.
- Il cluster GKE deve essere eseguito nella stessa rete VPC dell'istanza Managed Lustre.
Passaggi successivi
- Crea e utilizza un volume supportato da un'istanza Managed Lustre in Google Kubernetes Engine.
- Accedi a un'istanza Managed Lustre esistente da Google Kubernetes Engine.