Driver CSI Parallelstore di Google Kubernetes Engine

Parallelstore è disponibile solo su invito. Se vuoi richiedere l'accesso a Parallelstore nel tuo Google Cloud progetto, contatta il tuo rappresentante di vendita.

Parallelstore è un file system distribuito a bassa latenza completamente gestito progettato per soddisfare le esigenze dei workload di addestramento AI/ML e di computing ad alte prestazioni (HPC) che richiedono una latenza estremamente bassa (inferiore al millisecondo), semantica POSIX completa e un elevato throughput delle operazioni sui metadati. Parallelstore scala fino a velocità di lettura di 1 TB/s e milioni di IOPS.

Per connettere un cluster Google Kubernetes Engine (GKE) a un'istanza Parallelstore, utilizza il driver CSI (Container Storage Interface) di Parallelstore. Il driver CSI di Parallelstore ti consente di utilizzare l'API GKE per utilizzare le istanze Parallelstore come volumi per i workload stateful (ad esempio, pod e job). È ottimizzato per i workload di addestramento AI/ML, in particolare quelli che coinvolgono file di dimensioni ridotte e letture casuali.

GKE abilita il driver CSI per impostazione predefinita quando crei un nuovo cluster GKE Autopilot. Nei cluster GKE Standard nuovi ed esistenti, dovrai abilitare il driver CSI.

Vantaggi

Puoi utilizzare il driver CSI di Parallelstore per usufruire dell'archiviazione ad alte prestazioni. Con il driver CSI di Parallelstore, puoi accelerare i workload di computing ad alte prestazioni e di addestramento AI/ML, con un accesso rapido e coerente ai dati condivisi per un'elaborazione e un'analisi efficienti.

  • Hai accesso a file system paralleli completamente gestiti come spazio di archiviazione tramite le API Kubernetes.
  • Il driver CSI di Parallelstore di Google Kubernetes Engine supporta le modalità di accesso ReadWriteMany, ReadOnlyMany e ReadWriteOnce .
  • Puoi utilizzare il driver CSI di Parallelstore di Google Kubernetes Engine per eseguire il provisioning dinamico dei PersistentVolume.
  • Puoi accedere alle istanze Parallelstore esistenti nei workload Kubernetes. Puoi anche creare dinamicamente istanze Parallelstore e utilizzarle nei workload Kubernetes con uno StatefulSet o un Deployment.

Limitazioni

  • Persistenza dei dati: Parallelstore è un file system "scratch plus". È supportato da SSD locali con codifica di cancellazione 2+1 e il tempo medio prima della perdita di dati è di due mesi. Parallelstore non è uno spazio di archiviazione a lungo termine e deve invece essere considerato un file system estremamente veloce per workload specifici.

  • Limitazione per pod: GKE supporta il montaggio di una sola istanza Parallelstore per pod.

Nota: a partire dalla versione 1.32.3 di GKE, puoi utilizzare la funzionalità di montaggio dei nodi del driver CSI di Parallelstore per montare più istanze Parallelstore per pod.
  • Trasferimenti di dati: il trasferimento di dati da Cloud Storage a Parallelstore non è supportato dall'API GKE. Per eseguire il trasferimento, utilizza l'API Parallelstore.
Nota: a partire dalla versione 1.31.1 di GKE, puoi utilizzare GKE Volume Populator per trasferire i dati da Cloud Storage a Parallelstore durante il provisioning dinamico.
  • Capacità utilizzabile: puoi configurare la capacità di archiviazione da 12.000 GiB a 100.000 GiB.
  • Zone supportate: Parallelstore è supportato in queste zone. Se la regione del cluster è diversa da quella dell'istanza Parallelstore, si verificherà un calo significativo delle prestazioni di I/O.
  • Limitazioni di VPC-SC per Parallelstore: se utilizzi sia il VPC condiviso sia i controlli di servizio VPC, devi avere il progetto host che fornisce la rete e il progetto di servizio che contiene l'istanza Parallelstore all'interno dello stesso perimetro affinché l'istanza Parallelstore funzioni correttamente. La separazione del progetto host e del progetto di servizio con un perimetro potrebbe causare la mancata disponibilità delle istanze esistenti e la mancata creazione di nuove istanze.
  • Supporto per macchine ARM: il driver CSI di Parallelstore supporta solo i nodi con architettura amd64. Al momento, i nodi basati su ARM non sono supportati.

Requisiti

Per utilizzare il driver CSI di Parallelstore, i cluster devono soddisfare i seguenti requisiti:

  • Assicurati di aver installato l'ultima versione di Google Cloud CLI. La versione minima supportata di gcloud CLI per questa funzionalità è la 469.0.0 o successive.
  • Utilizza la versione 1.29 o successive del cluster Google Kubernetes Engine.

Passaggi successivi