Parallelstore-CSI-Treiber der Google Kubernetes Engine

Parallelstore ist nur auf Einladung verfügbar. Wenn Sie Zugriff auf Parallelstore in Ihrem Google Cloud Projekt beantragen möchten, wenden Sie sich an Ihren Vertriebsmitarbeiter.

Parallelstore ist ein vollständig verwaltetes, verteiltes Dateisystem mit niedriger Latenz , das die Anforderungen von KI/ML-Training und HPC-Arbeitslasten (High Performance Computing, Hochleistungs-Computing) erfüllt, die eine extrem niedrige Latenz (unter einer Millisekunde), vollständige POSIX-Semantik und einen hohen Durchsatz bei Metadatenoperationen erfordern. Parallelstore lässt sich auf Lesegeschwindigkeiten von 1 TB/s und Millionen von IOPS skalieren.

Wenn Sie einen Google Kubernetes Engine-Cluster (GKE) mit einer Parallelstore-Instanz verbinden möchten, verwenden Sie den Parallelstore Container Storage Interface-Treiber (CSI). Mit dem Parallelstore-CSI-Treiber können Sie die GKE API verwenden, um Parallelstore-Instanzen als Volumes für Ihre zustandsorientierten Arbeitslasten (z. B. Pods und Jobs) zu nutzen. Er ist für KI/ML-Trainingsarbeitslasten optimiert, insbesondere für solche mit kleineren Dateigrößen und zufälligen Lesevorgängen.

GKE aktiviert den CSI-Treiber standardmäßig für Sie, wenn Sie einen neuen GKE Autopilot-Cluster erstellen. In neuen und vorhandenen GKE Standard-Clustern müssen Sie den CSI-Treiber aktivieren.

Vorteile

Mit dem Parallelstore-CSI-Treiber können Sie von Hochleistungsspeicher profitieren. Mit dem Parallelstore-CSI-Treiber können Sie Ihre HPC- und KI/ML-Trainingsarbeitslasten beschleunigen und schnell und konsistent auf freigegebene Daten zugreifen, um sie effizient zu verarbeiten und zu analysieren.

  • Sie haben über die Kubernetes APIs Zugriff auf vollständig verwaltete parallele Dateisysteme als Speicher.
  • Der Google Kubernetes Engine-Parallelstore-CSI-Treiber unterstützt die ReadWriteMany, ReadOnlyMany und ReadWriteOnce Zugriffsmodi.
  • Sie können den Google Kubernetes Engine-Parallelstore-CSI-Treiber nutzen, um PersistentVolumes dynamisch bereitzustellen.
  • Sie können in Kubernetes-Arbeitslasten auf vorhandene Parallelstore-Instanzen zugreifen. Sie können auch Parallelstore-Instanzen dynamisch erstellen und in Kubernetes Arbeitslasten mit einem StatefulSet oder einem Deploymentverwenden.

Beschränkungen

  • Datenpersistenz: Parallelstore ist ein „Scratch-Plus“-Dateisystem. Es wird durch lokale SSDs mit 2+1-Erasure-Coding gesichert. Die mittlere Zeit bis zum Datenverlust beträgt zwei Monate. Parallelstore ist kein Langzeitspeicher, sondern sollte als extrem schnelles Dateisystem für bestimmte Arbeitslasten betrachtet werden.

  • Beschränkung pro Pod: GKE unterstützt das Einbinden von nur einer Parallelstore-Instanz pro Pod.

Hinweis: Ab GKE Version 1.32.3 können Sie mit der Knotenmount-Funktion des Parallelstore-CSI-Treibers mehrere Parallelstore-Instanzen pro Pod einbinden.
  • Datenübertragungen: Die Übertragung von Daten aus Cloud Storage zu Parallelstore wird von der GKE API nicht unterstützt. Verwenden Sie die Parallelstore API, um die Übertragung durchzuführen.
Hinweis: Ab GKE Version 1.31.1 können Sie mit dem GKE Volume Populator Daten während der dynamischen Bereitstellung aus Cloud Storage zu Parallelstore übertragen.
  • Nutzbare Kapazität: Sie können die Speicherkapazität zwischen 12.000 GiB und 100.000 GiB konfigurieren.
  • Unterstützte Z/onen: Parallelstore wird in diesen Zonen unterstützt. Wenn sich die Region Ihres Clusters von der Ihrer Parallelstore-Instanz unterscheidet, kommt es zu einem spürbaren Rückgang der E/A-Leistung.
  • VPC Service Controls-Beschränkungen für Parallelstore: Wenn Sie sowohl eine freigegebene VPC als auch VPC Service Controls verwenden, benötigen Sie das Hostprojekt, das das Netzwerk und das Dienstprojekt bereitstellt, das die Parallelstore-Instanz im selben Perimeter enthält, damit die Parallelstore-Instanz ordnungsgemäß funktioniert. Wenn Sie das Hostprojekt und das Dienstprojekt durch einen Perimeter trennen, sind die vorhandenen Instanzen möglicherweise nicht mehr verfügbar und erstellen möglicherweise keine neuen Instanzen.
  • Unterstützung für ARM-Maschinen: Der Parallelstore-CSI-Treiber unterstützt nur Knoten mit der Architektur amd64. ARM-basierte Knoten werden derzeit nicht unterstützt.

Voraussetzungen

Damit Sie den Parallelstore-CSI-Treiber verwenden können, müssen Ihre Cluster die folgenden Anforderungen erfüllen:

  • Prüfen Sie, ob die neueste Version der Google Cloud CLI installiert ist. Die unterstützte Mindestversion der gcloud CLI für diese Funktion ist 469.0.0 oder höher.
  • Verwenden Sie Google Kubernetes Engine-Clusterversion 1.29 oder höher.

Nächste Schritte