CSI-Treiber für Google Cloud Managed Lustre

Der Google Cloud Managed Lustre Container Storage Interface (CSI)-Treiber ist eine von GKE verwaltete Lösung, die entwickelt wurde, um den leistungsstarken, parallelen Dateisystemdienst vonGoogle Cloud, Managed Lustre, in Google Kubernetes Engine- (GKE-)Clustern zu integrieren. Diese Integration ist für anspruchsvolle Arbeitslasten konzipiert, die einen nichtflüchtigen, skalierbaren Speicher mit hohem Durchsatz erfordern, insbesondere in den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC).

Weitere Informationen dazu, wie Sie mit Managed Lustre die Leistung für KI‑/ML-Arbeitslasten optimieren können, die in GKE bereitgestellt werden, finden Sie in der Referenzarchitektur zum Optimieren von KI‑/ML-Arbeitslasten mit Google Cloud Managed Lustre.

Mit dem Managed Lustre CSI-Treiber können Sie Managed Lustre-Instanzen direkt über standardmäßige Kubernetes-PersistentVolumeClaims (PVCs) und PersistentVolumes (PVs) bereitstellen, verwalten und darauf zugreifen. Der Treiber fungiert als Steuerungsebene und automatisiert die Verwaltung des Lebenszyklus von Managed Lustre-Instanzen als Reaktion auf CSI-Aufrufe, einschließlich des Erstellens, Löschens, Einbindens und Aushängens von Volumes auf GKE-Knoten.

Der Managed Lustre-CSI-Treiber unterstützt sowohl dynamisch bereitgestellte Persistent Volumes (bei denen der Treiber die Managed Lustre-Instanz basierend auf dem PVC erstellt) als auch statisch bereitgestellte Persistent Volumes (zum Herstellen einer Verbindung zu bereits vorhandenen Managed Lustre-Instanzen). So können Ihre Kubernetes-Anwendungen die Leistungsfähigkeit von Managed Lustre optimal nutzen.

Vorteile

Der Managed Lustre-CSI-Treiber bietet mehrere Vorteile für die Einbindung von Hochleistungsspeicher in Ihre Kubernetes-Arbeitslasten:

  • Sie erhalten über die Kubernetes APIs Zugriff auf vollständig verwaltete Lustre-Dateisysteme als Speicher für Ihre Arbeitslasten.
  • Der Treiber unterstützt die Zugriffsmodi ReadWriteMany, ReadOnlyMany und ReadWriteOnce.
  • Mit dem Treiber können Sie neue Managed Lustre-Instanzen als PersistentVolumes erstellen und eine Verbindung zu ihnen herstellen.
  • Ihre Kubernetes-Arbeitslasten können auf vorhandene Managed Lustre-Instanzen zugreifen, ohne dass eine manuelle Installation von Managed Lustre-Software, einschließlich Kernelmodulen oder Client-Dienstprogrammen, erforderlich ist.

Beschränkungen

Beachten Sie bei der Verwendung des Managed Lustre-CSI-Treibers die folgenden Einschränkungen:

  • Das Einbinden mehrerer Volumes aus verschiedenen Managed Lustre-Instanzen mit demselben filesystem-Namen auf einem einzelnen Knoten wird nicht unterstützt.
  • Unterstützte Betriebssysteme und Mindestversionen für GKE-Knoten:
    • Container-Optimized OS (COS):
      • x86_64: 1.33.2-gke.1111000 oder höher
      • ARM: 1.34.1-gke.2541000 oder höher
    • Ubuntu:
      • x86_64 und ARM: 1.36.0-gke.3302001 oder höher
  • Der Managed Lustre-CSI-Treiber unterstützt keine benutzerdefinierten GKE-Knoten-Images.
  • Die Erweiterung von Volumes wird nur für GKE-Clusterversionen ab 1.35.0-gke.2331000 unterstützt. Wenn Sie die Größe eines PVC in früheren Versionen ändern möchten, haben Sie folgende Möglichkeiten:
    • (Empfohlen) Erstellen Sie den PVC mit der ausgewählten Größe spec.resources.requests.storage size neu. Die GKE stellt ein neues Volume mit der ausgewählten Größe bereit.
    • Löschen Sie den PVC und die PV. Wenn reclaimPolicy des PV Delete ist, wird die Lustre-Instanz gelöscht. Wenn Sie die Instanz für die Wiederverwendung beibehalten möchten, patchen Sie reclaimPolicy zu Retain, bevor Sie sie löschen.
    • Alternativ können Sie manuell eine neue Lustre-Instanz mit der ausgewählten Größe erstellen. Unabhängig davon, ob Sie eine Instanz wiederverwenden oder eine Verbindung zu einer neuen Instanz herstellen, verwenden Sie statische Bereitstellung, um die Instanz mit einem neuen PVC zu verbinden.

Voraussetzungen

Damit Sie den Managed Lustre CSI-Treiber verwenden können, muss Ihr Cluster die folgenden Anforderungen erfüllen:

  • Sie benötigen die GKE-Cluster- und Knotenpoolversion 1.33.2-gke.1111000 oder höher.
  • Sie müssen die aktuelle Version der Google Cloud CLI installiert haben. Die mindestens unterstützte Version ist 523.0.0 oder höher.
  • Der CSI-Treiber muss in Ihrem GKE-Cluster aktiviert sein. Der Treiber ist sowohl in Standard- als auch in Autopilot-Clustern standardmäßig deaktiviert. Sie können sie beim Erstellen eines Clusters oder für einen vorhandenen Cluster aktivieren.
  • Ihr GKE-Cluster sollte im selben VPC-Netzwerk wie die verwaltete Lustre-Instanz ausgeführt werden.

Nächste Schritte