Verwalteter Lustre-CSI-Treiber

Der Google Cloud Managed Lustre Container Storage Interface (CSI)-Treiber ist eine von GKE verwaltete Lösung, mit der der parallele Hochleistungs-Dateisystemdienst von Google Cloud', Managed Lustre, in Google Kubernetes Engine (GKE)-Cluster integriert werden kann. Diese Integration ist für anspruchsvolle Arbeitslasten konzipiert, die persistenten, skalierbaren Speicher mit hohem Durchsatz erfordern, insbesondere für Arbeitslasten in den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC).

Weitere Informationen dazu, wie Sie Managed Lustre verwenden können, um die Leistung für KI-/ML-Arbeitslasten zu optimieren, die in GKE bereitgestellt werden, finden Sie in der Referenzarchitektur KI- und ML-Arbeitslasten mit Google Cloud Managed Lustre optimieren.

Mit dem Managed Lustre CSI-Treiber können Sie Managed Lustre-Instanzen direkt über standardmäßige Kubernetes-PVCs (Persistent Volume Claims) und PVs (Persistent Volumes) bereitstellen, verwalten und darauf zugreifen. Der Treiber fungiert als Steuerungsebene und automatisiert die Lebenszyklusverwaltung von Managed Lustre-Instanzen als Reaktion auf CSI-Aufrufe, einschließlich des Erstellens, Löschens, Einbindens und Aufhebens der Einbindung von Volumes auf GKE-Knoten.

Der Managed Lustre CSI-Treiber unterstützt sowohl dynamisch bereitgestellte persistente Volumes (bei denen der Treiber die Managed Lustre-Instanz basierend auf dem PVC erstellt) als auch statisch bereitgestellte persistente Volumes (für die Verbindung mit bereits vorhandenen Managed Lustre-Instanzen). So können Ihre Kubernetes-Anwendungen die Leistungsfunktionen von Managed Lustre optimal nutzen.

Vorteile

Der Managed Lustre CSI-Treiber bietet mehrere Vorteile für die Integration von Hochleistungsspeicher in Ihre Kubernetes-Arbeitslasten:

  • Sie erhalten über die Kubernetes APIs Zugriff auf vollständig verwaltete Managed Lustre-Dateisysteme als Speicher für Ihre Arbeitslasten.
  • Der Treiber unterstützt die ReadWriteMany, ReadOnlyMany und ReadWriteOnce Zugriffsmodi.
  • Mit dem Treiber können Sie neue Managed Lustre-Instanzen als PersistentVolumes erstellen und eine Verbindung zu ihnen herstellen.
  • Ihre Kubernetes-Arbeitslasten können auf vorhandene Managed Lustre-Instanzen zugreifen, ohne dass eine manuelle Installation von Managed Lustre-Software erforderlich ist, einschließlich Kernelmodulen oder Client-Dienstprogrammen.

Beschränkungen

Beachten Sie bei der Verwendung des Managed Lustre CSI-Treibers die folgenden Einschränkungen:

  • Das Einbinden mehrerer Volumes aus verschiedenen Managed Lustre Instanzen mit demselben filesystem Namen auf einem einzelnen Knoten wird nicht unterstützt.
  • Nur Container-Optimized OS-Knoten (COS) werden unterstützt. Die mindestens unterstützte GKE-Knotenversion für die x86_64-Architektur ist 1.33.2-gke.1111000 oder höher und für die ARM-Architektur 1.34.1-gke.2541000 oder höher.
  • Der Managed Lustre CSI-Treiber unterstützt keine benutzerdefinierten GKE-Knoten-Images.
  • Die Volume-Erweiterung wird nur für GKE-Clusterversionen 1.35.0-gke.2331000 und höher unterstützt. Wenn Sie die Größe eines PVC in früheren Versionen ändern möchten, haben Sie folgende Möglichkeiten:
    • (Empfohlen) Erstellen Sie den PVC mit der ausgewählten Größe spec.resources.requests.storage Größe neu. GKE stellt ein neues Volume mit der ausgewählten Größe bereit.
    • Löschen Sie den PVC und den PV. Wenn die reclaimPolicy des PV auf Delete gesetzt ist, wird die Lustre-Instanz gelöscht. Wenn Sie die Instanz zur Wiederverwendung beibehalten möchten, legen Sie vor dem Löschen die reclaimPolicy auf Retain fest.
    • Alternativ können Sie manuell eine neue Lustre-Instanz mit der ausgewählten Größe erstellen. Unabhängig davon, ob Sie eine Instanz wiederverwenden oder eine Verbindung zu einer neuen Instanz herstellen, verwenden Sie die statische Bereitstellung , um die Instanz mit einem neuen PVC zu verbinden.

Voraussetzungen

Damit Sie den Managed Lustre CSI-Treiber verwenden können, muss Ihr Cluster die folgenden Anforderungen erfüllen:

  • Sie benötigen die GKE-Cluster- und Knotenpoolversion 1.33.2-gke.1111000 oder höher.
  • Sie müssen die neueste Version der Google Cloud CLI installiert haben. Die mindestens unterstützte Version ist 523.0.0 oder höher.
  • Der CSI-Treiber muss in Ihrem GKE-Cluster aktiviert sein. Der Treiber ist standardmäßig sowohl in Standard- als auch in Autopilot-Clustern deaktiviert. Sie können ihn bei der Clustererstellung oder in einem vorhandenen Cluster aktivieren.
  • Ihr GKE-Cluster sollte sich im selben VPC-Netzwerk wie die Managed Lustre-Instanz befinden.

Nächste Schritte