GKE Volume Populator

Mit dem Google Kubernetes Engine (GKE) Volume Populator können Sie das Vorabladen von Daten aus Cloud Storage-Buckets in Ziel-PersistentVolumeClaims (PVCs) während der dynamischen Bereitstellung automatisieren und optimieren.

Funktionsweise des GKE Volume Populator

Der GKE Volume Populator nutzt das Kubernetes Volume Populator-Konzept. Anstatt ein leeres Volume bereitzustellen, kann ein PVC mit dem GKE Volume Populator auf eine benutzerdefinierte GCPDataSource-Ressource verweisen. Diese benutzerdefinierte Ressource gibt den Cloud Storage-Quell-Bucket und die erforderlichen Anmeldedaten an.

Wenn Sie einen PVC mit einem dataSourceRef erstellen, der auf eine GCPDataSource-Ressource verweist, initiiert der GKE Volume Populator die Datenübertragung. Er kopiert Daten aus dem angegebenen Cloud Storage-Bucket-URI in das zugrunde liegende nichtflüchtige Speichervolume, bevor er das Volume für Ihre Pods verfügbar macht.

So müssen Sie keine manuellen Datenübertragungsskripts oder CLI-Befehle verwenden und die Übertragung großer Datasets in nichtflüchtige Volumes wird automatisiert. Der GKE Volume Populator unterstützt Datenübertragungen zwischen den folgenden Quell- und Zieltypen:

Der GKE Volume Populator ist eine von GKE verwaltete Komponente, die standardmäßig sowohl in Autopilot- als auch in Standard-Clustern aktiviert ist. Sie interagieren hauptsächlich über die gcloud CLI und die kubectl CLI mit dem GKE Volume Populator.

Architektur

Das folgende Diagramm zeigt, wie Daten vom Quellspeicher zum Ziel speicher fließen und wie das PersistentVolume für den Zielspeicher mit dem GKE Volume Populator erstellt wird.

  1. Sie erstellen einen PVC, der auf eine GCPDataSource benutzerdefinierte Ressource verweist.
  2. Der GKE Volume Populator erkennt den PVC und initiiert einen Datenübertragungsjob.
  3. Der Übertragungsjob wird in einem vorhandenen Knotenpool ausgeführt. Wenn die automatische Knotenbereitstellung aktiviert ist, wird ein neuer Knotenpool erstellt.
  4. Der Übertragungsjob kopiert Daten aus dem in der GCPDataSource-Ressource angegebenen Cloud Storage-Bucket in das Zielspeichervolume.
  5. Nach Abschluss der Übertragung wird der PVC an das Zielspeichervolume gebunden und die Daten sind für den Arbeitslast-Pod verfügbar.

Datenübertragung vom Quelldatenspeicher und Erstellung von PV für den Zielspeicher mit dem GKE Volume Populator

Hauptvorteile

Der GKE Volume Populator bietet mehrere Vorteile:

  • Automatisches Füllen von Daten: Volumes werden während der Bereitstellung automatisch mit Daten aus Cloud Storage gefüllt, was den Betriebsaufwand reduziert.
  • Nahtlose Datenportabilität: Daten können von Objektspeichern zu leistungsstarken Dateisystemen (Parallelstore) oder Blockspeichersystemen (Hyperdisk) verschoben werden, um den Preis oder die Leistung je nach Arbeitslastanforderungen zu optimieren.
  • Vereinfachte Arbeitsabläufe: Es sind keine separaten Datenladejobs oder manuellen Eingriffe zum Vorbereiten nichtflüchtiger Volumes mehr erforderlich.
  • Integration mit Identity and Access Management (IAM): Die IAM-basierte Authentifizierung über die Workload Identity Federation for GKE sorgt für eine sichere Datenübertragung mit detaillierter Zugriffssteuerung.
  • Beschleunigte KI/ML-Arbeitslasten: Große Datasets, Modelle und Gewichte können schnell direkt in leistungsstarke Speicher vorab geladen werden, um Trainings- und Inferenzaufgaben zu beschleunigen.

Anwendungsfälle für den GKE Volume Populator

Mit dem GKE Volume Populator können Sie große Trainings-Datasets für KI/ML laden. Angenommen, Sie haben ein Dataset mit mehreren Terabyte zum Trainieren eines großen Sprachmodells (Large Language Model, LLM), das in einem Cloud Storage-Bucket gespeichert ist. Ihr Trainingsjob wird in GKE ausgeführt und erfordert eine hohe E/A-Leistung. Anstatt die Daten manuell zu kopieren, können Sie mit dem GKE Volume Populator automatisch ein Parallelstore- oder Hyperdisk ML-Volume bereitstellen und es beim Erstellen des PVC mit dem Dataset aus Cloud Storage füllen. Dieser automatisierte Prozess sorgt dafür, dass Ihre Trainings-Pods sofortigen, schnellen Zugriff auf die Daten haben.

Weitere Anwendungsfälle für den GKE Volume Populator:

  • Vorab-Caching von KI/ML-Modellgewichten und -Assets aus Cloud Storage in Hyperdisk ML-Volumes, um die Ladezeiten von Modellen für die Inferenzbereitstellung zu verkürzen.
  • Daten von Cloud Storage zu nichtflüchtigen Volumes für zustandsorientierte Anwendungen migrieren, die einen leistungsstarken Festplattenzugriff erfordern.

Nächste Schritte