Parallelstore-Instanz über die Google Kubernetes Engine erstellen und eine Verbindung dazu herstellen

Parallelstore ist nur auf Einladung verfügbar. Wenn Sie Zugriff auf Parallelstore in Ihrem Google Cloud Projekt anfordern möchten, wenden Sie sich an Ihren Vertriebsmitarbeiter.

In diesem Leitfaden wird beschrieben, wie Sie mit dynamischer Bereitstellung ein neues Kubernetes Volume erstellen, das von einem Parallelstore-CSI-Treiber in GKE unterstützt wird. So können Sie on demand Speicherplatz mit vollständig verwalteten Parallelstore-Instanzen erstellen und als Volumes für Ihre zustandsorientierten Arbeitslasten darauf zugreifen.

Hinweis

Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:

• Aktivieren Sie die Parallelstore API und die Google Kubernetes Engine API.
APIs aktivieren
• Wenn Sie die Google Cloud CLI für diesen Task verwenden möchten, installieren und dann initialisieren Sie die gcloud CLI. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die neueste Version mit dem gcloud components update Befehl ab. Ältere Versionen der gcloud CLI unterstützen möglicherweise nicht die Ausführung der Befehle in diesem Dokument.
  Hinweis: Legen Sie für vorhandene Installationen der gcloud CLI das Attribut compute/region fest. Wenn Sie hauptsächlich zonale Cluster verwenden, legen Sie stattdessen compute/zone fest. Wenn Sie einen standardmäßigen Speicherort festlegen, können Sie in der gcloud CLI Fehler wie diesen vermeiden: One of [--zone, --region] must be supplied: Please specify location. Bei bestimmten Befehlen müssen Sie möglicherweise den Speicherort angeben, wenn er sich von dem von Ihnen festgelegten Standard unterscheidet.

• Informationen zu Einschränkungen und Anforderungen finden Sie in der Übersicht zum CSI-Treiber.
• Konfigurieren Sie ein VPC-Netzwerk.
• Wenn Sie einen GKE Standard-Cluster verwenden möchten, müssen Sie den CSI-Treiber aktivieren.

Mit dem Parallelstore-CSI-Treiber ein neues Volume erstellen

In den folgenden Abschnitten wird das typische Verfahren zur Erstellung eines Kubernetes-Volumes beschrieben, das von einem Parallelstore-CSI-Treiber in GKE unterstützt wird:

1. (Optional) Erstellen Sie eine StorageClass.
2. Greifen Sie mit einem PersistentVolumeClaim auf das Volume zu.
3. (Optional) Konfigurieren Sie Ressourcen für den Sidecar-Container.
4. Erstellen Sie eine Arbeitslast, die das Volume verbraucht.

(Optional) Speicherklasse erstellen

Wenn der Parallelstore-CSI-Treiber aktiviert ist, erstellt GKE automatisch eine StorageClass mit dem Namen parallelstore-rwx zur Bereitstellung von Parallelstore-Instanzen. Diese StorageClass weist den CSI-Treiber an, Parallelstore-Instanzen in derselben Region wie Ihr GKE-Cluster bereitzustellen, um eine optimale E/A-Leistung zu gewährleisten.

Optional können Sie eine benutzerdefinierte StorageClass mit einer bestimmten Topologie erstellen. Führen Sie dazu die folgenden Schritte aus:

1. Speichern Sie folgendes StorageClass-Manifest in einer Datei mit dem Namen parallelstore-class.yaml:

   Pod-Bereitstellung

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: parallelstore-class
   provisioner: parallelstore.csi.storage.gke.io
   volumeBindingMode: Immediate
   reclaimPolicy: Delete
   allowedTopologies:
   - matchLabelExpressions:
     - key: topology.gke.io/zone
       values:
         LOCATION
   

   Ersetzen Sie Folgendes:

   • LOCATION: die Compute Engine-Zone , die den Cluster enthält. Sie müssen eine unterstützte Zone für den Parallelstore-CSI-Treiber angeben.

   Eine vollständige Liste der in der StorageClass unterstützten Felder finden Sie in der Parallelstore-CSI-Referenzdokumentation.

   Knotenbereitstellung

   Mit dem Parallelstore-CSI-Treiber können Sie Volumes direkt auf Ihren Knoten bereitstellen. Die Knotenbereitstellung wird in GKE-Clustern ab Version 1.32.3 unterstützt.

   Bei der Bereitstellung auf Knotenebene können alle Pods auf einem Knoten denselben Bereitstellungspunkt verwenden. Die gemeinsame Nutzung desselben Bereitstellungspunkts verbessert die Skalierbarkeit, da die Anzahl der Bereitstellungen mit der Anzahl der Knoten und nicht mit der Anzahl der Pods zunimmt (wie im Sidecar-Modus).

   So können Sie mehr Pods ausführen und gleichzeitig dieselbe Parallelstore-Instanz verwenden.

   Hinweis:Diese Funktion wird durch Angabe des Parameters mountLocality: node aktiviert. Der Standardwert für die Bereitstellungslokalität von Pods ist mountLocality: pod. Die dfuse Flags für CPU- und Speicheranforderungen und -limits funktionieren nur mit der mountLocality: node Einstellung.
   
   Wenn der Wert für die Anfrage oder das Limit festgelegt ist und der andere nicht, werden beide auf denselben angegebenen Wert gesetzt.
   
   Sie können `'0'` als Wert verwenden, um alle Ressourcenlimits aufzuheben. Beispiel: dfuseMemoryLimit: '0' entfernt das Speicherlimit für den dfuse-Prozess.

     apiVersion: storage.k8s.io/v1
     kind: StorageClass
     metadata:
       name: parallelstore-class
     provisioner: parallelstore.csi.storage.gke.io
     volumeBindingMode: Immediate
     reclaimPolicy: Delete
     allowedTopologies:
     - matchLabelExpressions:
       - key: topology.gke.io/zone
         values:
           LOCATION
     parameters:
       mountLocality: node
       dfuseCPURequest: DFUSE_CPU_REQUEST
       dfuseMemoryRequest: DFUSE_MEMORY_REQUEST
       dfuseCPULimit: DFUSE_CPU_LIMIT
       dfuseMemoryLimit: DFUSE_MEMORY_LIMIT
   

   Ersetzen Sie Folgendes:

   • LOCATION: die Compute Engine-Zone , die den Cluster enthält. Sie müssen eine unterstützte Zone für den Parallelstore-CSI-Treiber angeben.
   • DFUSE_CPU_REQUEST: die CPU-Anfrage für den dfuse-Prozess. Der Standardwert ist 250m.
   • DFUSE_MEMORY_REQUEST: die Speicheranfrage für den dfuse-Prozess. Der Standardwert ist 512Mi.
   • DFUSE_CPU_LIMIT: das CPU-Limit für den dfuse-Prozess. Der Standardwert ist nicht festgelegt.
   • DFUSE_MEMORY_LIMIT: das Speicherlimit für den dfuse-Prozess. Der Standardwert ist 10Gi.

   Eine vollständige Liste der in der StorageClass unterstützten Felder finden Sie in der Parallelstore-CSI-Referenzdokumentation.

2. Erstellen Sie die StorageClass mit dem folgenden Befehl:

   kubectl create -f parallelstore-class.yaml
   

Mit einem PersistentVolumeClaim auf das Volume zugreifen

Sie können eine PersistentVolumeClaim-Ressource erstellen, die auf die StorageClass des Parallelstore-CSI-Treibers verweist.

In der folgenden Manifestdatei wird ein Beispiel für das Erstellen eines PersistentVolumeClaims im ReadWriteMany-Zugriffsmodus gezeigt, der auf die zuvor erstellte StorageClass verweist.

1. Speichern Sie folgendes Manifest in einer Datei mit dem Namen parallelstore-pvc.yaml:

     apiVersion: v1
     kind: PersistentVolumeClaim
     metadata:
       name: parallelstore-pvc
     spec:
       accessModes:
       - ReadWriteMany
       resources:
         requests:
           storage: STORAGE_SIZE
       storageClassName: parallelstore-class
   

   Ersetzen Sie STORAGE_SIZE durch die Speichergröße, z. B. 12000Gi. Der Wert muss zwischen 12.000 GiB und 100.000 GiB liegen (in Vielfachen von 4.000 GiB).

2. Erstellen Sie den PersistentVolumeClaim mit dem folgenden Befehl:

     kubectl create -f parallelstore-pvc.yaml
   

(Optional) Ressourcen für den Sidecar-Container konfigurieren

Hinweis:Sie können Ressourcen nur für den Sidecar-Container konfigurieren, wenn Sie die Bereitstellungslokalität von Pods verwenden. Das heißt, das Volume-Attribut mountLocality in Ihrem PersistentVolume ist entweder nicht festgelegt oder auf pod gesetzt.

Wenn Sie einen Arbeitslast-Pod erstellen, der Parallelstore-gestützte Volumes verwendet, ermittelt der CSI-Treiber, ob Ihr Volume auf Parallelstore-Instanzen basiert.

Wenn der Treiber erkennt, dass Ihr Volume Parallelstore-basiert ist, oder wenn Sie die Anmerkung gke-parallelstore/volumes: "true" angeben, schleust der CSI-Treiber automatisch einen Sidecar-Container namens gke-parallelstore-sidecar in Ihren Pod ein. Dieser Sidecar-Container stellt die Parallelstore-Instanz für Ihre Arbeitslast bereit.

Achtung: Bevor Sie einen Pod bereitstellen, der den PersistentVolumeClaim nutzt, prüfen Sie entweder, ob der Parameter gke-parallelstore/volumes: "true" in der Pod-Annotation angegeben ist, oder verwenden Sie kubectl get pvc um zu verifizieren, dass GKE das PersistentVolume und den PersistentVolumeClaim erstellt hat. Andernfalls kann es zu Fehlern bei der Sidecar-Einschleusung kommen.

Standardmäßig konfiguriert GKE den Sidecar-Container mit den folgenden Ressourcenanfragen, wobei die Ressourcenlimits nicht festgelegt sind:

• 250 mCPU
• 512 MiB Arbeitsspeicher
• 10 MiB sitzungsspezifischer Speicher

Wenn Sie diese Werte überschreiben möchten, können Sie optional die Annotation gke-parallelstore/[cpu-request|memory-request|cpu-limit|memory-limit|ephemeral-storage-request] angeben, wie im folgenden Beispiel gezeigt:

apiVersion: v1
kind: Pod
metadata:
  annotations:
    gke-parallelstore/volumes: "true"
    gke-parallelstore/cpu-request: 500m
    gke-parallelstore/memory-request: 1Gi
    gke-parallelstore/ephemeral-storage-request: 500Mi
    gke-parallelstore/cpu-limit: 1000m
    gke-parallelstore/memory-limit: 2Gi
    gke-parallelstore/ephemeral-storage-limit: 1Gi

Berücksichtigen Sie die folgenden Überlegungen, wenn Sie die Menge der zuzuweisenden Ressourcen festlegen:

• Wenn einer der Werte für die Anfrage oder das Limit festgelegt ist und der andere nicht, werden beide auf denselben angegebenen Wert gesetzt.
• Weisen Sie dem Sidecar-Container mehr CPU zu, wenn Ihre Arbeitslasten einen höheren Durchsatz benötigen. Eine unzureichende CPU-Kapazität führt zu einer E/A-Drosselung.
• Sie können "0" als Wert verwenden, um alle Ressourcenlimits für Standardcluster aufzuheben. Beispiel: gke-parallelstore/memory-limit: "0" entfernt das Speicherlimit für den Sidecar-Container. Das ist nützlich, wenn Sie sich nicht sicher sind, wie viele Ressourcen gke-parallelstore-sidecar für Ihre Arbeitslasten benötigt werden, und möchten, dass der Sidecar alle verfügbaren Ressourcen auf einem Knoten verbrauchen soll.

Arbeitslast erstellen, die das Volume verbraucht

In diesem Abschnitt wird ein Beispiel für das Erstellen eines Pods gezeigt, der die zuvor erstellte PersistentVolumeClaim-Ressource verwendet.

Eine PersistentVolumeClaim-Ressource kann von mehreren Pods verwendet werden.

1. Speichern Sie folgendes Manifest in einer Datei mit dem Namen my-pod.yaml.

     apiVersion: v1
     kind: Pod
     metadata:
       name: my-pod
     spec:
       containers:
       - name: nginx
         image: nginx
         volumeMounts:
           - name: parallelstore-volume
             mountPath: /data
       volumes:
       - name: parallelstore-volume
         persistentVolumeClaim:
           claimName: parallelstore-pvc
   

2. Führen Sie den folgenden Befehl aus, um das Manifest auf den Cluster anzuwenden.

     kubectl apply -f my-pod.yaml
   

   Der Pod wartet, bis der PersistentVolumeClaim bereitgestellt wurde, bevor er ausgeführt wird. Dieser Vorgang kann einige Minuten dauern.

Parallelstore-CSI-Treiber verwalten

In diesem Abschnitt wird beschrieben, wie Sie den Parallelstore-CSI-Treiber aktivieren und deaktivieren können.

Parallelstore-CSI-Treiber auf einem neuen Cluster aktivieren

Hinweis: Der Parallelstore-CSI-Treiber ist standardmäßig für Autopilot-Cluster aktiviert. Sie müssen den Treiber nicht aktivieren, wenn Sie einen neuen Autopilot-Cluster erstellen.

Führen Sie den folgenden Befehl mit der Google Cloud CLI aus, um den Parallelstore-CSI-Treiber zu aktivieren, wenn Sie einen neuen Standardcluster erstellen:

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --network=NETWORK_NAME \
    --addons=ParallelstoreCsiDriver \
    --cluster-version=VERSION

Ersetzen Sie Folgendes:

• CLUSTER_NAME: Der Name Ihres Clusters.
• LOCATION: die Compute Engine-Zone, die den Cluster enthält. Sie müssen eine unterstützte Zone für den Parallelstore-CSI-Treiber angeben.
• NETWORK_NAME: der Name des VPC-Netzwerks, das Sie unter VPC-Netzwerk konfigurieren erstellt haben.
• VERSION: Die GKE-Versionsnummer. Sie müssen eine unterstützte Versionsnummer angeben, um diese Funktion nutzen zu können, z. B. GKE-Version 1.29 oder höher. Alternativ können Sie das Flag --release-channel verwenden und eine Release-Version angeben.

Parallelstore-CSI-Treiber auf einem vorhandenen Cluster aktivieren

Führen Sie den folgenden Befehl mit der Google Cloud CLI aus, um den Treiber auf einem vorhandenen GKE Standard-Cluster zu aktivieren:

gcloud container clusters update CLUSTER_NAME \
  --location=LOCATION \
  --update-addons=ParallelstoreCsiDriver=ENABLED

Ersetzen Sie Folgendes:

• CLUSTER_NAME: Der Name Ihres Clusters.
• LOCATION: die Compute Engine-Zone, die den Cluster enthält. Sie müssen eine unterstützte Zone für den Parallelstore-CSI-Treiber angeben.

Achten Sie darauf, dass Ihr GKE-Cluster im selben VPC-Netzwerk ausgeführt wird , das Sie unter VPC-Netzwerk konfigurieren eingerichtet haben. Sie können das VPC-Netzwerk für einen GKE-Cluster in der Google Cloud Konsole oder mit dem Befehl gcloud container clusters describe $(CLUSTER) --format="value(networkConfig.network)" --location=$(LOCATION)prüfen.

Parallelstore-CSI-Treiber deaktivieren

Sie können den Parallelstore-CSI-Treiber auf einem vorhandenen Autopilot- oder Standard-Cluster über die Google Cloud CLI deaktivieren.

Warnung: Wir empfehlen dringend, den Parallelstore-CSI-Treiber auf Autopilot-Clustern nicht manuell zu deaktivieren. Dies würde dazu führen, dass alle Pods, die PersistentVolumes des Treibers verwenden, nicht beendet werden. Neue Pods, die diese PersistentVolumes verwenden möchten, können dann auch nicht gestartet werden.

gcloud container clusters update CLUSTER_NAME \
    --location=LOCATION \
    --update-addons=ParallelstoreCsiDriver=DISABLED

Ersetzen Sie Folgendes:

• CLUSTER_NAME: Der Name Ihres Clusters.
• LOCATION: die Compute Engine-Zone, die den Cluster enthält. Sie müssen eine unterstützte Zone für den Parallelstore-CSI-Treiber angeben.

fsGroup mit Parallelstore-Volumes verwenden

Der Parallelstore-CSI-Treiber unterstützt das Ändern des Gruppeninhabers des Stamm verzeichnisses des bereitgestellten Dateisystems, damit es einer vom Nutzer angeforderten fsGroup entspricht, die im SecurityContext SecurityContextangegeben ist. Diese Funktion wird nur in GKE-Clustern ab Version 1.29.5 oder Version 1.30.1 unterstützt.

Fehlerbehebung

Eine Anleitung zur Fehlerbehebung finden Sie auf der Fehlerbehebung Seite in der Parallelstore-Dokumentation.

Nächste Schritte

• Referenzdokumentation zu Parallelstore CSI
• Informationen zur Verwendung der Parallelstore-Abfangbibliothek zur Verbesserung der Arbeitslastleistung.
• Informationen zum Übertragen von Daten aus Cloud Storage zu Parallelstore.
• Informationen zur Verwendung des GKE Volume Populator zur Automatisierung der Datenübertragung von einem Cloud Storage-Bucket-Quellspeicher zu einem PersistentVolumeClaim-Ziel, das von einer Parallelstore-Instanz unterstützt wird
• Anleitung zum Trainieren eines TensorFlow-Modells mit Keras in GKE.