Leistung mit vorkonfigurierten GKE-YAML-Dateien optimieren

Dieses Dokument enthält vorkonfigurierte Google Kubernetes Engine-YAML-Dateien, mit denen Sie die Leistung von Cloud Storage FUSE für Ihre spezifische Arbeitslast optimieren können. Unabhängig davon, ob Sie Cloud-GPUs oder Cloud TPU für das Training, die Bereitstellung oder das Checkpointing verwenden, können Sie die auf dieser Seite bereitgestellten Beispielkonfigurationen verwenden, um Ihre GKE-Pods schnell bereitzustellen und auf Ihren Cloud Storage-Bucket zuzugreifen.

GKE-Arbeitslasten mit Cloud Storage FUSE mithilfe von YAML-Beispieldateien konfigurieren und bereitstellen

So verwenden Sie Beispielkonfigurationen:

  1. Prüfen Sie, ob der Cloud Storage FUSE-CSI-Treiber für die Google Kubernetes Engine auf GKE-Clustern mit GKE-Version 1.32.2-gke.1297001 oder höher ausgeführt wird.

  2. Prüfen Sie, ob das Google Kubernetes Engine-Dienstkonto die erforderlichen Berechtigungen für den Zugriff auf den Ziel-Cloud Storage-Bucket hat.

  3. Suchen Sie anhand Ihres Maschinentyps und Ihrer Arbeitslast die Beispielkonfigurationen, die Sie anwenden möchten, und verwenden Sie dazu eine der folgenden YAML-Dateien:

    GPU

    Verwenden Sie je nach Arbeitslasttyp eine der folgenden Cloud-GPU-spezifischen YAML-Dateien:

    TPU

    Verwenden Sie je nach Arbeitslasttyp eine der folgenden Cloud TPU-spezifischen YAML-Dateien:

  4. Stellen Sie die entsprechende Pod-Spezifikation bereit, die mit einer der folgenden YAML-Dateien auf PersistentVolumeClaim zugreift:

    GPU

    Stellen Sie die entsprechende Cloud-GPU-spezifische Pod-Spezifikation bereit, die je nach Arbeitslasttyp auf PersistentVolumeClaim zugreift:

    TPU

    Stellen Sie die entsprechende Cloud TPU-spezifische Pod-Spezifikation bereit, die je nach Arbeitslasttyp auf PersistentVolumeClaim zugreift:

  5. Stellen Sie PersistentVolume und PersistentVolumeClaim bereit, indem Sie die PersistentVolume Datei anwenden.

    Das GKE-Pod-Zulassungs-Webhook prüft die Attribute von PersistentVolume, um potenzielle Optimierungen wie das Einfügen von Sidecar-Containern anzuwenden, bevor der Pod geplant wird.

    kubectl apply -f PERSISTENT_VOLUME_YAML_FILE_NAME

    Ersetzen Sie Folgendes:

    • PERSISTENT_VOLUME_YAML_FILE_NAME ist der Name der YAML-Datei für das persistente Volume. Beispiel: serving-pv.yaml.

  6. Stellen Sie die Pod-Spezifikation bereit, die auf PersistentVolumeClaim verweist:

    kubectl apply -f POD_YAML_FILE_NAME

    Ersetzen Sie Folgendes:

    • POD_YAML_FILE_NAME ist der Name der YAML-Konfigurationsdatei für den Pod. Beispiel: serving-pod.yaml.

Nächste Schritte