Automatisierte Konfigurationswerte für Hochleistungsmaschinentypen

Cloud Storage FUSE wendet automatisch optimierte Standardkonfigurationswerte an, wenn es auf leistungsstarken Compute Engine-Maschinentypen wie den Serien A3, A4 und TPU v6e ausgeführt wird. Mit diesen Standardeinstellungen erzielen Sie einen hohen Durchsatz für anspruchsvolle Arbeitslasten, ohne dass eine manuelle Abstimmung erforderlich ist. Alle Werte, die Sie bei der Bereitstellung manuell festlegen, haben Vorrang.

Maschinentypen

Die Konfigurationswerte werden für die folgenden leistungsstarken Compute Engine-Maschinentypen automatisiert:

Serientyp Maschinentyp
A2-Maschinenserie

a2-megagpu-16g

a2-ultragpu-8g
A3-Maschinenserie

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
A4-Maschinenserie

a4-highgpu-8g-lowmem
A4X-Maschinenserie
a4x-highgpu-4g
TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
TPU 7x (Ironwood)
tpu7x-standard-4t

Automatisierte Konfigurationswerte

Wenn ein unterstützter Maschinentyp erkannt wird, wendet Cloud Storage FUSE automatisch die folgenden Konfigurationswerte an:

Feld der Cloud Storage FUSE-Konfigurationsdatei Cloud Storage FUSE-Befehlszeilenoption Automatisierter Konfigurationswert
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache:ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

1Wenn Sie diese Konfiguration auf -1 festlegen, wird die Leistung erheblich gesteigert, da Dateien immer aus dem Cache bereitgestellt werden. Beachten Sie, dass bei dieser Konfiguration Konsistenzprüfungen umgangen werden, was dazu führen kann, dass veraltete Daten bereitgestellt werden. Weitere Informationen zur Verwaltung der Datenkonsistenz finden Sie unter Caching in Cloud Storage FUSE.

Weitere Leistungsoptimierung

Wenn Sie einen leistungsstarken Google Cloud -Maschinentyp verwenden, werden die auf dieser Seite beschriebenen Konfigurationswerte automatisch angewendet. Sie können Ihre Maschine jedoch mit den folgenden Methoden weiter optimieren, um eine optimale Leistung zu erzielen:

  • Im Leitfaden mit Best Practices zur Leistungsoptimierung erfahren Sie, wie Sie Cloud Storage FUSE mithilfe wichtiger Cloud Storage FUSE-Funktionen und -Konfigurationen verbessern können, um maximalen Durchsatz und optimale Leistung zu erzielen.

  • Wenn Sie Trainings-, Bereitstellungs- oder Prüfpunkt- und JIT-Cache-Arbeitslasten (Just in Time) auf Google Kubernetes Engine-Clustern ausführen, die Cloud GPUs oder Cloud TPU für den Zugriff auf große Datasets in Cloud Storage verwenden, können Sie Ihre Einrichtung optimieren, indem Sie vorkonfigurierte YAML-Dateien verwenden, um Ihre Cloud Storage-Buckets effizienter direkt in Ihren Pods bereitzustellen. Weitere Informationen und eine Anleitung zur Verwendung vorkonfigurierter GKE-YAML-Dateien finden Sie unter Vorkonfigurierte GKE-YAML-Dateien verwenden, um die Cloud Storage FUSE-Leistung zu optimieren.

  • Wenn Sie Trainings-, Bereitstellungs- oder Prüfpunkt-Arbeitslasten mit Cloud Storage FUSE ausführen, können Sie das Feld profile oder die Befehlsoption --profile verwenden, um bestimmte Cloud Storage FUSE-Konfigurationen automatisch für eine optimale Leistung basierend auf dem jeweiligen Arbeitslasttyp anzupassen. Weitere Informationen finden Sie unter Profilbasierte Konfigurationen für KI/ML-Arbeitslasten.

Nächste Schritte