In diesem Dokument wird beschrieben, wie Sie automatisch Standardwerte für Cloud Storage FUSE festlegen, die für leistungsstarke Compute Engine-Maschinentypen verwendet werden. Diese sind darauf ausgelegt, die Leistung für anspruchsvolle Arbeitslasten mit hohem Durchsatz zu optimieren. Wenn Sie bei der Bereitstellung Werte manuell festlegen, werden die Standardwerte überschrieben.
Maschinentypen
Konfigurationswerte werden für die folgenden leistungsstarken Compute Engine-Maschinentypen automatisiert:
| Serientyp | Maschinentyp |
|---|---|
| A2-Maschinenserie | |
a2-megagpu-16g |
|
a2-ultragpu-8g |
|
| A3-Maschinenserie | |
a3-edgegpu-8g |
|
a3-highgpu-8g |
|
a3-megagpu-8g |
|
a3-ultragpu-8g |
|
| A4-Maschinenserie | |
a4-highgpu-8g-lowmem |
|
| TPU v5e | |
ct5l-hightpu-8t |
|
ct5lp-hightpu-8t |
|
| TPU v5p | |
ct5p-hightpu-4t |
|
ct5p-hightpu-4t-tpu |
|
| TPU v6e (Trillium) | |
ct6e-standard-4t |
|
ct6e-standard-4t-tpu |
|
ct6e-standard-8t |
|
ct6e-standard-8t-tpu |
Automatisierte Konfigurationswerte
Wenn ein unterstützter Maschinentyp erkannt wird, wendet Cloud Storage FUSE automatisch die folgenden Konfigurationswerte an:
| Feld der Cloud Storage FUSE-Konfigurationsdatei | Cloud Storage FUSE-Befehlszeilenoption | Automatisierter Konfigurationswert |
|---|---|---|
metadata-cache:negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache:ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache:stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
metadata-cache:type-cache-max-size-mb |
--type-cache-max-size-mb |
128 |
implicit-dirs |
--implicit-dirs |
true |
file-system:rename-dir-limit |
--rename-dir-limit |
200000 |
write:global-max-blocks |
--write-global-max-blocks |
1600 |
1 Wenn Sie diese Konfiguration auf -1 festlegen, wird die Leistung erheblich gesteigert, da Dateien immer aus dem Cache bereitgestellt werden. Beachten Sie, dass bei dieser Konfiguration Konsistenzprüfungen umgangen werden, was dazu führen kann, dass veraltete Daten bereitgestellt werden. Weitere Informationen zum Verwalten der Datenkonsistenz finden Sie unter Übersicht über das Caching in Cloud Storage FUSE.
Weitere Leistungsoptimierung
Wenn Sie einen leistungsstarken Google Cloud -Maschinentyp verwenden, werden die auf dieser Seite beschriebenen Konfigurationswerte automatisch angewendet. Sie können Ihre Maschine jedoch mit den folgenden Methoden weiter optimieren:
Mit dem Leistungsoptimierungsleitfaden können Sie Cloud Storage FUSE mithilfe wichtiger Cloud Storage FUSE-Funktionen und -Konfigurationen optimieren, um maximalen Durchsatz und optimale Leistung zu erzielen.
Wenn Sie Trainings-, Bereitstellungs- oder Checkpointing-Arbeitslasten und JIT-Cache-Arbeitslasten (Just-in-Time) in Google Kubernetes Engine-Clustern ausführen, die Cloud-GPUs oder Cloud-TPUs für den Zugriff auf große Datasets in Cloud Storage verwenden, können Sie die Einrichtung optimieren, indem Sie vorkonfigurierte YAML-Dateien verwenden, um Ihre Cloud Storage-Buckets effizienter direkt in Ihre Pods einzubinden. Weitere Informationen und eine Anleitung zur Verwendung vorkonfigurierter GKE-YAML-Dateien finden Sie unter Vorkonfigurierte GKE-YAML-Dateien verwenden, um die Leistung von Cloud Storage FUSE zu optimieren.
Wenn Sie Trainings-, Bereitstellungs- oder Checkpointing-Arbeitslasten mit Cloud Storage FUSE ausführen, können Sie das Feld
profileoder die Befehlszeilenoption--profileverwenden, um bestimmte Cloud Storage FUSE-Konfigurationen automatisch für eine optimale Leistung basierend auf dem jeweiligen Arbeitslasttyp anzupassen. Weitere Informationen finden Sie unter Profilbasierte Konfigurationen für KI/ML-Arbeitslasten.
Nächste Schritte
Verwenden Sie eine vorkonfigurierte GKE-YAML-Datei, um Best Practices für die Optimierung zu konfigurieren.