In diesem Dokument wird beschrieben, wie Sie automatisch Standardwerte für Cloud Storage FUSE für leistungsstarke Compute Engine-Maschinentypen festlegen, die für die Optimierung der Leistung für anspruchsvolle Arbeitslasten mit hohem Durchsatz entwickelt wurden. Werte, die zum Zeitpunkt der Bereitstellung manuell festgelegt werden, überschreiben diese Standardwerte.
Maschinentypen
Konfigurationswerte werden für die folgenden leistungsstarken Compute Engine-Maschinentypen automatisch festgelegt:
| Serientyp | Maschinentyp |
|---|---|
| A2-Maschinenserie | |
a2-megagpu-16g |
|
a2-ultragpu-8g |
|
| A3-Maschinenserie | |
a3-edgegpu-8g |
|
a3-highgpu-8g |
|
a3-megagpu-8g |
|
a3-ultragpu-8g |
|
| A4-Maschinenserie | |
4-highgpu-8g-lowmem |
|
| TPU v5e | |
ct5l-hightpu-8t |
|
ct5lp-hightpu-8t |
|
| TPU v5p | |
ct5p-hightpu-4t |
|
ct5p-hightpu-4t-tpu |
|
| TPU v6e (Trillium) | |
ct6e-standard-4t |
|
ct6e-standard-4t-tpu |
|
ct6e-standard-8t |
|
ct6e-standard-8t-tpu |
Automatisierte Konfigurationswerte
Wenn ein unterstützter Maschinentyp erkannt wird, wendet Cloud Storage FUSE automatisch die folgenden Konfigurationswerte an:
| Feld der Cloud Storage FUSE-Konfigurationsdatei | Cloud Storage FUSE-Befehlszeilenoption | Automatisierter Konfigurationswert |
|---|---|---|
metadata-cache.negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache.ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache.stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
metadata-cache.type-cache-max-size-mb |
--type-cache-max-size-mb |
128 |
implicit-dirs |
--implicit-dirs |
true |
file-system.rename-dir-limit |
--rename-dir-limit |
200000 |
1 Wenn Sie diese Konfiguration auf -1 festlegen, wird die Leistung erheblich gesteigert, da Dateien immer aus dem Cache bereitgestellt werden. Beachten Sie, dass bei dieser Konfiguration Konsistenzprüfungen umgangen werden, was dazu führen kann, dass veraltete Daten bereitgestellt werden. Weitere Informationen zum Verwalten der Datenkonsistenz finden Sie unter Übersicht über das Caching in Cloud Storage FUSE.
Weitere Leistungsoptimierung
Wenn Sie einen leistungsstarken Google Cloud -Maschinentyp verwenden, werden die auf dieser Seite beschriebenen Konfigurationswerte automatisch angewendet. Sie können Ihre Maschine jedoch mit den folgenden Methoden weiter optimieren:
Mit dem Leistungsoptimierungsleitfaden können Sie Cloud Storage FUSE mithilfe wichtiger Cloud Storage FUSE-Funktionen und -Konfigurationen optimieren, um maximalen Durchsatz und optimale Leistung zu erzielen.
Wenn Sie Trainings-, Bereitstellungs- oder Checkpointing-Arbeitslasten sowie JIT-Cache-Arbeitslasten (Just-in-Time) in Google Kubernetes Engine-Clustern ausführen, die Cloud-GPUs oder Cloud TPU für den Zugriff auf große Datasets in Cloud Storage verwenden, können Sie die Einrichtung optimieren, indem Sie vorkonfigurierte YAML-Dateien verwenden, um Ihre Cloud Storage-Buckets effizienter direkt in Ihre Pods einzubinden. Weitere Informationen und eine Anleitung zur Verwendung vorkonfigurierter GKE-YAML-Dateien finden Sie unter Vorkonfigurierte GKE-YAML-Dateien verwenden, um die Leistung von Cloud Storage FUSE zu optimieren.
Wenn Sie Trainings-, Bereitstellungs- oder Checkpointing-Arbeitslasten mit Cloud Storage FUSE ausführen, können Sie das Feld
profileoder die Befehlsoption--profileverwenden, um bestimmte Cloud Storage FUSE-Konfigurationen automatisch an den jeweiligen Arbeitslasttyp anzupassen und so die Leistung zu optimieren. Weitere Informationen finden Sie unter Profilbasierte Konfigurationen für KI-/ML-Arbeitslasten.
Nächste Schritte
Verwenden Sie eine vorkonfigurierte GKE-YAML-Datei, um Best Practices für die Optimierung zu konfigurieren.