Automatisierte Konfigurationswerte für Hochleistungsmaschinentypen

In diesem Dokument wird beschrieben, wie Sie Standardwerte für Cloud Storage FUSE automatisch für leistungsstarke Compute Engine-Maschinentypen festlegen, die für die Optimierung der Leistung für anspruchsvolle Arbeitslasten mit hohem Durchsatz entwickelt wurden. Wenn Sie bei der Bereitstellung Werte manuell festlegen, werden die Standardwerte überschrieben.

Maschinentypen

Konfigurationswerte werden für die folgenden leistungsstarken Compute Engine-Maschinentypen automatisiert:

Serientyp Maschinentyp
A2-Maschinenserie

a2-megagpu-16g

a2-ultragpu-8g
A3-Maschinenserie

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
A4-Maschinenserie

a4-highgpu-8g-lowmem
A4X-Maschinenserie
a4x-highgpu-4g
TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
TPU 7x (Ironwood)
tpu7x-standard-4t

Automatisierte Konfigurationswerte

Wenn ein unterstützter Maschinentyp erkannt wird, wendet Cloud Storage FUSE automatisch die folgenden Konfigurationswerte an:

Feld der Cloud Storage FUSE-Konfigurationsdatei Option der Cloud Storage FUSE-Befehlszeile Automatisierter Konfigurationswert
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache:ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

1 Wenn Sie diese Konfiguration auf -1 setzen, wird die Leistung erheblich gesteigert, da Dateien immer aus dem Cache bereitgestellt werden. Beachten Sie, dass bei dieser Konfiguration Konsistenzprüfungen umgangen werden, was dazu führen kann, dass veraltete Daten bereitgestellt werden. Weitere Informationen zum Verwalten der Datenkonsistenz finden Sie unter Übersicht zum Caching in Cloud Storage FUSE.

Weitere Leistungsoptimierung

Wenn Sie einen leistungsstarken Google Cloud Maschinentyp verwenden, werden die auf dieser Seite beschriebenen Konfigurationswerte automatisch angewendet. Sie können Ihre Maschine jedoch mit den folgenden Methoden weiter optimieren, um eine optimale Leistung zu erzielen:

  • Im Leitfaden Best Practices für die Leistungsoptimierung erfahren Sie, wie Sie Cloud Storage FUSE mit wichtigen Cloud Storage FUSE-Funktionen und -Konfigurationen verbessern können, um einen maximalen Durchsatz und eine optimale Leistung zu erzielen.

  • Wenn Sie Trainings-, Bereitstellungs- oder Checkpointing-Arbeitslasten und Just-in-Time-Cache-Arbeitslasten (JIT) in Google Kubernetes Engine-Clustern ausführen, die Cloud-GPUs oder Cloud TPU verwenden, um auf große Datasets in Cloud Storage zuzugreifen, können Sie die Einrichtung optimieren, indem Sie vorkonfigurierte YAML-Dateien verwenden, um Ihre Cloud Storage-Buckets effizienter direkt in Ihre Pods einzubinden. Weitere Informationen und Anleitungen zur Verwendung vorkonfigurierter GKE-YAML-Dateien finden Sie unter Vorkonfigurierte GKE-YAML-Dateien verwenden, um die Leistung von Cloud Storage FUSE zu optimieren.

  • Wenn Sie Trainings-, Bereitstellungs- oder Checkpointing-Arbeitslasten mit Cloud Storage FUSE ausführen, können Sie das profile Feld oder --profile Befehlsoption verwenden, um bestimmte Cloud Storage FUSE-Konfigurationen automatisch für eine optimale Leistung basierend auf dem jeweiligen Arbeitslasttyp anzupassen. Weitere Informationen finden Sie unter Profilbasierte Konfigurationen für KI/ML-Arbeitslasten.

Nächste Schritte