Valeurs de configuration automatiques pour les types de machines hautes performances

Ce document explique comment définir automatiquement les valeurs Cloud Storage FUSE par défaut utilisées pour les types de machines Compute Engine hautes performances, qui sont conçus pour optimiser les performances des charges de travail exigeantes à haut débit. Les valeurs définies manuellement au moment du montage remplaceront ces valeurs par défaut.

Types de machine

Les valeurs de configuration sont automatisées pour les types de machines Compute Engine hautes performances suivants :

Type de série Type de machine
Série de machines A2
a2-megagpu-16g
a2-ultragpu-8g
Série de machines A3
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
Série de machines A4
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e (Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

Valeurs de configuration automatisées

Lorsqu'un type de machine compatible est détecté, Cloud Storage FUSE applique automatiquement les valeurs de configuration suivantes :

Champ du fichier de configuration Cloud Storage FUSE Option de la CLI Cloud Storage FUSE Valeur de configuration automatisée
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1 Définir cette configuration sur -1 améliore considérablement les performances en diffusant toujours les fichiers à partir du cache. Sachez que cette configuration contourne les vérifications de cohérence, ce qui peut entraîner la diffusion de données obsolètes. Pour en savoir plus sur la gestion de la cohérence des données, consultez Présentation de la mise en cache dans Cloud Storage FUSE.

Réglage plus précis des performances

Lorsque vous utilisez un type de machine Google Cloud hautes performances, les valeurs de configuration détaillées sur cette page sont automatiquement appliquées. Toutefois, vous pouvez affiner davantage votre machine pour des performances optimales à l'aide des méthodes suivantes :

  • Utilisez le guide des bonnes pratiques pour optimiser les performances afin d'améliorer Cloud Storage FUSE en utilisant les principales fonctionnalités et configurations de Cloud Storage FUSE pour obtenir un débit maximal et des performances optimales.

  • Si vous exécutez des charges de travail d'entraînement, de diffusion ou de point de contrôle et de cache JIT (Just in Time) sur des clusters Google Kubernetes Engine qui utilisent des GPU ou des Cloud TPU pour accéder à de grands ensembles de données dans Cloud Storage, vous pouvez simplifier votre configuration en utilisant des fichiers YAML préconfigurés pour monter vos buckets Cloud Storage directement dans vos pods de manière plus efficace. Pour en savoir plus et obtenir des instructions sur l'utilisation des fichiers YAML GKE préconfigurés, consultez Utiliser des fichiers YAML GKE préconfigurés pour optimiser les performances de Cloud Storage FUSE.

  • Si vous exécutez des charges de travail d'entraînement, de diffusion ou de checkpointing à l'aide de Cloud Storage FUSE, vous pouvez utiliser le champ profile ou l'option de commande --profile pour ajuster automatiquement des configurations Cloud Storage FUSE spécifiques afin d'obtenir des performances optimales en fonction du type de charge de travail. Pour en savoir plus, consultez Configurations basées sur des profils pour les charges de travail d'IA/ML.

Étapes suivantes