Valeurs de configuration automatiques pour les types de machines hautes performances

Cloud Storage FUSE applique automatiquement des valeurs de configuration par défaut optimisées lorsqu'il s'exécute sur des types de machines Compute Engine hautes performances, tels que les séries A3, A4 et TPU v6e. Ces valeurs par défaut vous permettent d'obtenir un haut débit pour les charges de travail exigeantes sans réglage manuel. Toutes les valeurs que vous définissez manuellement au moment de l'installation sont prioritaires.

Types de machine

Les valeurs de configuration sont automatisées pour les types de machines Compute Engine hautes performances suivants :

Type de série Type de machine
Série de machines A2

a2-megagpu-16g

a2-ultragpu-8g
Série de machines A3

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
Série de machines A4

a4-highgpu-8g-lowmem
Série de machines A4X
a4x-highgpu-4g
TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
TPU 7x (Ironwood)
tpu7x-standard-4t

Valeurs de configuration automatiques

Lorsqu'un type de machine compatible est détecté, Cloud Storage FUSE applique automatiquement les valeurs de configuration suivantes :

Champ du fichier de configuration Cloud Storage FUSE Option de la CLI Cloud Storage FUSE Valeur de configuration automatique
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache:ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

1 Définir cette configuration sur -1 améliore considérablement les performances en diffusant toujours les fichiers à partir du cache. Sachez que cette configuration contourne les vérifications de cohérence, ce qui peut entraîner la diffusion de données obsolètes. Pour en savoir plus sur la gestion de la cohérence des données, consultez Présentation de la mise en cache dans Cloud Storage FUSE.

Réglage supplémentaire des performances

Lorsque vous utilisez un type de machine Google Cloud hautes performances, les valeurs de configuration détaillées sur cette page sont automatiquement appliquées. Toutefois, vous pouvez affiner davantage votre machine pour obtenir des performances optimales à l'aide des méthodes suivantes :

  • Utilisez le guide des bonnes pratiques pour l'optimisation des performances afin d'améliorer Cloud Storage FUSE à l'aide des fonctionnalités et configurations clés de Cloud Storage FUSE, et ainsi d'obtenir un débit maximal et des performances optimales.

  • Si vous exécutez des charges de travail d'entraînement, de diffusion ou de création de points de contrôle et de cache JIT (Just-In-Time) sur des clusters Google Kubernetes Engine qui utilisent des Cloud GPU ou des Cloud TPU pour accéder à de grands ensembles de données dans Cloud Storage, vous pouvez simplifier votre configuration en utilisant des fichiers YAML préconfigurés pour installer vos buckets Cloud Storage directement dans vos pods de manière plus efficace. Pour en savoir plus et obtenir des instructions sur l'utilisation des fichiers YAML GKE préconfigurés, consultez Utiliser des fichiers YAML GKE préconfigurés pour optimiser les performances de Cloud Storage FUSE.

  • Si vous exécutez des charges de travail d'entraînement, de diffusion ou de création de points de contrôle à l'aide de Cloud Storage FUSE, vous pouvez utiliser le champ profile ou l'option de commande --profile pour ajuster automatiquement des configurations Cloud Storage FUSE spécifiques afin d'obtenir des performances optimales en fonction du type de charge de travail spécifique. Pour en savoir plus, consultez Configurations basées sur des profils pour les charges de travail d'IA/de ML.

Étapes suivantes