Valeurs de configuration automatiques pour les types de machines hautes performances

Ce document explique comment définir automatiquement les valeurs Cloud Storage FUSE par défaut utilisées pour les types de machines Compute Engine à hautes performances, conçus pour optimiser les performances des charges de travail exigeantes à haut débit. Les valeurs définies manuellement au moment de l'installation remplaceront ces valeurs par défaut.

Types de machine

Les valeurs de configuration sont automatisées pour les types de machines Compute Engine à hautes performances suivants :

Type de série Type de machine
Série de machines A2

a2-megagpu-16g

a2-ultragpu-8g
Série de machines A3

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
Série de machines A4

a4-highgpu-8g-lowmem
Série de machines A4X
a4x-highgpu-4g
TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
TPU 7x (Ironwood)
tpu7x-standard-4t

Valeurs de configuration automatiques

Lorsqu'un type de machine compatible est détecté, Cloud Storage FUSE applique automatiquement les valeurs de configuration suivantes :

Champ du fichier de configuration Cloud Storage FUSE Option de la CLI Cloud Storage FUSE Valeur de configuration automatique
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache:ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

1Définir cette configuration sur -1 améliore considérablement les performances en diffusant toujours les fichiers à partir du cache. Sachez que cette configuration contourne les vérifications de cohérence, ce qui peut entraîner la diffusion de données obsolètes. Pour en savoir plus sur la gestion de la cohérence des données, consultez la présentation de la mise en cache dans Cloud Storage FUSE.

Réglage supplémentaire des performances

Lorsque vous utilisez un type de machine à hautes performances Google Cloud , les valeurs de configuration détaillées sur cette page sont appliquées automatiquement. Toutefois, vous pouvez affiner davantage votre machine pour des performances optimales à l'aide des méthodes suivantes :

  • Utilisez le guide Bonnes pratiques de réglage des performances pour améliorer Cloud Storage FUSE à l'aide des principales fonctionnalités et configurations de Cloud Storage FUSE afin d'obtenir un débit maximal et des performances optimales.

  • Si vous exécutez des charges de travail d'entraînement, de diffusion ou de création de points de contrôle et de mise en cache juste-à-temps (JIT) sur des clusters Google Kubernetes Engine qui utilisent des GPU Cloud ou des Cloud TPU pour accéder à de grands ensembles de données dans Cloud Storage, vous pouvez simplifier votre configuration en utilisant des fichiers YAML préconfigurés pour installer vos buckets Cloud Storage directement dans vos pods de manière plus efficace. Pour en savoir plus et obtenir des instructions sur l'utilisation des fichiers YAML GKE préconfigurés, consultez Utiliser des fichiers YAML GKE préconfigurés pour optimiser les performances de Cloud Storage FUSE.

  • Si vous exécutez des charges de travail d'entraînement, de diffusion ou de création de points de contrôle à l'aide de Cloud Storage FUSE, vous pouvez utiliser le champ profile ou --profile option de commande pour ajuster automatiquement des configurations Cloud Storage FUSE spécifiques afin d'optimiser les performances en fonction du type de charge de travail spécifique. Pour en savoir plus, consultez Configurations basées sur des profils pour les charges de travail d'IA/de ML.

Étape suivante