Zones d'IA

Ce document présente les zones d'IA pour Cloud Storage. Les zones d'IA sont des zones Google Cloud spécialisées conçues pour offrir une capacité de calcul pour les charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Ils fournissent une capacité d'accélérateur de ML (GPU et TPU) importante.

Les zones d'IA sont optimisées pour les charges de travail d'IA et de ML, telles que :

  • Entraînement à grande échelle
  • Entraînement, affinage, inférence groupée et réentraînement à petite échelle
  • Inférence de ML en temps réel

Pour en savoir plus sur les zones d'IA, consultez Zones d'IA dans la documentation Compute Engine.

Dans une région, les zones d'IA peuvent être situées géographiquement à l'écart des zones standards (non IA).

Les zones d'IA sont compatibles avec d'autres fonctionnalités Cloud Storage et Google Cloud.

Recommandations d'architecture de stockage

Nous vous recommandons d'utiliser une architecture de stockage par niveaux pour équilibrer les coûts, la durabilité et les performances :

  • Couche de stockage à froid : utilisez des buckets Cloud Storage régionaux dans des zones standards pour un stockage persistant et hautement durable (la "source de vérité") de vos ensembles de données d'entraînement et de vos points de contrôle de modèle.

  • Couche de performances : utilisez des services de stockage zonaux spécialisés pour servir de cache à haut débit ou d'espace de travail temporaire. Cette approche élimine la latence interzone et maximise le débit pendant les jobs actifs.

Les solutions de stockage suivantes sont recommandées pour optimiser les performances des systèmes d'IA et de ML avec les zones d'IA :

Service ou produit de stockage Description Cas d'utilisation
Rapid Cache de Cloud Storage

Cache de lecture zonal entièrement géré et basé sur un disque SSD, qui transfère les données fréquemment lues d'un bucket vers la zone d'IA.

Créez une instance Rapid Cache dans une zone d'IA pour le bucket source régional contenant les ensembles de données d'entraînement ou les modèles que vous souhaitez diffuser. Lorsque votre job d'entraînement lit un fichier, celui-ci est extrait dans le cache rapide de la zone. Les lectures ultérieures sont diffusées directement depuis le cache, en contournant le réseau régional. Cette solution est idéale pour les modèles d'accès aux données répétitifs lors de l'entraînement de modèles et pour la mise en service de modèles à faible latence.

Recommandé pour :

  • Charges de travail à forte intensité de lecture
  • Entraînement et diffusion de modèles à faible latence
Rapid Bucket de Cloud Storage

Fonctionnalité hautes performances qui vous permet de localiser des buckets dans des zones et d'utiliser la classe de stockage Rapid Storage. Optimisé pour les charges de travail nécessitant de nombreuses opérations d'E/S, spécialement conçu pour les applications d'IA/ML qui nécessitent une colocation avec les données auxquelles elles doivent accéder.

Pour optimiser le stockage de vos données pour les charges de travail nécessitant une faible latence et un débit élevé, créez un bucket zonal qui utilise Rapid Storage, puis installez le bucket en tant que répertoire sur votre machine virtuelle à l'aide de Cloud Storage FUSE. Vous pouvez ensuite configurer votre application pour stocker des données dans le bucket zonal ou y accéder via le point d'installation du bucket. Par exemple, pour stocker des points de contrôle de modèle dans votre bucket zonal, configurez votre répertoire de points de contrôle sur le point d'installation dans votre code d'entraînement.

Pour assurer la résilience régionale, vous pouvez sauvegarder vos points de contrôle dans des buckets régionaux, multirégionaux ou birégionaux. Utilisez le service de transfert de stockage pour déplacer des données d'un bucket zonal vers un bucket situé dans un autre emplacement. Utilisez la gestion du cycle de vie des objets pour faire expirer et supprimer les données après une période définie.

Recommandé pour :

  • Charges de travail de lecture et d'écriture à haut débit
  • Création de points de contrôle à haut débit
  • Entraînement et diffusion de modèles à faible latence

Bonnes pratiques

Suivez ces bonnes pratiques de stockage lorsque vous utilisez des zones d'IA :

  • Provisionnez votre couche de performances dans la même zone d'IA que vos ressources de calcul. La colocalisation du calcul et du stockage permet de s'assurer que les GPU et les TPU restent entièrement saturés, ce qui maximise le "goodput" (débit utile).

  • Pour Rapid Cache, avant de commencer l'époque d'entraînement principale, effectuez une prélecture de votre ensemble de données pour remplir ou préchauffer le cache basé sur un disque SSD.

Zones d'IA disponibles

Le tableau suivant présente les zones d'IA et leurs régions Google Cloudparentes.

Zone géographique Région parente Zone d'IA
Europe europe-west4 europe-west4-ai1a
États-Unis us-central1 us-central1-ai1a
États-Unis us-south1 us-south1-ai1b

Remarques

  • Vous pouvez accéder aux produits Google Cloud dans une région Google Cloud depuis la zone d'IA de la région. Toutefois, l'accès aux services d'une région Google Cloudà partir d'une zone d'IA peut ajouter de la latence réseau, car l'emplacement de la zone d'IA peut être physiquement distinct de celui des zones standards de la région.

  • Nous vous recommandons d'exécuter les charges de travail non liées au ML dans des zones standards, et non dans des zones d'IA, car les zones d'IA ne proposent pas tous les services Google Cloud localement.

Étapes suivantes