Zones d'IA

Ce document présente les zones d'IA pour Cloud Storage. Les zones d'IA sont des zones spécialisées Google Cloud conçues pour offrir une capacité de calcul pour les charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Elles offrent une capacité d'accélérateur de ML (GPU et TPU) importante.

Les zones d'IA sont optimisées pour les charges de travail d'IA et de ML, comme les suivantes :

  • Entraînement à grande échelle
  • Entraînement, affinage, inférence par lot et réentraînement à petite échelle
  • Inférence ML en temps réel

Pour en savoir plus sur les zones d'IA, consultez Zones d'IA dans la documentation Compute Engine.

Dans une région, les zones d'IA peuvent être géographiquement éloignées des zones standards (non liées à l'IA).

Les zones d'IA sont compatibles avec d'autres fonctionnalités Cloud Storage et Google Cloud.

Recommandations concernant l'architecture de stockage

Nous vous recommandons d'utiliser une architecture de stockage par niveaux pour équilibrer les coûts, la durabilité et les performances :

  • Couche de stockage à froid : utilisez des buckets Cloud Storage régionaux dans des zones standards pour un stockage persistant et très durable (la "source de vérité") de vos ensembles de données d'entraînement et de vos points de contrôle de modèle.

  • Couche de performances : utilisez des services de stockage zonal spécialisés pour servir de cache haute vitesse ou d'espace de travail temporaire. Cette approche élimine la latence interzones et maximise le débit pendant les jobs actifs.

Les solutions de stockage suivantes sont recommandées pour optimiser les performances des systèmes d'IA et de ML avec les zones d'IA :

Service ou produit de stockage Description Cas d'utilisation
Rapid Cache produit Cloud Storage

Cache de lecture zonal entièrement géré et basé sur un disque SSD qui transfère les données fréquemment lues d'un bucket vers la zone d'IA.

Créez une instance Rapid Cache dans une zone d'IA pour le bucket source régional contenant les ensembles de données ou les modèles d'entraînement que vous souhaitez diffuser. Lorsque votre tâche d'entraînement lit un fichier, celui-ci est extrait dans le cache rapide de la zone. Les lectures suivantes sont diffusées directement à partir du cache, en contournant le réseau régional. Cette option est idéale pour les schémas d'accès aux données répétitifs lors de l'entraînement des modèles et pour la diffusion de modèles à faible latence.

Recommandé pour :

  • Charges de travail à forte intensité de lecture
  • Entraînement et diffusion de modèles à faible latence
Rapid Bucket produit de Cloud Storage

Fonctionnalité hautes performances qui vous permet de localiser des buckets dans des zones et d'utiliser la classe de stockage Rapid Storage. Optimisé pour les charges de travail intensives en E/S, spécialement conçu pour les applications d'IA/de ML qui nécessitent une colocation avec les données auxquelles elles doivent accéder.

Pour optimiser le stockage de vos données pour les charges de travail qui nécessitent une faible latence et un débit élevé, créez un bucket zonal qui utilise le stockage rapide, puis associez le bucket en tant que répertoire sur votre machine virtuelle à l'aide de Cloud Storage FUSE. Vous pouvez ensuite configurer votre application pour stocker des données dans le bucket zonal ou y accéder via le point de montage du bucket. Par exemple, pour stocker les points de contrôle du modèle dans votre bucket zonal, configurez le répertoire de points de contrôle sur le point de montage dans votre code d'entraînement.

Pour la résilience régionale, vous pouvez sauvegarder vos points de contrôle dans des buckets régionaux, multirégionaux ou birégionaux. Utilisez le service de transfert de stockage pour déplacer des données d'un bucket zonal vers un bucket situé dans un autre emplacement. Utilisez la gestion du cycle de vie des objets pour faire expirer et supprimer les données après une période définie.

Recommandé pour :

  • Charges de travail de lecture et d'écriture à haut débit
  • Création de points de contrôle à haut débit
  • Entraînement et diffusion de modèles à faible latence

Bonnes pratiques

Suivez ces bonnes pratiques de stockage lorsque vous utilisez des zones d'IA :

  • Provisionnez votre couche de performances dans la même zone d'IA que vos ressources de calcul. La colocation du calcul et du stockage permet de s'assurer que les GPU et les TPU restent entièrement saturés, ce qui maximise le "goodput" (débit utile).

  • Pour Rapid Cache, avant de commencer l'époque d'entraînement principale, effectuez une prélecture de votre ensemble de données pour remplir ou réchauffer le cache basé sur SSD.

Zones d'IA disponibles

Le tableau suivant présente les zones d'IA et leurs régions Google Cloudparentes.

Zone géographique Région parente Zone d'IA
Europe europe-west4 europe-west4-ai1a
États-Unis us-central1 us-central1-ai1a
États-Unis us-south1 us-south1-ai1b

Remarques

  • Vous pouvez accéder aux produits Google Cloud dans une région Google Cloud depuis la zone d'IA de la région. Toutefois, l'accès aux services dans une région Google Cloudà partir d'une zone d'IA peut ajouter de la latence réseau, car l'emplacement de la zone d'IA peut être physiquement distinct de celui des zones standards de la région.

  • Nous vous recommandons d'exécuter les charges de travail non liées au ML dans des zones standards, et non dans des zones d'IA, car ces dernières n'offrent pas tous les services Google Cloud localement.

Étapes suivantes