Zones d'IA

Ce document présente les zones d'IA pour Cloud Storage. Les zones d'IA sont des zones spécialisées Google Cloud conçues pour offrir une capacité de calcul pour les charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Elles offrent une capacité d'accélérateur de ML (GPU et TPU) importante.

Les zones d'IA sont optimisées pour les charges de travail d'IA et de ML, comme les suivantes :

  • Entraînement à grande échelle
  • Entraînement à petite échelle, ajustement, inférence par lot et réentraînement
  • Inférence ML en temps réel

Pour obtenir des informations générales sur les zones d'IA, consultez Zones d'IA dans la documentation Compute Engine.

Dans une région, les zones d'IA peuvent être géographiquement éloignées des zones standards (non-IA).

Les zones d'IA sont compatibles avec d'autres fonctionnalités et services Cloud Storage et Google Cloud

Recommandations concernant l'architecture de stockage

Nous vous recommandons d'utiliser une architecture de stockage à plusieurs niveaux pour équilibrer les coûts, la durabilité et les performances :

  • Couche de stockage à froid : utilisez des buckets Cloud Storage régionaux dans des zones standards pour un stockage persistant et très durable (la "source de vérité") de vos ensembles de données d'entraînement et de vos points de contrôle de modèle.

  • Couche de performances : utilisez des services de stockage zonaux spécialisés pour servir de cache haute vitesse ou d'espace de traitement temporaire. Cette approche élimine la latence interzonale et maximise le débit lors des tâches actives.

Les solutions de stockage suivantes sont recommandées pour optimiser les performances du système d'IA et de ML avec les zones d'IA :

Service ou produit de stockage Description Cas d'utilisation
Rapid Cache produit de Cloud Storage

Cache de lecture zonal entièrement géré et basé sur des disques SSD qui transfère les données lues fréquemment lues d'un bucket vers la zone d'IA.

Créez une instance Rapid Cache dans une zone d'IA pour le bucket source régional contenant les ensembles de données d'entraînement ou les modèles que vous souhaitez diffuser. Lorsque votre tâche d'entraînement lit un fichier, celui-ci est extrait dans le cache rapide de la zone. Les lectures suivantes sont diffusées directement à partir du cache, en contournant le réseau régional. Cette solution est idéale pour les modèles d'accès aux données répétitifs lors de l'entraînement de modèles et pour la diffusion de modèles à faible latence.

Recommandé pour :

  • Les charges de travail à forte intensité de lecture
  • L'entraînement et la diffusion de modèles à faible latence
Produit Rapid Bucket de Cloud Storage

Fonctionnalité hautes performances qui vous permet de localiser des buckets dans des zones et d'utiliser la classe de stockage Rapid Storage. Optimisé pour les charges de travail à forte intensité d'E/S spécialement conçu pour les applications d'IA/de ML qui nécessitent une colocalisation avec les données auxquelles elles doivent accéder.

Pour optimiser le stockage de vos données pour les charges de travail qui nécessitent une faible latence et un débit élevé, créez un bucket zonal qui utilise le stockage Rapid, puis installez le bucket en tant que répertoire sur votre machine virtuelle à l'aide de Cloud Storage FUSE. Vous pouvez ensuite configurer votre application pour stocker des données dans le bucket zonal ou y accéder via le point d'installation du bucket. Par exemple, pour stocker des points de contrôle de modèle dans votre bucket zonal, configurez votre répertoire de points de contrôle sur le point d'installation dans votre code d'entraînement.

Pour une résilience régionale, vous pouvez sauvegarder vos points de contrôle dans des buckets régionaux, multirégionaux ou birégionaux. Utilisez le service de transfert de stockage pour déplacer des données d'un bucket zonal vers un bucket situé dans un autre emplacement. Utilisez la gestion du cycle de vie des objets pour faire expirer et supprimer les données après une période définie.

Recommandé pour :

  • Les charges de travail de lecture et d'écriture à haut débit
  • La création de points de contrôle à haute vitesse
  • L'entraînement et la diffusion de modèles à faible latence

Bonnes pratiques

Suivez ces bonnes pratiques pour le stockage lorsque vous utilisez des zones d'IA :

  • Provisionnez votre couche de performances dans la même zone d'IA que vos ressources de calcul. La colocalisation du calcul et du stockage permet de s'assurer que les GPU et les TPU restent entièrement saturés, ce qui maximise le "bon débit" (débit utile).

  • Pour Rapid Cache, avant de commencer l'époque d'entraînement principale, effectuez une prélecture de votre ensemble de données pour remplir ou réchauffer le cache basé sur des disques SSD.

Zones d'IA disponibles

Le tableau suivant présente les zones d'IA et leurs régions parent Google Cloud.

Zone géographique Région parente Zone d'IA
Europe europe-west4 europe-west4-ai1a
États-Unis us-central1 us-central1-ai1a
États-Unis us-south1 us-south1-ai1b

Remarques

  • Vous pouvez accéder aux Google Cloud produits dans une Google Cloud région depuis la zone d'IA de la région. Toutefois, l'accès aux services d'une Google Cloud région à partir d'une zone d'IA peut ajouter une latence réseau, car l'emplacement de la zone d'IA peut être physiquement distinct de celui des zones standards de la région.

  • Nous vous recommandons d'exécuter les charges de travail non-ML dans des zones standards, et non dans des zones d'IA, car ces dernières n'offrent pas tous les services localement Google Cloud .

Étape suivante