Services de stockage

Ce document décrit les cas d'utilisation et les recommandations concernant les services de stockage dans les charges de travail d'intelligence artificielle (IA) et de machine learning (ML).

Cas d'utilisation de Storage

Les services de stockage peuvent être utilisés dans les charges de travail d'IA et de ML suivantes :

  • Préparer et charger les données pour l'entraînement
  • Charger les pondérations du modèle pour l'inférence
  • Enregistrer et restaurer les points de contrôle du modèle
  • Charger des images de VM
  • Journalisation des données
  • Répertoires d'accueil
  • Chargement des bibliothèques, des packages et des dépendances de l'application

Recommandations de stockage

Les solutions de stockage suivantes sont recommandées pour optimiser les performances des systèmes d'IA et de ML :

Service de stockage Fonctionnalités Cas d'utilisation
Cloud Storage

Présentation : store d'objets hautement évolutif, très durable et peu coûteux. Il est adapté au stockage de vastes ensembles de données nécessaires à l'entraînement et aux points de contrôle des modèles, ainsi qu'à l'hébergement des modèles entraînés finaux. Cloud Storage avec Cloud Storage FUSE est la solution de stockage recommandée pour la plupart des cas d'utilisation de l'IA et du ML, car elle vous permet de faire évoluer votre stockage de données de manière plus rentable que les services de système de fichiers.

  • Compatible avec les données d'entraînement à grande échelle (jusqu'à des exaoctets) pour les clusters GPU et TPU.
  • Compatible avec le haut débit (bande passante de 1,25 To/s ou plus). Pour maximiser votre débit dans Cloud Storage, demandez plus de bande passante.
  • Grâce à l'intégration à Cloud Storage FUSE, les buckets Cloud Storage peuvent être installés en tant que systèmes de fichiers locaux. Le pilote CSI Cloud Storage FUSE vous permet également d'installer des buckets en tant que systèmes de fichiers locaux dans Google Kubernetes Engine (GKE) pour les charges de travail d'IA et de ML à grande échelle.
  • Utilisez Anywhere Cache pour colocaliser le stockage dans la même zone que les charges de travail de calcul.Vous bénéficiez ainsi d'un débit plus élevé (jusqu'à 2,5 Tbit/s), d'une latence plus faible et d'une flexibilité de localisation lorsque vous l'utilisez avec un bucket multirégional.
  • Pour en savoir plus sur l'utilisation de Cloud Storage FUSE pour les charges de travail d'IA et de ML, consultez Optimiser les charges de travail d'IA et de ML avec Cloud Storage FUSE.

Ce schéma est recommandé pour :

  • Rentabilité
  • Traitement et préparation des données
  • Entraînement et inférence du modèle
  • Enregistrer et restaurer les points de contrôle du modèle

Il n'est pas recommandé pour :

  • Applications nécessitant une conformité POSIX complète
  • Répertoires d'accueil
Google Cloud Managed Lustre

Présentation : système de fichiers parallèle hautes performances entièrement géré, optimisé pour les applications d'IA et de calcul hautes performances (HPC). Convient aux environnements dans lesquels plusieurs nœuds de calcul ont besoin d'un accès rapide et cohérent à des données partagées pour les simulations, la modélisation et l'analyse.

  • Évolutivité jusqu'à 8 Po de capacité et jusqu'à 1 To/s de débit.
  • Prend en charge des milliers d'IOPS/TiB.
  • Offre une latence ultra-faible de moins d'une milliseconde.
  • Il est entièrement compatible avec POSIX, ce qui permet de migrer immédiatement les charges de travail d'IA sur site vers Google Cloud.
  • Pour en savoir plus sur l'utilisation de Managed Lustre pour les charges de travail d'IA et de ML, consultez Optimiser les charges de travail d'IA et de ML avec Google Cloud Managed Lustre.

Ce schéma est recommandé pour :

  • Migrer des charges de travail d'IA et de ML vers le cloud
  • Simulations de modèles
  • Entraînement et inférence du modèle
  • Enregistrer et restaurer les points de contrôle du modèle
  • Charges de travail avec des lectures et des écritures fréquentes de petites quantités de données
  • Répertoires d'accueil

Il n'est pas recommandé pour :

  • Charges de travail nécessitant plus de 8 Po de données

Étapes suivantes