Cloud Storage propose différentes options pour vous aider à optimiser le stockage de vos données pour les cas d'utilisation nécessitant des performances élevées, tels que l'intelligence artificielle (IA), le machine learning (ML) et l'analyse de données intensive. Cette page présente ces options et vous aide à sélectionner celle qui convient aux besoins de vos charges de travail.
Gamme de produits Cloud Storage Rapid
Cloud Storage Rapid est une famille de produits hautes performances de Cloud Storage conçus pour éliminer les goulots d'étranglement des données pour vos charges de travail d'IA/ML et d'analyse de données. À mesure que les modèles d'IA/de ML gagnent en complexité et que les ensembles de données atteignent des pétaoctets, les performances de stockage deviennent souvent le principal goulot d'étranglement pour les clusters de GPU et de TPU coûteux. Cloud Storage Rapid exploite des architectures zonales pour rapprocher vos données de vos ressources de calcul. Cela permet à vos accélérateurs de rester saturés, de réduire les temps d'entraînement et de réduire le coût total de possession (TCO) de vos charges de travail les plus exigeantes.
Cloud Storage Rapid inclut Rapid Bucket et Rapid Cache.
Stocker des données dans la classe de stockage Rapid Storage à l'aide d'un bucket Rapid
Rapid Bucket est une solution de stockage d'objets zonal hautes performances qui vous permet de stocker des données dans la classe de stockage Rapid en définissant une zone comme emplacement d'un bucket. Rapid Bucket vous permet de colocaliser vos données dans la même zone physique que vos accélérateurs d'IA, et vous aide à obtenir la latence la plus faible et le débit le plus élevé parmi les autres offres de produits Cloud Storage. Rapid Bucket offre une latence inférieure à la milliseconde, un débit agrégé pouvant atteindre 15 To/s et jusqu'à 20 millions de requêtes par seconde (RPS).
Rapid Bucket accepte les ajouts d'objets en flux continu avec état, ce qui permet aux applications d'écrire des données dans des objets existants en temps réel. Cette fonctionnalité vous permet d'éviter les réécritures d'objets coûteuses et d'assurer une visibilité immédiate des données, ce qui permet aux applications clientes de lire les données au fur et à mesure de leur écriture.
Idéal pour : l'entraînement, la création de points de contrôle et la diffusion de modèles d'IA nécessitant une latence ultrafaible et des performances déterministes élevées
Utilisez cette option si : vous souhaitez des performances élevées dédiées pour les lectures et les écritures.
Pour savoir comment créer des buckets zonaux avec Rapid Bucket, consultez Créer des buckets zonaux.
Créer des caches zonaux avec Rapid Cache
Rapid Cache est un cache de lecture zonal entièrement géré et basé sur un disque SSD qui fonctionne avec vos buckets régionaux, birégionaux ou multirégionaux existants sans nécessiter de modifications de l'API. Un cache vous offre une capacité de stockage temporaire et une bande passante qui évoluent automatiquement à la hausse ou à la baisse en fonction des besoins de vos charges de travail. Les données sont automatiquement ingérées dans le cache à partir de votre bucket lorsqu'elles sont lues par une VM résidant dans la même zone que le cache.
Rapid Cache fournit un débit agrégé de 2,5 To/s et réduit la latence pour des lectures plus rapides en colocalisant vos données dans les mêmes zones que vos VM. En plus de diffuser les données plus rapidement, les données diffusées à partir d'un cache peuvent entraîner des frais de transfert de données, des frais de récupération de données et des frais d'exploitation inférieurs à ceux des données diffusées directement à partir d'un bucket. Pour en savoir plus, consultez la section Avantages de Rapid Cache.
Idéal pour : l'entraînement, les restaurations de points de contrôle et la diffusion de modèles d'IA nécessitant une bande passante de lecture élevée à partir d'un bucket Cloud Storage existant
Utilisez cette option si : vous disposez d'un espace de stockage de données existant dans un bucket Cloud Storage que vous souhaitez accélérer.
Pour savoir comment utiliser Rapid Cache, consultez Créer et gérer des caches.