Cloud Storage propose différentes options pour vous aider à optimiser le stockage de vos données pour les cas d'utilisation qui nécessitent des performances élevées, comme l'intelligence artificielle (IA), le machine learning (ML) et l'analyse de données intensives. Cette page présente ces options et vous guide dans la sélection de celle qui répond le mieux aux besoins de vos charges de travail.
La famille de produits Cloud Storage Rapid
Cloud Storage Rapid est une famille de produits hautes performances de Cloud Storage conçus pour éliminer les goulots d'étranglement des données pour vos charges de travail d'IA/ML et d'analyse de données. À mesure que les modèles d'IA/ML deviennent plus complexes et que les ensembles de données atteignent des échelles de pétaoctets, les performances de stockage deviennent souvent le principal goulot d'étranglement pour les clusters GPU et TPU coûteux. Cloud Storage Rapid exploite des architectures zonales pour rapprocher vos données de vos ressources de calcul, ce qui permet à vos accélérateurs de rester saturés, de réduire les temps d'entraînement et de diminuer le coût total de possession (CTP) de vos charges de travail les plus exigeantes.
Cloud Storage Rapid inclut Rapid Bucket et Rapid Cache.
Stocker des données dans la classe de stockage Rapid à l'aide de Rapid Bucket
Rapid Bucket est une solution de stockage d'objets zonale hautes performances qui vous permet de stocker des données dans la classe de stockage Rapid en définissant une zone comme emplacement d'un bucket. Rapid Bucket vous permet de colocaliser vos données dans la même zone physique que vos accélérateurs d'IA et vous aide à obtenir la latence la plus faible et le débit le plus élevé parmi les autres offres de produits Cloud Storage. Rapid Bucket offre une latence inférieure à la milliseconde, un débit agrégé allant jusqu'à 15 Tbit/s et prend en charge jusqu'à 20 millions de requêtes par seconde (RPS).
Rapid Bucket prend en charge les ajouts d'objets avec état et en flux continu, ce qui permet aux applications d'écrire des données dans des objets existants en temps réel. Cette fonctionnalité vous permet d'éviter les réécritures d'objets coûteuses et d'obtenir une visibilité immédiate des données, ce qui permet aux applications grand public de lire les données au fur et à mesure de leur écriture.
Idéal pour : l'entraînement, la création de points de contrôle et la diffusion de modèles d'IA nécessitant une latence ultrafaible et des performances déterministes élevées
Utilisez cette option si : vous souhaitez des performances élevées dédiées pour les lectures et les écritures
Pour savoir comment créer des buckets zonaux avec Rapid Bucket, consultez Créer des buckets zonaux.
Créer des caches zonaux avec Rapid Cache
Rapid Cache est un cache de lecture zonal entièrement géré et basé sur un disque SSD qui fonctionne avec vos buckets régionaux, birégionaux ou multirégionaux existants sans nécessiter de modifications de l'API. Un cache vous offre une capacité de stockage temporaire et une bande passante qui évoluent automatiquement en fonction des besoins de vos charges de travail. Les données sont automatiquement ingérées dans le cache à partir de votre bucket lorsqu'elles sont lues par une VM résidant dans la même zone que le cache.
Rapid Cache offre un débit agrégé de 2,5 Tbit/s et réduit la latence pour des lectures plus rapides en colocalisant vos données dans les mêmes zones que vos VM. En plus de diffuser les données plus rapidement, les données diffusées à partir d'un cache peuvent entraîner des frais de transfert de données, des frais de récupération de données et des frais opérationnels inférieurs à ceux des données diffusées directement à partir d'un bucket. Pour en savoir plus, consultez Avantages pour Rapid Cache.
Idéal pour : l'entraînement, la restauration de points de contrôle et la diffusion de modèles d'IA qui nécessitent une bande passante de lecture élevée à partir d'un bucket Cloud Storage existant
Utilisez cette option si : vous disposez d'un stockage de données existant dans un bucket Cloud Storage que vous souhaitez accélérer
Pour savoir comment utiliser Rapid Cache, consultez Créer et gérer des caches.