Cloud Storage propose différentes options pour vous aider à optimiser le stockage de vos données pour les cas d'utilisation nécessitant des performances élevées, comme l'intelligence artificielle (IA), le machine learning (ML) et l'analyse intensive de données. Cette page vous présente ces options et vous aide à en sélectionner une qui répond aux besoins de vos charges de travail.
Famille de produits Cloud Storage Rapid
Cloud Storage Rapid est une famille de produits hautes performances dans Cloud Storage conçus pour éliminer les goulots d'étranglement des données pour vos charges de travail d'IA/ML et d'analyse de données. À mesure que les modèles d'IA/de ML gagnent en complexité et que les ensembles de données atteignent des échelles en pétaoctets, les performances de stockage deviennent souvent le principal goulot d'étranglement pour les clusters GPU et TPU coûteux. Cloud Storage Rapid s'appuie sur des architectures zonales pour rapprocher vos données de vos ressources de calcul. Vos accélérateurs restent ainsi saturés, les temps d'entraînement sont réduits et le coût total de possession (TCO) de vos charges de travail les plus exigeantes est diminué. Cloud Storage Rapid inclut Rapid Bucket et Anywhere Cache.
Stocker des données dans la classe de stockage Rapid à l'aide de Rapid Bucket
Rapid Bucket est une solution de stockage d'objets zonal hautes performances qui vous permet de stocker des données dans la classe de stockage Rapid en définissant une zone comme emplacement d'un bucket. Rapid Bucket vous permet de colocaliser vos données dans la même zone physique que vos accélérateurs d'IA et d'obtenir la latence la plus faible et le débit le plus élevé parmi les autres offres de produits Cloud Storage. Rapid Bucket offre une latence inférieure à la milliseconde, un débit global pouvant atteindre 15 To/s et jusqu'à 20 millions de requêtes par seconde (RPS).
Rapid Bucket prend en charge l'ajout d'objets avec état et en flux continu, ce qui permet aux applications d'écrire des données dans des objets existants en temps réel. Cette fonctionnalité vous permet d'éviter les réécritures d'objets coûteuses et d'obtenir une visibilité immédiate sur les données, ce qui permet aux applications grand public de lire les données au fur et à mesure de leur écriture.
Utilisation idéale : entraînement, point de contrôle et diffusion de modèles d'IA nécessitant une latence ultrafaible et des performances déterministes élevées
Choisissez cette option si : vous souhaitez bénéficier de performances élevées dédiées pour les lectures et les écritures.
Pour savoir comment créer des buckets zonaux avec Rapid Bucket, consultez Créer des buckets zonaux.
Créer des caches zonaux avec Anywhere Cache
Anywhere Cache est un cache de lecture zonal entièrement géré et basé sur un disque SSD. Il fonctionne avec vos buckets régionaux, birégionaux ou multirégionaux existants sans nécessiter de modifications de l'API. Un cache vous offre une capacité de stockage et une bande passante temporaires qui évoluent automatiquement en fonction des besoins de vos charges de travail. Les données sont automatiquement ingérées dans le cache à partir de votre bucket lorsqu'elles sont lues par une VM résidant dans la même zone que le cache.
Anywhere Cache offre un débit agrégé de 2,5 Tbit/s et réduit la latence pour des lectures plus rapides en colocalisant vos données dans les mêmes zones que vos VM. En plus de permettre une diffusion plus rapide des données, les données diffusées à partir d'un cache peuvent entraîner des frais de transfert de données, de récupération de données et d'opération moins élevés que les données diffusées directement à partir d'un bucket. Pour en savoir plus, consultez les avantages d'Anywhere Cache.
Utilisation idéale : entraînement, restauration de points de contrôle et diffusion de modèles d'IA nécessitant une bande passante de lecture élevée à partir d'un bucket Cloud Storage existant
Utilisez cette option si : vous disposez d'un stockage de données existant dans un bucket Cloud Storage que vous souhaitez accélérer.
Pour savoir comment utiliser Anywhere Cache, consultez Créer et gérer des caches.