Ce document décrit les fonctionnalités et les limites des Exapools. Les Hyperdisk Exapools sont des pools Hyperdisk conçus pour les charges de travail pour lesquelles les pools de stockage Hyperdisk ne fournissent pas suffisamment de stockage Hyperdisk dans une seule zone. Avec les Exapools, vous achetez du stockage et des performances en gros, puis vous créez des disques dans le pool pour consommer le stockage.
Quand utiliser les Hyperdisk Exapools
Les Exapools sont destinés aux charges de travail à grande échelle avec des dizaines de milliers de disques dans une seule zone, qui nécessitent entre 500 Tio et 2,5 Eio de stockage de blocs durable. Si votre charge de travail nécessite une capacité ou des performances à plus petite échelle, utilisez un pool de stockage Hyperdisk ou créez des disques en dehors d'un pool.
Les Exapools offrent un stockage et des performances à la plus grande échelle disponible dans Compute Engine, tout en vous permettant de réaliser des économies en vous laissant provisionner plus de performances et de capacité que nécessaire, mais en ne vous facturant que ce que vous utilisez.
Les Hyperdisk Exapools sont idéaux pour les charges de travail d'IA, de machine learning (ML) et de systèmes de fichiers parallèles distribués à grande échelle. Voici quelques exemples de charges de travail :
Exemples de charges de travail pour les Hyperdisk Exapools :
- Charges de travail d'IA/ML couvrant 4 000 VM TPU et utilisant 2 Pio d'Hyperdisk Balanced avec des performances provisionnées de 20 000 000 d'IOPS et un débit de 3 Tio/s, ce qui génère un débit de pointe agrégé simultané de 500 Gio/s.
- Charges de travail d'entraînement d'IA/ML avec 15 000 instances de GPU utilisant Hyperdisk Balanced pour les disques de démarrage et les disques de travail avec une capacité totale de 8 Pio, ce qui génère un débit de pointe agrégé simultané de 1 Tio/s.
- Système de fichiers parallèles avec une capacité de 6 Pio ou plus et des pics agrégés simultanés de 800 Gio/s de débit en lecture.
Fonctionnement des Exapools
Vous créez un Exapool avec la capacité et les performances agrégées dont tous les disques de votre charge de travail dans une zone auront besoin, puis vous créez des disques dans le pool selon vos besoins. Vous pouvez utiliser des disques dans un Exapool comme disques de démarrage ou disques de données pour vos instances et conteneurs Compute Engine.
Lorsque vous créez un disque dans un Exapool, vous allouez certaines des ressources du pool (taille et performances) au disque. Lorsque vous supprimez un disque dans un pool, les ressources allouées au disque sont renvoyées au pool pour être utilisées par d'autres disques.
Supposons par exemple que vous créez un Hyperdisk Balanced Exapool avec 50 Pio de capacité. Si vous créez 100 disques de 10 Tio dans le pool, la capacité disponible restante du pool diminue de 1 000 Tio.
Types d'Exapools
Lorsque vous créez un Exapool, vous devez choisir un type d'Hyperdisk pour les disques qui se trouveront dans le pool. Les types suivants sont disponibles :
- Hyperdisk Balanced Exapools : tous les disques de l'Exapool sont des volumes Hyperdisk Balanced.
- Hyperdisk Throughput Exapool : tous les disques de l'Exapool sont des volumes Hyperdisk Throughput.
Pour en savoir plus sur le choix d'un type d'Hyperdisk, consultez Choisir un type d'Hyperdisk pour votre charge de travail.
Compatibilité avec les séries de machines
Les Hyperdisk Throughput Exapools et les Hyperdisk Balanced Exapools sont compatibles avec les mêmes séries de machines que celles qui sont compatibles avec Hyperdisk Throughput et Hyperdisk Balanced, respectivement. Pour obtenir la liste des séries de machines compatibles, consultez Compatibilité des séries de machines avec Hyperdisk Throughput et Compatibilité des séries de machines avec Hyperdisk Balanced.
Provisionnement des performances et de la capacité pour les Exapools
Le type de provisionnement d'un pool détermine la manière dont les disques du pool consomment des ressources.
Les Exapools utilisent le provisionnement avancé pour la capacité et les performances, ce qui permet de réaliser le plus d'économies de coûts et de temps.
Provisionnement de capacité Advanced
Tous les Exapools utilisent le provisionnement de capacité Advanced, qui offre les avantages suivants :
- Allocation dynamique de capacité : Compute Engine alloue des données aux disques du pool selon les besoins, et non lorsque le disque est provisionné.
- Surprovisionnement : vous pouvez provisionner les disques du pool avec une capacité jusqu'à 50 fois supérieure à celle que vous avez achetée pour l'Exapool. Cela simplifie la planification de la capacité et évite les temps d'arrêt pour le redimensionnement manuel des disques.
Pour obtenir une explication détaillée du provisionnement de capacité Advanced, consultez Provisionnement de capacité Advanced.
Provisionnement des performances avancées
Les Exapools utilisent le provisionnement des performances avancées, qui offre les avantages suivants :
- Allocation dynamique de capacité : Compute Engine alloue des ressources de performances aux disques du pool selon les besoins. Seule la quantité d'IOPS et de débit utilisée par un disque dans un Exapool consomme des performances.
- Surprovisionnement : les performances totales de tous les disques d'un pool peuvent être jusqu'à 50 fois supérieures aux performances d'écriture provisionnées du pool.
- Performances partagées : les disques d'un Exapool partagent les performances provisionnées du pool jusqu'à la limite de chaque disque, ce qui permet de réduire les coûts pour les disques dont les pics d'utilisation sont différents.
Pour obtenir une explication détaillée du provisionnement des performances avancées, consultez Provisionnement des performances avancées.
Achat de capacité et de performances
Les performances provisionnées d'un Exapool, ou la quantité d'IOPS et de débit que vous pouvez allouer aux disques du pool, dépendent des facteurs suivants :
- Nombre d'unités de capacité dans le pool
- Type de disque de l'Exapool
Fonctionnement des unités de capacité
Une unité de capacité comprend 1 Gio de capacité et une quantité fixe de performances (IOPS et débit) par Gio. Par exemple, pour ajouter 1 Pio de capacité à un pool, vous achetez 1 048 576 unités de capacité (1 048 576 Gio = 1 Pio). Les Exapools proposent trois types d'unités de capacité au choix. La quantité de performances ajoutée au pool dépend du type d'unités de capacité :
- Unités optimisées pour la capacité : offrent un taux équilibré d'IOPS et de débit pour les opérations de lecture et d'écriture.
- Unités optimisées pour la lecture : offrent le taux le plus élevé d'opérations de lecture et de débit par Gio.
- Unités optimisées pour l'écriture : offrent le taux le plus élevé d'opérations d'écriture et de débit par Gio.
Si votre charge de travail comporte plus d'opérations de lecture que d'écritures, ou si elle nécessite un débit en lecture supérieur au débit en écriture, vous obtiendrez le meilleur rapport qualité/prix en achetant des unités optimisées pour la lecture.
Vous pouvez combiner différents types d'unités de capacité lorsque vous provisionnez ou étendez un Exapool. Le type et le nombre d'unités de capacité que vous achetez pour un pool sont appelés combinaison d'unités de capacité.
La combinaison d'unités d'un Exapool n'affecte pas les performances des disques de l'Exapool. Elle n'a d'incidence que sur les facteurs suivants :
- Mode de facturation de l'Exapool.
- Performances provisionnées maximales pour l'Exapool.
Choisir une combinaison d'unités de capacité pour un Exapool
Pour répondre aux besoins de votre charge de travail de la manière la plus rentable possible, collaborez avec votre équipe chargée du compte afin de choisir une combinaison d'unités de capacité qui correspond le mieux à votre charge de travail. Par exemple, vous pouvez créer un Exapool avec un nombre élevé d'unités optimisées pour la lecture pour tous les disques à forte intensité de lecture d'un projet.
Rapports d'unités de capacité pour les Hyperdisk Throughput Exapools
Les Hyperdisk Throughput Exapools présentent les rapports de performances suivants en fonction de la quantité de capacité achetée :
| Type d'unité de capacité | Unités de capacité achetées | Capacité de l'Exapool (Tio) | Débit en lecture (Mio/s) | Débit en écriture (Mio/s) |
|---|---|---|---|---|
| Optimisé pour la capacité | 1 024 | 1 | 0,97 | 0,10 |
| Optimisé pour la lecture | 1 024 | 1 | 3,38 | 0,10 |
| Optimisé pour l'écriture | 1 024 | 1 | 0,97 | 1,84 |
Rapports d'unités de capacité pour les Hyperdisk Balanced Exapools
Les Hyperdisk Balanced Exapools présentent les rapports de performances suivants en fonction de la quantité de capacité achetée :
| Type d'unité de capacité | Unités de capacité achetées | Capacité de l'Exapool (Tio) | Débit en lecture (Mio/s) | Débit en écriture (Mio/s) | IOPS en lecture | IOPS en écriture |
|---|---|---|---|---|---|---|
| Optimisé pour la capacité | 1 024 | 1 | 5,12 | 1,02 | 275 | 102 |
| Optimisé pour la lecture | 1 024 | 1 | 378,88 | 30,72 | 21 311 | 3 072 |
| Optimisé pour l'écriture | 1 024 | 1 | 220,16 | 71,68 | 12 288 | 6 656 |
Impact des unités de capacité sur les performances des disques
La combinaison d'unités de capacité d'un Exapool n'affecte pas la manière dont les disques de l'Exapool consomment des performances. Vous n'êtes pas facturé différemment pour les opérations de lecture et d'écriture individuelles des disques du pool. L'achat d'unités d'un type spécifique ne limite pas les disques à une quantité fixe d'IOPS en lecture ou en écriture. De plus, lorsque vous créez un disque dans un Exapool, vous ne spécifiez pas de limite d'IOPS en lecture ni en écriture, mais uniquement une limite d'IOPS provisionnées.
Prenons l'exemple de deux Hyperdisk Balanced Exapools, Pool-1 et Pool-2.
Ils comportent tous deux 100 000 000 d'unités optimisées pour la capacité. Pool-1 comporte également 5 000 000 d'unités optimisées pour l'écriture, tandis que Pool-2 comporte 5 000 000 d'unités optimisées pour la lecture.
Étant donné que les deux pools comportent un total de 105 000 000 d'unités, leur capacité totale est la même : 100,1 Pio (105 000 000 Gio). Toutefois, comme ils comportent différents types d'unités de capacité, les pools ont des limites de performances maximales et des coûts différents. Il n'y a aucune différence de performances entre les disques des deux pools.
Exemple
Supposons qu'un Hyperdisk Balanced Exapool comporte 12 400 000 unités de capacité, réparties comme suit :
- 5 000 000 d'unités optimisées pour la capacité
- 2 400 000 d'unités optimisées pour la lecture
- 5 000 000 d'unités optimisées pour l'écriture
L'Exapool a une capacité de 12 109,4 Tio (1 Tio pour 1 024 unités).
L'Exapool comporte 151 488 476 IOPS, calculées comme suit :
IOPS provenant de 5 000 000 d'unités optimisées pour la capacité : 1 840 820 (1 342 773 IOPS en lecture + 498 047 IOPS en écriture)
IOPS provenant de 2 400 000 d'unités optimisées pour la lecture : 57 147 656 (49 947 656 IOPS en lecture + 7 200 000 IOPS en écriture)
IOPS provenant de 5 000 000 d'unités optimisées pour l'écriture : 92 500 000 (60 000 000 IOPS en lecture + 32 500 000 IOPS en écriture)
Examiner l'utilisation des performances et de la capacité
Compute Engine propose des métriques que vous pouvez utiliser pour surveiller vos Exapools. Ces métriques répondent à des questions telles que :
- Combien d'IOPS en lecture et en écriture restent dans l'Exapool ?
- Quelle capacité a été allouée aux disques de l'Exapool ?
- Combien de disques comporte l'Exapool ?
Vous pouvez afficher ces métriques dans Cloud Monitoring. Pour en savoir plus, consultez Surveiller les pools Hyperdisk.
Limites de taille et de performances pour les Hyperdisk Exapools
Cette section répertorie les limites pour chaque type d'Exapool.
| Propriété | Hyperdisk Balanced Exapools | Hyperdisk Throughput Exapools |
|---|---|---|
| Capacité minimale | 500 Tio | 500 Pio |
| Capacité maximale | 1 Eio | 5 Eio |
| Débit minimal | 1 Tio/s | 250 Gio/s |
| Débit maximal | 10 Tio/s | 10 Tio/s |
| Nombre maximal de disques par pool | 500 000 | 500 000 |
| Incréments de capacité | 1 Tio | 1 Pio |
| Nombre maximal d'Exapools par projet et par zone | 1 | 1 |
| Rapports de performances | Taille d'E/S de 32 Ko pour le débit en lecture et en écriture ; taille d'E/S de 4 Ko pour les IOPS en lecture et en écriture | Taille d'E/S de 1 Mo pour les lectures, taille d'E/S de 256 Ko pour les écritures |
Limites de taille et de performances pour les disques d'un Exapool
Les disques d'un Exapool ont les mêmes limites de taille et de performances que les disques qui ne se trouvent pas dans un pool, comme suit :
| Type de volume Hyperdisk | Performances provisionnables maximales par disque | Débit personnalisable | IOPS personnalisables |
|---|---|---|---|
| Hyperdisk Balanced | 160 000 IOPS ; 2 400 Mio/s de débit |
Oui | Oui |
| Hyperdisk Throughput | 2 400 Mio/s de débit | Oui | Non ; 4 IOPS par Mio/s de débit, jusqu'à 9 600 IOPS |
Vous pouvez spécifier une limite de performances pour le disque lors de sa création et la modifier pendant son utilisation.
Pour en savoir plus sur les limites de taille et de performances, consultez Limites de taille et de performances pour Hyperdisk Throughput et Limites de taille et de performances pour Hyperdisk Balanced.
Disponibilité en fonction des régions
Les Hyperdisk Balanced Exapools et les Hyperdisk Throughput Exapools sont disponibles dans toutes les zones.
Chiffrement
Le chiffrement des disques dans un pool Hyperdisk fonctionne de la même manière que le chiffrement des disques en dehors d'un pool.
Pour en savoir plus, consultez À propos du chiffrement des disques.
Tarifs
Vous êtes facturé pour les Exapools en fonction du nombre et du type d'unités de capacité et de performances que vous avez achetées pour le pool. Vous n'êtes pas facturé pour les IOPS, le débit ni la capacité provisionnés pour les disques créés dans le pool.
Les Hyperdisk Exapools sont éligibles aux remises sur engagement d'utilisation basées sur les ressources pour un engagement minimal d'un an ou jusqu'à trois ans. Lorsque vous achetez un Exapool pour un ou trois ans, vous êtes automatiquement éligible aux remises sur engagement d'utilisation basées sur les ressources pour des engagements d'un ou trois ans. Pour en savoir plus, consultez les tarifs des disques.
Limites
Les limites suivantes s'appliquent aux Exapools.
- Vous devez contacter votre équipe chargée du compte pour créer, modifier ou supprimer un Hyperdisk Exapool.
- La quantité de performances que vous pouvez provisionner pour un Exapool dépend du type et du nombre d'unités de capacité de l'Exapool. Toutefois, les performances des disques créés dans un Exapool sont indépendantes de la combinaison d'unités de capacité du pool.
- Vous ne pouvez pas utiliser le mode confidentiel pour les volumes Hyperdisk Balanced dans un Exapool.
- Les Exapools n'utilisent que le provisionnement de capacité Advanced et le provisionnement des performances avancées. Ils ne sont pas compatibles avec le provisionnement de capacité Standard ni le provisionnement des performances standard.
- Les Exapools n'utilisent pas la compression des données.
- Les Exapools ne sont pas compatibles avec l'augmentation automatique des performances ou de la capacité. Vous devez surveiller vous-même l'utilisation des performances et de la capacité de votre Exapool. Pour augmenter les performances ou la capacité du pool, vous devez contacter votre équipe chargée de compte.
- Seuls les nouveaux disques du même projet et de la même zone peuvent être créés dans un pool.
- Vous ne pouvez pas déplacer des disques vers un pool ni les déplacer hors d'un pool. Vous devez recréer le disque à partir d'un instantané standard. Pour en savoir plus, consultez la page Modifier le type de disque.
- Pour créer des disques de démarrage dans un pool, vous devez utiliser un pool de stockage Hyperdisk Balanced ou un Hyperdisk Balanced Exapool.
- Les pools ne sont pas compatibles avec les disques régionaux.
- Vous ne pouvez pas cloner, créer des instantanés immédiats ni en configurer la réplication asynchrone pour des disques dans un pool.
Étape suivante
- Contactez votre équipe chargée de compte pour créer un Exapool.
- Afficher les propriétés d'un pool Hyperdisk
- Ajouter des disques d'un pool à une VM