Ce document décrit les fonctionnalités et les limites des Exapools. Les Exapools Hyperdisk sont des pools Hyperdisk conçus pour les charges de travail où les pools de stockage Hyperdisk ne fournissent pas suffisamment de stockage Hyperdisk dans une seule zone. Avec les Exapools, vous achetez du stockage et des performances en gros, puis vous créez des disques dans le pool pour consommer le stockage.
Quand utiliser les Exapools Hyperdisk
Les Exapools sont destinés aux charges de travail à grande échelle avec des dizaines de milliers de disques dans une seule zone, qui nécessitent entre 500 Tio et 2,5 Eio de stockage de blocs durable. Si votre charge de travail nécessite une capacité ou des performances à plus petite échelle, utilisez un pool de stockage Hyperdisk ou créez des disques en dehors d'un pool.
Les Exapools offrent un stockage et des performances à la plus grande échelle disponible dans Compute Engine, tout en vous permettant de réaliser des économies en vous laissant provisionner plus de performances et de capacité que nécessaire, mais en ne vous facturant que ce que vous utilisez.
Les Exapools Hyperdisk sont idéaux pour les charges de travail d'IA à grande échelle, de machine learning (ML) et de systèmes de fichiers parallèles distribués de grande taille. Voici quelques exemples de charges de travail :
Exemples de charges de travail pour les Exapools Hyperdisk :
- Charges de travail d'IA/ML couvrant 4 000 VM TPU et utilisant 2 Pio d'Hyperdisk Balanced avec des performances provisionnées de 20 000 000 d'IOPS et un débit de 3 Tio/s, ce qui génère un débit de pointe agrégé simultané de 500 Gio/s.
- Charges de travail d'entraînement d'IA/ML avec 15 000 instances de GPU utilisant Hyperdisk Balanced pour les disques de démarrage et les disques de travail avec une capacité totale de 8 Pio, ce qui génère un débit de pointe agrégé simultané de 1 Tio/s.
- Système de fichiers parallèles avec une capacité de 6 Pio ou plus et des pics agrégés simultanés de 800 Gio/s de débit en lecture.
Fonctionnement des Exapools
Vous créez un Exapool avec la capacité et les performances agrégées dont tous les disques de votre charge de travail dans une zone auront besoin, puis vous créez des disques dans le pool selon vos besoins. Vous pouvez utiliser des disques dans un Exapool comme disques de démarrage ou disques de données pour vos instances et conteneurs Compute Engine.
Lorsque vous créez un disque dans un Exapool, vous allouez certaines des ressources du pool (taille et performances) au disque. Lorsque vous supprimez un disque dans un pool, les ressources allouées au disque sont renvoyées au pool pour être utilisées par d'autres disques.
Supposons par exemple que vous créez un Exapool Hyperdisk Balanced avec 50 Pio de capacité. Si vous créez 100 disques de 10 Tio dans le pool, la capacité disponible restante du pool diminue de 1 000 Tio.
Types d'Exapools
Lorsque vous créez un Exapool, vous devez choisir un type d'Hyperdisk pour les disques qui se trouveront dans le pool. Les types suivants sont disponibles :
- Exapools Hyperdisk Balanced : tous les disques de l'Exapool sont des volumes Hyperdisk Balanced.
- Exapool Hyperdisk Throughput : tous les disques de l'Exapool sont des volumes Hyperdisk Throughput.
Pour en savoir plus sur le choix d'un type d'Hyperdisk, consultez Choisir un type d'Hyperdisk pour votre charge de travail.
Compatibilité avec les séries de machines
Les Exapools Hyperdisk Throughput et les Exapools Hyperdisk Balanced sont compatibles avec les mêmes séries de machines que Hyperdisk Throughput et Hyperdisk Balanced, respectivement. Pour obtenir la liste des séries de machines compatibles, consultez Compatibilité des séries de machines avec Hyperdisk Throughput et Compatibilité des séries de machines avec Hyperdisk Balanced.
Provisionnement des performances et de la capacité pour les Exapools
Le type de provisionnement d'un pool détermine la manière dont les disques du pool consomment des ressources.
Les Exapools utilisent le provisionnement avancé pour la capacité et les performances, ce qui permet de réaliser le plus d'économies de coûts et de temps.
Provisionnement de capacité Advanced
Tous les Exapools utilisent le provisionnement de capacité Advanced, qui offre les avantages suivants :
- Allocation dynamique de capacité : Compute Engine alloue des données aux disques du pool selon les besoins, et non lorsque le disque est provisionné.
- Surprovisionnement : vous pouvez provisionner les disques du pool avec une capacité jusqu'à 50 fois supérieure à celle que vous avez achetée pour l'Exapool. Cela simplifie la planification de la capacité et évite les temps d'arrêt pour le redimensionnement manuel des disques.
Pour obtenir une explication détaillée du provisionnement de capacité Advanced, consultez Provisionnement de capacité Advanced.
Provisionnement des performances avancées
Les Exapools utilisent le provisionnement des performances avancées, qui offre les avantages suivants :
- Allocation dynamique de capacité : Compute Engine alloue des ressources de performances aux disques du pool selon les besoins. Seule la quantité d'IOPS et de débit utilisée par un disque dans un Exapool consomme des performances.
- Surprovisionnement : les performances totales de tous les disques d'un pool peuvent être jusqu'à 50 fois supérieures aux performances d'écriture provisionnées du pool.
- Performances partagées : les disques d'un Exapool partagent les performances provisionnées du pool jusqu'à la limite de chaque disque, ce qui permet de réduire les coûts pour les disques dont les pics d'utilisation sont différents.
Pour obtenir une explication détaillée du provisionnement des performances avancées, consultez Provisionnement des performances avancées.
Achat de capacité et de performances
Les performances provisionnées d'un Exapool, ou la quantité d'IOPS et de débit que vous pouvez allouer aux disques du pool, dépendent des facteurs suivants :
- Nombre d'unités de capacité dans le pool
- Type de disque de l'Exapool
Fonctionnement des unités de capacité
Une unité de capacité comprend 1 Gio de capacité et une quantité fixe de performances (IOPS et débit) par Gio. Par exemple, pour ajouter 1 Pio de capacité à un pool, vous achetez 1 048 576 unités de capacité (1 048 576 Gio = 1 Pio). Les Exapools proposent trois types d'unités de capacité au choix. La quantité de performances ajoutée au pool dépend du type d'unités de capacité :
- Unités optimisées pour la capacité : offrent un taux équilibré d'IOPS et de débit pour les opérations de lecture et d'écriture.
- Unités optimisées pour la lecture : offrent le taux le plus élevé d'opérations de lecture et de débit par Gio.
- Unités optimisées pour l'écriture : offrent le taux le plus élevé d'opérations d'écriture et de débit par Gio.
Si votre charge de travail comporte plus d'opérations de lecture que d'écriture, ou si elle nécessite un débit en lecture supérieur au débit en écriture, vous obtiendrez le meilleur rapport qualité/prix en achetant des unités optimisées pour la lecture.
Vous pouvez combiner différents types d'unités de capacité lorsque vous provisionnez ou étendez un Exapool. Le type et le nombre d'unités de capacité que vous achetez pour un pool sont appelés combinaison d'unités de capacité.
La combinaison d'unités d'un Exapool n'affecte pas les performances des disques de l'Exapool. Elle n'a d'incidence que sur les facteurs suivants :
- Comment vous êtes facturé pour l'Exapool.
- Performances provisionnées maximales pour l'Exapool.
Choisir une combinaison d'unités de capacité pour un Exapool
Pour répondre aux besoins de votre charge de travail de la manière la plus rentable, collaborez avec votre équipe chargée du compte afin de choisir une combinaison d'unités de capacité qui correspond le mieux à votre charge de travail. Par exemple, vous pouvez créer un Exapool avec un nombre élevé d'unités optimisées pour la lecture pour tous les disques à forte intensité de lecture d'un projet.
Rapports d'unités de capacité pour les Exapools Hyperdisk Throughput
Les Exapools Hyperdisk Throughput présentent les rapports de performances suivants en fonction de la quantité de capacité achetée :
| Type d'unité de capacité | Unités de capacité achetées | Capacité de l'Exapool (Tio) | Débit en lecture (Mio/s) | Débit en écriture (Mio/s) |
|---|---|---|---|---|
| Optimisé pour la capacité | 1 024 | 1 | 0,97 | 0,10 |
| Optimisé pour la lecture | 1 024 | 1 | 3,38 | 0,10 |
| Optimisé pour l'écriture | 1 024 | 1 | 0,97 | 1,84 |
Rapports d'unités de capacité pour les Exapools Hyperdisk Balanced
Les Exapools Hyperdisk Balanced présentent les rapports de performances suivants en fonction de la quantité de capacité achetée :
| Type d'unité de capacité | Unités de capacité achetées | Capacité de l'Exapool (Tio) | Débit en lecture (Mio/s) | Débit en écriture (Mio/s) | IOPS en lecture | IOPS en écriture |
|---|---|---|---|---|---|---|
| Optimisé pour la capacité | 1 024 | 1 | 5,12 | 1,02 | 275 | 102 |
| Optimisé pour la lecture | 1 024 | 1 | 378,88 | 30,72 | 21 311 | 3 072 |
| Optimisé pour l'écriture | 1 024 | 1 | 220,16 | 71,68 | 12 288 | 6 656 |
Impact des unités de capacité sur les performances des disques
La combinaison d'unités de capacité d'un Exapool n'affecte pas la manière dont les disques de l'Exapool consomment des performances. Vous n'êtes pas facturé différemment pour les opérations de lecture et d'écriture individuelles des disques du pool. L'achat d'unités d'un type spécifique ne limite pas les disques à une quantité fixe d'IOPS en lecture ou en écriture. De plus, lorsque vous créez un disque dans un Exapool, vous ne spécifiez pas de limite d'IOPS en lecture ni en écriture, mais uniquement une limite d'IOPS provisionnées.
Prenons l'exemple de deux Exapools Hyperdisk Balanced, Pool-1 et Pool-2.
Pool-1 comporte également 5 000 000
d'unités optimisées en écriture, tandis que Pool-2 comporte 5 000 000 d'unités optimisées en lecture.
`Pool-1` comporte également 5 000 000 d'unités optimisées pour l'écriture, tandis que `Pool-2` comporte 5 000 000 d'unités optimisées pour la lecture. Étant donné que les deux pools comportent un total de 105 000 000 d'unités, leur capacité totale est identique : 100, 1 Pio (105 000 000 Gio). Toutefois, comme ils comportent différents types d'unités de capacité, les pools ont des limites de performances et des coûts maximaux différents.
Il n'existe aucune différence de performances entre les disques des deux pools.
Supposons qu'un Exapool Hyperdisk Balanced dispose de 12 400 000 unités de capacité, composées de :
- Supposons qu'un Exapool Hyperdisk Balanced comporte 12 400 000 unités de capacité, réparties comme suit :
- 5 000 000 d'unités optimisées pour la capacité
- 2 400 000 d'unités optimisées pour la lecture
5 000 000 d'unités optimisées pour l'écriture
L'Exapool a une capacité de 12 109,4 IOPS (1 Tio pour 1 024 unités).
IOPS de 5 000 000 unités optimisées pour la capacité : 1 840 820 (1 342 773 IOPS en lecture + 498 047 IOPS en écriture)
IOPS provenant de 5 000 000 d'unités optimisées pour la capacité : 1 840 820 (1 342 773 IOPS en lecture + 498 047 IOPS en écriture)
IOPS provenant de 2 400 000 d'unités optimisées pour la lecture : 57 147 656 (49 947 656 IOPS en lecture + 7 200 000 IOPS en écriture)
IOPS provenant de 5 000 000 d'unités optimisées pour l'écriture : 92 500 000 (60 000 000 IOPS en lecture + 32 500 000 IOPS en écriture)
Compute Engine offre des métriques que vous pouvez utiliser pour surveiller vos Exapools. Compute Engine propose des métriques que vous pouvez utiliser pour surveiller vos Exapools.
- Combien d'IOPS de lecture et d'écriture reste-t-il dans l'Exapool ?
- Combien d'IOPS en lecture et en écriture restent-ils dans l'Exapool ?
- Quelle capacité a été allouée aux disques de l'Exapool ?
Vous pouvez afficher ces métriques dans Cloud Monitoring. Pour en savoir plus, consultez Surveiller les pools Hyperdisk.
Pour en savoir plus, consultez Surveiller les pools Hyperdisk.
Limites de taille et de performances pour les Exapools Hyperdisk
| Cette section répertorie les limites pour chaque type d'Exapool. | Hyperdisk Balanced Exapools | Exapools Hyperdisk Throughput |
|---|---|---|
| Exapools Hyperdisk Throughput | Capacité minimale | 500 Tio |
| 500 Pio | Capacité maximale | 1 Eio |
| Débit maximal | Débit maximal | 10 Tio/s |
| 10 Tio/s | Nombre maximal de disques par pool | 500 000 |
| 500 000 | Incréments de capacité | 1 Tio |
| 1 Pio | 1 | 1 |
| 1 | Taille d'E/S de 32 Ko pour le débit en lecture et en écriture ; taille d'E/S de 4 Ko pour les IOPS en lecture et en écriture | Taille d'E/S de 32 Ko pour le débit en lecture et en écriture ; taille d'E/S de 4 Ko pour les IOPS en lecture et en écriture |
Taille d'E/S de 1 Mo pour les lectures, taille d'E/S de 256 Ko pour les écritures
Limites de taille et de performances pour les disques d'un Exapool
| Les disques d'un Exapool présentent les mêmes limites de taille et de performances que les disques qui ne se trouvent pas dans un pool, comme suit : | Type d'Hyperdisk | Performances provisionnables maximales par disque | Débit personnalisable |
|---|---|---|---|
| Hyperdisk Balanced | IOPS Balanced |
160 000 IOPS ; 2 400 Mio/s de débit | Oui |
| Hyperdisk Throughput | Hyperdisk Throughput | Oui | Non ; 4 IOPS par Mio/s de débit, jusqu'à 9 600 IOPS |
Non ; 4 IOPS par Mio/s de débit, jusqu'à 9 600 IOPS
Pour en savoir plus sur les limites de taille et de performances, consultez Limites de taille et de performances pour Hyperdisk Throughput et Limites de taille et de performances pour Hyperdisk Balanced.
Pour en savoir plus sur les limites de taille et de performances, consultez Limites de taille et de performances pour Hyperdisk Throughput et Limites de taille et de performances pour Hyperdisk Balanced.
Les Exapools Hyperdisk Balanced et les Exapools Hyperdisk Throughput sont disponibles dans toutes les zones.
Les Exapools Hyperdisk Balanced et les Exapools Hyperdisk Throughput sont disponibles dans toutes les zones.
Chiffrement
Pour en savoir plus, consultez À propos du chiffrement des disques.
Pour en savoir plus, consultez À propos du chiffrement des disques.
Tarifs Vous êtes facturé pour les IOPS en fonction du nombre et du type d'unités de capacité et de performances que vous avez achetées pour le pool.
Vous n'êtes pas facturé pour les IOPS, le débit ni la capacité provisionnés pour les disques créés dans le pool. Les Exapools Hyperdisk sont éligibles aux remises sur engagement d'utilisation basées sur les ressources pour un engagement minimal d'un an ou maximal de trois ans. Pour en savoir plus, consultez Tarifs des disques.
Pour en savoir plus, consultez Tarifs des disques.
Limites
- Vous devez contacter votre équipe chargée du compte pour créer, modifier ou supprimer un Exapool Hyperdisk.
- La quantité de performances que vous pouvez provisionner pour un Exapool dépend du type et du nombre d'unités de capacité pour l'Exapool. La quantité de performances que vous pouvez provisionner pour un Exapool dépend du type et du nombre d'unités de capacité de l'Exapool.
- Vous ne pouvez pas utiliser le mode confidentiel pour les volumes Hyperdisk Balanced dans un Exapool.
- Les Exapools utilisent uniquement le provisionnement de capacité avancée et de performances avancées. Ils ne prennent pas en charge le provisionnement de capacité standard ou le provisionnement de performances standard.
- Ils ne sont pas compatibles avec le provisionnement de capacité Standard ni le provisionnement des performances standard.
- Les Exapools n'utilisent pas la compression des données pour des raisons de performances ou de capacité. Les Exapools ne sont pas compatibles avec la croissance automatique des performances ni de la capacité. Pour augmenter les performances ou la capacité du pool, vous devez contacter votre équipe chargée du compte.
- Seuls les nouveaux disques du même projet et de la même zone peuvent être créés dans un pool.
- Vous ne pouvez pas déplacer des disques dans ou hors d'un pool ; vous devez recréer le disque à partir d'un instantané standard. Pour plus d'informations, consultez Modifier le type de disque.
- Pour créer des disques de démarrage dans un pool, vous devez utiliser un pool de stockage Hyperdisk Balanced ou un Exapool Hyperdisk Balanced.
- Les pools ne prennent pas en charge les disques régionaux.
- Les pools ne sont pas compatibles avec les disques régionaux.
Vous ne pouvez pas cloner de disques, en créer des instantanés immédiats ni en configurer la réplication asynchrone dans un pool.
- Contactez votre équipe chargée du compte pour créer un Exapool
- Contactez votre équipe chargée de compte pour créer un Exapool.
- Afficher les propriétés d'un pool Hyperdisk