Google Cloud Managed Lustre propose différents niveaux de performances pour répondre aux exigences spécifiques de vos charges de travail et à votre budget. Vous pouvez choisir un niveau qui offre des performances durables et prévisibles pour l'ensemble de votre système de fichiers, ou un niveau dynamique qui optimise automatiquement les coûts de stockage pour les ensembles de données volumineux et partiellement actifs.
Niveaux disponibles
Le tableau suivant récapitule les niveaux de performances disponibles pour Managed Lustre.
| Niveau | Capacité minimale | Capacité maximale | Taille de l'incrément |
|---|---|---|---|
| 1 000 MBps par Tio | 9 000 Gio | 10 008 000 Gio (9,5 Pio) | Pour les capacités de stockage jusqu'à 1 530 000 Gio : 9 000 Gio Pour les capacités de stockage plus importantes : 72 000 Gio |
| 500 MBps par Tio | 18 000 Gio | 20 016 000 Gio (19,1 Pio) | Pour les capacités de stockage jusqu'à 3 060 000 Gio : 18 000 Gio Pour les capacités de stockage plus importantes : 144 000 Gio |
| 250 MBps par Tio | 36 000 Gio | 40 032 000 Gio (38,2 Pio) | Pour les capacités de stockage jusqu'à 6 120 000 Gio : 36 000 Gio Pour les capacités de stockage plus importantes : 288 000 Gio |
| 125 MBps par Tio | 72 000 Gio | 12 240 000 Gio (11,7 Pio) | 72 000 Gio |
| Dynamique (25 Mbit/s par Tio) | 472 000 Gio | 84 016 000 Gio (80,1 Pio) | 472 000 Gio |
Les tailles de pas changent une fois que la taille de l'instance atteint un seuil spécifique.
Vous pouvez augmenter la capacité de stockage d'une instance après sa création, jusqu'à la valeur maximale autorisée pour son niveau de performances et sa taille de pas. Si vous créez une instance dans la plage de taille de pas inférieure pour son niveau, vous ne pourrez pas l'augmenter au-delà du seuil de taille de pas par la suite. Pour en savoir plus, consultez Limites concernant l'augmentation de la capacité.
Niveaux numérotés
Les niveaux numérotés offrent des performances constantes et à grande vitesse. Ces niveaux sont idéaux pour les charges de travail qui exigent un débit élevé et une faible latence pour chaque accès aux données.
Vous choisissez un niveau de performances spécifique lorsque vous créez votre instance. Le débit est alors fourni de manière cohérente pour l'ensemble de votre système de fichiers. Les performances évoluent de manière linéaire avec la quantité de stockage que vous provisionnez. En plus du débit brut, les performances des IOPS et des métadonnées évoluent également en fonction de la capacité et du débit provisionnés de l'instance.
- 1 000 MBps par Tio : recommandé pour les charges de travail hautes performances et l'entraînement d'IA/de ML,où le débit est essentiel.
- 500 Mio/s par Tio : pour les charges de travail d'IA/de ML exigeantes, les applications HPC complexes et les analyses intensives en données qui nécessitent un débit conséquent, mais peuvent bénéficier d'un rapport prix/performances plus équilibré.
- 250 Mo/s par TiB : convient à un large éventail de charges de travail HPC, d'inférence d'IA/de ML, de prétraitement des données et d'applications nécessitant de meilleures performances que les NFS traditionnels, à un prix abordable.
- 125 Mbit/s par Tio : conçu pour les scénarios où de grandes capacités et un accès au système de fichiers parallèle sont essentiels. Convient aux tâches parallèles moins dépendantes des E/S.
Niveau dynamique
Le niveau dynamique est une solution économique conçue pour gérer les ensembles de données d'IA et de HPC en pleine croissance en optimisant automatiquement les performances en fonction des modèles d'accès aux données. Il fournit un espace de noms unique et unifié à l'échelle du pétaoctet, offrant un accès à grande vitesse aux données actives stockées dans un cache hautes performances, tout en réduisant le coût total de possession pour les grands ensembles de données. Le débit agrégé disponible pour l'instance est de 25 Mbit/s par Tio.
Le système gère intelligemment le placement des données à l'aide d'une règle automatisée qui permet de garantir que les données fréquemment utilisées restent très performantes. Ce processus est transparent pour les utilisateurs et les applications, qui interagissent avec le système de fichiers en tant que point de montage unique, sans avoir à effectuer de migration manuelle des données ni à gérer les frais généraux.
Principaux avantages
- Réduction des coûts de stockage : diminuez le prix par octet pour les grands ensembles de données en stockant la majorité de vos données sur un stockage de volume économique.
- Un seul espace de noms à l'échelle du pétaoctet : consolidez des ensembles de données volumineux et en pleine croissance dans un seul point de montage, sans avoir à migrer ni à hiérarchiser manuellement les données entre différents systèmes de stockage.
- Intelligent et automatisé : un système de mise en cache transparent au niveau des blocs permet de s'assurer que le stockage hautes performances est utilisé pour les données les plus critiques.
- Performances combinées : obtenez une latence inférieure à la milliseconde pour les données actives et une latence constante de quelques dizaines de millisecondes pour les parties moins fréquemment consultées de l'ensemble de données.
Spécifications détaillées des performances
Suivez les bonnes pratiques décrites dans Considérations relatives aux performances pour aider vos instances à atteindre ces chiffres de performances en termes d'IOPS et de métadonnées.
IOPS
Le nombre maximal d'IOPS évolue de manière linéaire par Tio de capacité d'instance provisionnée.
| Niveau de débit | IOPS en lecture (par Tio) | IOPS en écriture (par Tio) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1 450 | 1 400 |
500 MBps per TiB |
2 900 | 2 800 |
1000 MBps per TiB |
5 800 | 5 600 |
Dynamic |
145 | 140 |
Opérations associées aux métadonnées
Le nombre maximal d'opérations sur les métadonnées augmente par paliers en fonction de la capacité.
Chaque instance reçoit sa première étape de performances de métadonnées à la taille d'instance minimale (qui est inférieure à l'étape de capacité standard).
Pour les instances plus volumineuses, les performances augmentent chaque fois que la capacité totale dépasse un multiple de la taille de pas.
| Niveau de performances | Incrément de capacité (Gio) | Statistiques sur les fichiers ajoutées par étape | Fichiers créés ajoutés par étape | Suppression de fichiers ajoutée par étape |
|---|---|---|---|---|
| 1 000 Mo/s par Tio | 72 000 | 410 000 par seconde | 115 000 par seconde | 95 000 par seconde |
| 500 Mo/s par Tio | 144 000 | |||
| 250 Mo/s par Tio | 288 000 | |||
| 125 MBps par Tio | 576 000 | |||
| Dynamique | 3 776 000 | 275 000 par seconde | 115 000 par seconde | 130 000 par seconde |
Exemple : Pour le niveau de 1 000 Mbit/s par Tio, la taille de l'incrément de capacité est de 72 000 Gio. Si vous créez une instance de 153 000 Gio, vous bénéficiez de trois étapes de performances de métadonnées :
- Étape 1 : Accordé à la taille d'instance minimale.
- Étape 2 : accordée lorsque la capacité dépasse 72 000 Gio.
- Étape 3 : Accordée lorsque la capacité dépasse 144 000 Gio.
- Étape 4 : Non atteinte. Accordé lorsque la capacité dépasse 216 000 Gio.
Étant donné que 153 000 Gio se situe entre les seuils de 144 000 Gio et 216 000 Gio, l'instance reçoit trois niveaux de performances, soit un maximum de 1 230 000 statistiques de fichiers par seconde (3 * 410 000).