Google Cloud Managed Lustre propose différents niveaux de performances pour répondre aux exigences spécifiques de votre charge de travail et à votre budget. Vous pouvez choisir un niveau qui offre des performances durables et prévisibles pour l'ensemble de votre système de fichiers, ou un niveau dynamique qui optimise automatiquement les coûts de stockage pour les ensembles de données volumineux et partiellement actifs.
Niveaux disponibles
Le tableau suivant récapitule les niveaux de performances disponibles pour Managed Lustre.
| Niveau | Capacité minimale | Capacité maximale | Taille de l'incrément |
|---|---|---|---|
| 1 000 MBps par Tio | 9 000 Gio | 10 008 000 Gio (9,5 Pio) | Pour les capacités de stockage allant jusqu'à 2 556 000 Gio : 9 000 Gio Pour les capacités de stockage supérieures : 72 000 Gio |
| 500 MBps par Tio | 18 000 Gio | 20 016 000 Gio (19,1 Pio) | Pour les capacités de stockage allant jusqu'à 5 112 000 Gio : 18 000 Gio Pour les capacités de stockage supérieures : 144 000 Gio |
| 250 MBps par Tio | 36 000 Gio | 40 032 000 Gio (38,2 Pio) | Pour les capacités de stockage allant jusqu'à 10 224 000 Gio : 36 000 Gio Pour les capacités de stockage supérieures : 288 000 Gio |
| 125 MBps par Tio | 72 000 Gio | 20 448 000 Gio (19,5 Pio) | 72 000 Gio |
| Dynamique (25 MBps par Tio) | 472 000 Gio | 84 016 000 Gio (80,1 Pio) | 472 000 Gio |
Les tailles d'incrément changent une fois que la taille de l'instance atteint un seuil spécifique.
Vous pouvez augmenter la capacité de stockage d'une instance après sa création, jusqu'à la valeur maximale autorisée pour son niveau de performances et sa taille de pas. Si vous créez une instance dans la plage de taille de pas inférieure de son niveau, vous ne pourrez pas l'augmenter au-delà du seuil de taille de pas. Pour en savoir plus, consultez la section Limites concernant l'augmentation de la capacité.
Niveaux numérotés
Les niveaux numérotés offrent des performances constantes et à haute vitesse. Ces niveaux sont idéaux pour les charges de travail qui exigent un débit élevé et une faible latence pour chaque accès aux données.
Vous choisissez un niveau de performances spécifique lorsque vous créez votre instance, et ce débit est fourni de manière cohérente pour l'ensemble de votre système de fichiers. Les performances évoluent de manière linéaire avec la quantité de stockage que vous provisionnez. En plus du débit brut, les IOPS et les performances des métadonnées évoluent également avec la capacité et le débit provisionnés de l'instance.
- 1 000 MBps par Tio : recommandé pour les charges de travail hautes performances et l'entraînement d'IA/de ML,où le débit est essentiel.
- 500 MBps par Tio : pour les charges de travail IA/ML exigeantes, les applications HPC complexes et l'analyse intensive en données qui nécessitent un débit conséquent, mais peuvent bénéficier d'un rapport prix/performances plus équilibré.
- 250 MBps par Tio : convient à un large éventail de charges de travail HPC, d'inférence d'IA/de ML , de prétraitement des données et d'applications nécessitant des performances supérieures à celles des NFS traditionnels, à un prix abordable.
- 125 MBps par Tio : conçu pour les scénarios où de grandes capacités et un accès au système de fichiers parallèle sont essentiels. Convient aux tâches parallèles moins dépendantes des E/S.
Niveau dynamique
Le niveau dynamique est une solution économique conçue pour gérer les ensembles de données d'IA et de HPC en pleine croissance en optimisant automatiquement les performances en fonction des modèles d'accès aux données. Il fournit un espace de noms unique et unifié à l'échelle du pétaoctet, offrant un accès à haute vitesse aux données actives stockées dans un cache hautes performances tout en réduisant le coût total de possession des grands ensembles de données. Le débit agrégé disponible pour l'instance évolue à 25 MBps par Tio.
Le système gère intelligemment le placement des données à l'aide d'une stratégie automatisée qui permet de garantir que les données fréquemment utilisées restent très performantes. Ce processus est transparent pour les utilisateurs et les applications, qui interagissent avec le système de fichiers en tant que point d'installation unique, sans qu'il soit nécessaire de migrer ou de gérer manuellement les données.
Principaux avantages
- Réduction des coûts de stockage : réduisez le prix par octet pour les grands ensembles de données en stockant la majorité de vos données sur un stockage de volume économique.
- Espace de noms unique à l'échelle du pétaoctet : consolidez les ensembles de données volumineux et en pleine croissance en un seul point d'installation sans avoir à migrer ou à hiérarchiser manuellement les données entre différents systèmes de stockage.
- Intelligent et automatisé : un système de mise en cache transparent au niveau des blocs permet de s'assurer que le stockage hautes performances est utilisé pour les données les plus critiques.
- Performances combinées : bénéficiez d'une latence inférieure à la milliseconde pour les données actives et d'une latence constante de quelques dizaines de millisecondes pour les parties de l'ensemble de données auxquelles vous accédez moins fréquemment.
Spécifications détaillées des performances
Suivez les bonnes pratiques décrites dans la section Considérations sur les performances pour aider vos instances à atteindre ces chiffres de performances IOPS et de métadonnées.
IOPS
Les IOPS maximales évoluent de manière linéaire par Tio de capacité d'instance provisionnée.
| Niveau de débit | IOPS en lecture (par Tio) | IOPS en écriture (par Tio) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1 450 | 1 400 |
500 MBps per TiB |
2 900 | 2 800 |
1000 MBps per TiB |
5 800 | 5 600 |
Dynamic |
145 | 140 |
Opérations associées aux métadonnées
Le nombre maximal d'opérations sur les métadonnées augmente par étapes en fonction de la capacité.
Chaque instance reçoit sa première étape de performances de métadonnées à la taille minimale de l'instance (qui est inférieure à l'étape de capacité standard).
Pour les instances plus volumineuses, les performances augmentent chaque fois que la capacité totale dépasse un multiple de la taille de pas.
| Niveau de performances | Étape de capacité (Gio) | Statistiques de fichiers ajoutées par étape | Créations de fichiers ajoutées par étape | Suppressions de fichiers ajoutées par étape |
|---|---|---|---|---|
| 1 000 MBps par Tio | 72 000 | 410 000 par seconde | 115 000 par seconde | 95 000 par seconde |
| 500 MBps par Tio | 144 000 | |||
| 250 MBps par Tio | 288 000 | |||
| 125 MBps par Tio | 576 000 | |||
| Dynamique | 3 776 000 | 275 000 par seconde | 115 000 par seconde | 130 000 par seconde |
Exemple : Pour le niveau 1 000 MBps par Tio, la taille de l'incrément de capacité est de 72 000 Gio. Si vous créez une instance de 153 000 Gio, vous recevez trois étapes de performances de métadonnées :
- Étape 1 : accordée à la taille minimale de l'instance.
- Étape 2 : accordée lorsque la capacité dépasse 72 000 Gio.
- Étape 3 : accordée lorsque la capacité dépasse 144 000 Gio.
- Étape 4 : non atteinte. Accordée lorsque la capacité dépasse 216 000 Gio.
Étant donné que 153 000 Gio se situe entre les seuils de 144 000 Gio et 216 000 Gio, l'instance reçoit trois étapes de performances : un maximum de 1 230 000 statistiques de fichiers par seconde (3 x 410 000).