Augmenter la capacité d'une instance Managed Lustre

Vous pouvez augmenter la capacité de stockage de votre instance Managed Lustre. Impossible de réduire la capacité.

Lorsque vous augmentez la capacité d'une instance, vous pouvez continuer à l'utiliser pendant l'opération de mise à jour.

Limites d'augmentation de la capacité

Pour les niveaux de performances avec deux tailles de pas différentes, la capacité actuelle de l'instance détermine sa taille maximale possible.

Si la capacité d'une instance est inférieure ou égale au seuil de taille de pas, sa taille peut être augmentée jusqu'à la valeur de seuil elle-même. Il ne peut pas être étendu au-delà de cette limite.

Par exemple, dans le niveau de 250 MBps par Tio, le seuil auquel la taille de pas change est de 10 224 000 Gio. Toute instance créée avec une capacité inférieure ou égale à ce seuil ne peut être étendue que jusqu'à cette limite de 10 224 000 Gio.

Calculer votre nouvelle capacité

Vous pouvez augmenter la capacité d'une instance jusqu'à la valeur maximale autorisée pour son niveau de performances et sa taille de pas. Ces valeurs sont les suivantes :

Niveau de performances Capacité minimale Capacité maximale Taille de pas
1 000 Mo/s par Tio 9 000 Gio 10 008 000 Gio (9,5 Pio) Pour les capacités de stockage jusqu'à 2 556 000 Gio : 9 000 Gio
Pour les capacités de stockage supérieures : 72 000 Gio
500 MBps par Tio 18 000 Gio 20 016 000 Gio (19,1 Pio) Pour les capacités de stockage jusqu'à 5 112 000 Gio : 18 000 Gio
Pour les capacités de stockage supérieures : 144 000 Gio
250 MBps par Tio 36 000 Gio 40 032 000 Gio (38,2 Pio) Pour les capacités de stockage jusqu'à 10 224 000 Gio : 36 000 Gio
Pour les capacités de stockage supérieures : 288 000 Gio
125 MBps par Tio 72 000 Gio 20 448 000 Gio (19,5 Pio) 72 000 Gio
Dynamique (25 MBps par Tio) 472 000 Gio 84 016 000 Gio (80,1 Pio) 472 000 Gio

La capacité mise à jour doit être un multiple de la taille de pas et ne peut pas dépasser la valeur maximale pour cette taille de pas.

Votre projet Google Cloud dispose de quotas de débit et de capacité qui affectent la capacité disponible par réseau de cloud privé virtuel (VPC) par zone. Vous devrez peut-être demander un quota de débit ou de capacité supplémentaire avant d'augmenter la capacité de votre instance. Pour en savoir plus, consultez Quotas et limites.

Calculateur de capacité

Utilisez le calculateur suivant pour trouver une capacité valide pour le niveau de performances sélectionné.

Mettre à jour la capacité de l'instance

Vous pouvez utiliser la console Google Cloud ou la Google Cloud CLI pour mettre à jour la capacité de l'instance.

Console Google Cloud

  1. Accédez à la page Lustre géré dans la console Google Cloud .

    Accéder à Managed Lustre

  2. Cliquez sur le nom de l'instance à mettre à jour. La page de présentation de l'instance s'affiche.

  3. Cliquez sur Modifier.

  4. Saisissez la nouvelle valeur de capacité de stockage. La valeur doit être inférieure ou égale à la capacité maximale autorisée, et doit être un multiple de la taille de pas. Consultez Calculer votre nouvelle capacité pour connaître ces valeurs.

  5. Cliquez sur Envoyer.

gcloud

Utilisez la commande gcloud lustre instances update pour augmenter la capacité de stockage de votre instance :

gcloud lustre instances update INSTANCE_NAME \
  --location=LOCATION \
  --capacity-gib=NEW_CAPACITY

Où :

  • INSTANCE_NAME est l'instance à mettre à jour.
  • LOCATION est la zone dans laquelle se trouve l'instance.
  • NEW_CAPACITY est la nouvelle capacité de stockage de cette instance en gibioctets (Gio). La valeur ne peut pas dépasser la capacité maximale autorisée et doit être un multiple de la taille de pas. Consultez la section Calculer votre nouvelle capacité pour connaître ces valeurs.

REST

Pour mettre à jour une instance à l'aide de l'API REST, envoyez une requête PATCH à son point de terminaison spécifique :

PATCH https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances/INSTANCE_NAME?updateMask=capacityGib
Authorization: Bearer [YOUR_ACCESS_TOKEN]

{
  "capacityGib": NEW_CAPACITY
}

Où les valeurs suivantes doivent être spécifiées :

  • PROJECT_ID est l'ID de votre projet Google Cloud .
  • ZONE est la zone Google Cloud de l'instance.
  • INSTANCE_NAME est le nom de l'instance Managed Lustre à mettre à jour.
  • updateMask=capacityGib spécifie le champ à mettre à jour. Un champ ne sera écrasé que s'il figure dans le masque.
  • NEW_CAPACITY est la nouvelle capacité de stockage de cette instance en gibioctets (Gio). La valeur ne peut pas dépasser la capacité maximale autorisée et doit être un multiple de la taille de pas. Consultez la section Calculer votre nouvelle capacité pour connaître ces valeurs.

Pour en savoir plus, consultez la documentation de référence de l'API instances.patch.

Une fois la demande de mise à jour envoyée, Managed Lustre vérifie votre quota disponible. Si le quota est suffisant, la capacité de l'instance est augmentée sur une période donnée, en fonction de la modification de la taille. Les augmentations peuvent prendre de 20 minutes à une heure ou plus.

Vous pouvez continuer à utiliser votre instance pendant l'opération de mise à jour.

Afficher l'état de la mise à jour

Vous pouvez consulter l'état d'une demande de mise à jour à partir des interfaces suivantes.

Console Google Cloud

  1. Accédez à la page Lustre géré dans la console Google Cloud .

    Accéder à Managed Lustre

  2. Cliquez sur le nom de l'instance dans la liste. La page Détails de l'instance s'affiche. Elle indique l'état actuel de votre demande de mise à jour de l'instance.

gcloud

Par défaut, la commande gcloud lustre instances update attend la fin de l'opération avant de renvoyer l'invite de l'interface système :

Request issued for: [my-instance]
Waiting for operation [projects/my-project/locations/us-central1-a/operations/operation-1234567890-123] to complete...

Une fois l'opération terminée, la ligne de commande affiche Updated instance [my-instance] ainsi que les détails de l'instance, y compris la capacité mise à jour.

Si vous avez exécuté la commande de mise à jour avec l'option --async ou si vous devez interroger l'état de la mise à jour à partir de la ligne de commande, vous pouvez récupérer les détails de l'opération pour voir si la mise à jour de l'instance est terminée :

gcloud lustre operations describe OPERATION_ID \
  --location=ZONE

Pendant la mise à jour de l'instance, la réponse affiche la valeur done: false. Une fois l'opération terminée, done est défini sur true.

Exemple :

$ gcloud lustre operations describe operation-1234567890-123abc456-789def012-a1b2c3d4 \
    --location=us-central1-a

done: false
metadata:
  '@type': type.googleapis.com/google.cloud.lustre.v1.OperationMetadata
  apiVersion: v1
  createTime: '2025-08-27T18:13:49.771203623Z'
  requestedCancellation: false
  target: projects/my-project/locations/us-central1-a/instances/my-instance
  verb: update
name: projects/my-project/locations/us-central1-a/operations/operation-1234567890-123abc456-789def012-a1b2c3d4

REST

Pour interroger l'état d'une opération de mise à jour, utilisez l'ID d'opération de la réponse. L'ID d'opération est au format suivant :

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Envoyez une requête au point de terminaison suivant :

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Si elle aboutit, le corps de la réponse contient une instance d'Operation.

Performances après l'augmentation de la capacité

Le débit maximal d'une instance Managed Lustre est déterminé par sa capacité de stockage et son niveau de performances. L'augmentation de la capacité de stockage d'une instance existante augmente également son débit maximal.

L'amélioration des performances peut ne pas être visible tant que de nouvelles données n'ont pas été écrites. Les performances de débit s'améliorent progressivement à mesure que de nouvelles données sont écrites et redistribuées sur l'espace de stockage supplémentaire.

Erreurs "No space left on device" (Aucun espace restant sur le dispositif)

Lorsque votre système de fichiers approche de sa capacité maximale (généralement plus de 90 % d'utilisation), vous pouvez commencer à recevoir des erreurs No space left on device ou FILESYSTEM_NO_SPACE_ON_DEVICE (ENOSPC) prématurées, même si les outils de surveillance indiquent que l'espace libre agrégé est toujours disponible.

Ce comportement peut se produire en raison de plusieurs mécanismes sous-jacents dans les systèmes de fichiers distribués :

  • Déséquilibre des OST : Lustre répartit les données des fichiers sur plusieurs cibles de stockage d'objets (OST). Cependant, certains modèles de charge de travail peuvent remplir un seul OST, quelle que soit votre configuration de segmentation. Les causes courantes incluent l'écriture de fichiers en mode d'ajout (O_APPEND) ou la conservation de fichiers volumineux non associés.

  • Erreurs post-expansion : vous pouvez continuer à recevoir des erreurs ENOSPC même après avoir ajouté de la capacité à votre cluster. Bien que l'augmentation de la capacité ajoute de nouvelles OST, elle ne rééquilibre pas automatiquement vos fichiers préexistants sur les cibles nouvellement ajoutées.

  • Attributions d'espace client : les clients Compute Engine réservent de manière dynamique des parties de l'espace disque pour améliorer les performances. Cet espace d'allocation réservé réduit le pool physique disponible, ce qui signifie que les métriques de capacité peuvent ne pas refléter l'espace que les clients distribués ont déjà revendiqué.

  • Épuisement des inodes : les charges de travail qui génèrent des millions de fichiers peuvent épuiser les inodes disponibles du système de fichiers avant d'atteindre les limites de stockage physique, ce qui entraîne des erreurs ENOSPC lors de la création de fichiers.

Stratégies d'atténuation recommandées :

  • Surveillez la capacité et configurez des alertes : surveillez l'utilisation de la capacité par OST et les métriques d'inode individuelles en plus de la capacité globale du cluster. Exécutez la commande lfs df à partir d'un client installé pour afficher l'utilisation de la capacité par cible, utilisez lfs df -i pour l'utilisation des inodes par cible ou consultez Surveiller les instances et les opérations pour en savoir plus sur les métriques de surveillance.

    Configurez des alertes automatisées qui se déclenchent lorsque la capacité globale ou l'utilisation d'un OST individuel dépasse 80% (voir Créer une alerte de capacité de stockage).

  • Augmentez la capacité : une fois que la capacité globale atteint 80 à 90%, envisagez d'augmenter la capacité de votre instance Managed Lustre. Vous devrez peut-être demander un quota supplémentaire avant l'expansion.

  • rééquilibrer le stockage : utilisez la commande lfs migrate, de préférence en mode non bloquant (-n), pour transférer manuellement des fichiers depuis des OST surutilisés vers des OST plus vides ou récemment ajoutés.

  • Recherchez les fichiers non associés sur les clients : les fichiers non associés ouverts sont des fichiers volumineux maintenus ouverts par un processus même après avoir été dissociés de l'espace de noms du système de fichiers. Ces fichiers orphelins restent sur le disque, consomment de l'espace, mais ne sont pas visibles dans les listes de répertoires standards. Dans ce cas, les métriques de capacité Cloud Monitoring et la commande lfs df signalent une utilisation de l'espace plus élevée que du ou lfs find. Utilisez la commande lsof sur les clients pour identifier ces fichiers en recherchant les entrées marquées comme (deleted). Une fois identifié, l'arrêt du processus contenant le descripteur de fichier ou le redémarrage de l'application libère de l'espace dans le système de fichiers.