Créer une instance Managed Lustre

Une instance Google Cloud Managed Lustre est un système de fichiers Lustre complet dans le cloud. Il peut être installé sur une VM Compute Engine ou sur un cluster Google Kubernetes Engine (GKE). Vous accédez aux données de l'instance à l'aide de la terminologie POSIX standard.

Lorsque vous créez une instance Managed Lustre, vous devez définir les propriétés suivantes :

  • Nom de l'instance, utilisé par Google Cloud.
  • Nom du système de fichiers, utilisé par les outils côté client tels que lfs.
  • Capacité de stockage en gibioctets (Gio). La capacité peut aller de 9 000 Gio à 84 016 000 Gio (80,1 Pio). La taille maximale d'une instance dépend de son niveau de performances.
  • Le niveau de performances. Managed Lustre propose des niveaux de performances allant de 125 Mo/s par Tio à 1 000 Mo/s par Tio, ainsi qu'un niveau dynamique qui optimise les performances en fonction des modèles d'accès aux données, avec un débit agrégé de 25 Mo/s par Tio.
  • L'établissement. Pour des performances optimales, placez votre instance dans la même zone que vos VM clientes ou votre cluster GKE.
  • Réseau VPC de cette instance. Il doit s'agir du même réseau que celui utilisé pour vos VM ou clusters.

Niveaux de performances et capacités de stockage maximales

Managed Lustre propose quatre niveaux de performances fixes et un niveau dynamique. Les niveaux de performances affectent la taille minimale et maximale de l'instance, ainsi que la taille de pas entre les valeurs de capacité acceptables. Vous ne pouvez pas modifier le niveau de performances d'une instance après sa création.

Pour en savoir plus, consultez Niveaux de performances.

Vous pouvez augmenter la capacité de stockage d'une instance après sa création, jusqu'à la valeur maximale autorisée pour son niveau de performances et sa taille de pas.

Calculateur de capacité

Sélectionnez un niveau de performances et saisissez votre capacité cible pour trouver la taille valide la plus proche. Les tailles valides sont arrondies à l'unité supérieure en fonction de la taille minimale et de la taille de pas du niveau.

Quotas

Votre projet dispose de quotas de débit et de capacité qui sont consommés lorsque vous créez une instance. Si vous ne disposez pas d'un quota suffisant dans la zone et le réseau VPC de l'instance pour la taille et le niveau de performances que vous sélectionnez, la requête de création échoue. Pour en savoir plus, consultez la page Quotas et limites.

Autorisations requises

Pour créer une instance Managed Lustre, vous devez disposer des autorisations IAM d'administrateur Managed Lustre (roles/lustre.admin) pour votre projet.

Pour en savoir plus, consultez Contrôle des accès avec IAM.

Vous devez également avoir activé l'API Managed Lustre.

Créer une instance

Vous pouvez créer une instance Managed Lustre à partir des interfaces suivantes.

gcloud

Pour créer une instance Managed Lustre, utilisez la commande gcloud lustre instances create :

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Les valeurs suivantes doivent être spécifiées :

  • INSTANCE_ID est le nom de cette instance Managed Lustre. Il doit :

    • Ne contenir que des lettres minuscules, des chiffres et des traits d'union.
    • Commencez par une lettre.
    • Il doit comporter entre 1 et 63 caractères.
    • Se terminer par un chiffre ou une lettre
    • Être unique dans le projet et l'emplacement.

  • --per-unit-storage-throughput est le débit maximal de l'instance en Mo/s par Tio. Les valeurs valides sont 0, 125, 250, 500 et 1000. Le choix du débit affecte la capacité de stockage minimale et maximale de l'instance.

    Pour spécifier le niveau dynamique, définissez-le sur 0 et incluez l'option --dynamic-tier-options-mode=DEFAULT_CACHE. Exemple :

    gcloud lustre instances create my-dynamic-tier-instance \
  --per-unit-storage-throughput=0 \
  --dynamic-tier-options-mode=DEFAULT_CACHE \
  ...

  • --capacity-gib est la capacité de stockage de l'instance en gibioctets (Gio). Les valeurs autorisées dépendent du niveau de débit de stockage que vous spécifiez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  • --filesystem est le nom à attribuer à ce système de fichiers Lustre. Ce nom est utilisé par les commandes côté client, y compris mount et lfs. Il doit comporter huit caractères maximum, ne peut contenir que des lettres et/ou des chiffres, et est sensible à la casse.

    Il est recommandé de choisir un nom unique pour toutes les instances Managed Lustre du VPC. Cela permet d'utiliser plusieurs instances à partir d'un seul nœud GKE.

  • --location doit être une zone Google Cloud valide compatible avec Managed Lustre. Pour obtenir la liste complète, consultez Emplacements compatibles.

  • --network est le chemin d'accès complet du réseau VPC auquel l'instance appartient, au format projects/PROJECT_ID/global/networks/NETWORK. Consultez Configurer un réseau VPC.

  • --project est l'ID de votre projet Google Cloud .

Les options facultatives sont les suivantes :

  • --dynamic-tier-options-mode spécifie le niveau dynamique pour cette instance. Définissez la valeur de cette option sur DEFAULT_CACHE et définissez --per-unit-storage-throughput=0 pour activer le niveau dynamique.

  • --kms-key-name spécifie une clé de chiffrement gérée par le client avec laquelle chiffrer cette instance. Pour en savoir plus, consultez Clés de chiffrement gérées par le client pour Managed Lustre.

  • --maintenance-policy-weekly-windows et --maintenance-policy-exclusion-window définissent des règles de maintenance pour cette instance. Pour en savoir plus, consultez Événements et règles de maintenance.

  • --async (facultatif) exécute la commande de manière asynchrone. Au lieu d'attendre la fin de la création de l'instance, Google Cloud CLI renvoie un ID d'opération qui peut être utilisé pour interroger l'état de la commande.

Une requête réussie renvoie un ID d'opération :

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

La création d'une instance prend environ 15 minutes pour une instance d'une capacité de 9 000 Gio, et jusqu'à plusieurs heures pour une instance d'une capacité de 84 016 000 Gio (80,1 Pio). Pour savoir comment vérifier l'état de votre requête, consultez Interroger l'état de création d'une instance.

REST

Pour créer une instance à l'aide de l'API REST, envoyez une requête au point de terminaison suivant :

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string
}

Les valeurs suivantes doivent être spécifiées :

  • PROJECT_ID est l'ID de votre projet Google Cloud .

  • ZONE doit être une zone Google Cloud valide compatible avec Managed Lustre. Pour obtenir la liste complète, consultez Emplacements compatibles.

  • INSTANCE_ID est le nom de cette instance Managed Lustre. Il doit :

    • Ne contenir que des lettres minuscules, des chiffres et des traits d'union.
    • Commencez par une lettre.
    • Il doit comporter entre 1 et 63 caractères.
    • Se terminer par un chiffre ou une lettre
    • Être unique dans le projet et l'emplacement.

  • filesystem est le nom à attribuer à ce système de fichiers Lustre. Ce nom est utilisé par les commandes côté client, y compris mount et lfs. Il doit comporter huit caractères ou moins, ne peut contenir que des lettres et/ou des chiffres, et est sensible à la casse.

    Il est recommandé de choisir un nom de système de fichiers unique pour toutes les instances Managed Lustre du VPC. Cela permet d'utiliser plusieurs instances à partir d'un seul nœud GKE.

  • perUnitStorageThroughput est le débit maximal de l'instance en Mo/s par Tio. Les valeurs valides sont 0, 125, 250, 500 et 1000. Le choix du débit affecte la capacité de stockage minimale et maximale de l'instance.

    Pour spécifier le niveau dynamique, définissez-le sur 0 et incluez l'objet dynamicTierOptions. Exemple :

    "perUnitStorageThroughput": 0,
"dynamicTierOptions": {
  "mode": "DEFAULT_CACHE"
}

  • capacityGib est la capacité de stockage de l'instance en gibioctets (Gio). Les valeurs autorisées dépendent du niveau de débit de stockage que vous spécifiez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  • network est le chemin d'accès complet du réseau VPC auquel l'instance appartient, au format projects/PROJECT_ID/global/networks/NETWORK. Consultez Configurer un réseau VPC.

Les champs suivants sont facultatifs :

  • dynamicTierOptions active le niveau dynamique pour cette instance. Le champ mode de l'objet dynamicTierOptions doit être défini sur DEFAULT_CACHE et perUnitStorageThroughput doit être défini sur 0 pour activer le niveau dynamique.

  • kmsKey spécifie une clé de chiffrement gérée par le client avec laquelle chiffrer cette instance. Pour en savoir plus, consultez Clés de chiffrement gérées par le client pour Managed Lustre.

L'API accepte des champs facultatifs supplémentaires pour les instances. Pour obtenir une liste complète et des descriptions, consultez la documentation de référence sur la ressource Instance.

Console Google Cloud

  1. Accédez à la page Lustre géré dans la console Google Cloud .

    Accéder à Managed Lustre

  2. Cliquez sur Créer. La page Créer une instance s'affiche.

  3. Saisissez un nom d'instance unique et, éventuellement, une description. Le nom de l'instance est utilisé par Google Cloud pour identifier cette instance.

  4. Saisissez un nom de système de fichiers. Il s'agit du nom utilisé par les outils côté client tels que lfs. Il doit comporter huit caractères ou moins, ne peut contenir que des lettres et/ou des chiffres, et est sensible à la casse.

  5. Sélectionnez la région et la zone dans lesquelles créer cette instance. Vous devez placer votre instance dans la même région et la même zone que les VM Compute Engine ou les clusters Google Kubernetes Engine qui s'y connecteront.

  6. Sélectionnez le niveau de performances de cette instance.

  7. Spécifiez la capacité de stockage de votre instance en gibioctets (Gio). Les valeurs valides dépendent du niveau de débit de stockage que vous sélectionnez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  8. Dans la section Chiffrement, sélectionnez Clé de chiffrement gérée par Google ou Clé Cloud Key Management Service. Pour en savoir plus sur l'option de clé Cloud Key Management Service, consultez Clés de chiffrement gérées par le client pour Managed Lustre.

  9. Facultatif : Pour contrôler le moment où la maintenance peut avoir lieu sur cette instance, développez la section Règle de maintenance et configurez un intervalle de maintenance ou d'exclusion. Pour en savoir plus, consultez Événements et règles de maintenance.

  10. Sélectionnez le réseau que vous avez créé à l'étape Créer un réseau VPC.

La section Résumé de la page est mise à jour pour afficher une estimation des coûts en fonction de vos sélections.

Cliquez sur Envoyer pour continuer. Le processus de création d'instance prend de 15 minutes à une heure, selon la capacité de l'instance.

Interroger l'état de création de l'instance

Vous pouvez interroger l'état d'une requête de création à partir des interfaces suivantes.

gcloud

Pour interroger l'état d'une opération de création, vous pouvez obtenir l'opération ou l'instance.

Pour obtenir l'instance :

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

L'état de création est la valeur de state.

Pour obtenir l'opération, utilisez l'ID d'opération de la réponse de création d'instance. L'ID d'opération est au format suivant :

  • operation-1234567890123-6127783ad26ea-88913969-02748053
gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

L'état de création est la valeur de done.

Une fois l'instance créée, le résultat d'une requête GET sur l'instance est semblable à la réponse suivante.

Notez l'adresse IP dans le champ mountPoint et le nom de votre système de fichiers. Vous aurez besoin de ces valeurs lors de l'installation de votre instance.

capacityGib: '27000'
createTime: '2025-03-14T00:07:34.308574307Z'
filesystem: lustre-fs
mountPoint: 10.115.0.3@tcp:/testfs
name: projects/$PROJECT/locations/us-central1-a/instances/$INSTANCE_NAME
network: projects/$PROJECT/global/networks/default
state: ACTIVE
updateTime: '2025-03-14T00:15:37.101024263Z'

REST

Pour interroger l'état d'une opération de création, utilisez l'ID d'opération de la réponse. L'ID d'opération est au format suivant :

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Envoyez une requête au point de terminaison suivant :

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Si elle aboutit, le corps de la réponse contient une instance d'Operation.

Console Google Cloud

  1. Accédez à la page Lustre géré dans la console Google Cloud .

    Accéder à Managed Lustre

  2. Cliquez sur le nom de l'instance dans la liste. La page Détails de l'instance s'affiche. Elle indique l'état actuel de votre demande de création d'instance.

Dépannage

Plage d'adresses IP épuisée

Si la création de l'instance échoue avec une erreur indiquant que la plage d'adresses IP est épuisée :

FAILED_PRECONDITION: Invalid resource state for "NETWORK_RANGES_NOT_AVAILABLE": IP address range exhausted

ou :

Private Service Access IP address range exhausted or does not exist.

Suivez les instructions de la section Configurer l'accès aux services privés pour modifier la connexion privée existante afin d'ajouter des plages d'adresses IP.

Nous vous recommandons d'utiliser une longueur de préfixe d'au moins /20 (4 096 adresses).

Le réseau n'a pas été appairé

Si la création de l'instance échoue avec une erreur d'appairage de réseaux :

INVALID_ARGUMENT: the network has not been peered with Google managed services.

Cette erreur se produit lorsque le réseau VPC spécifié dans --network n'a pas été appairé avec des services gérés par Google à l'aide de l'accès aux services privés.

Pour résoudre ce problème, suivez les instructions de la section Créer et configurer le VPC pour allouer une plage d'adresses IP et établir la connexion d'appairage de VPC.

Étapes suivantes