Créer une instance Managed Lustre

Une instance Google Cloud Managed Lustre est un système de fichiers Lustre complet dans le cloud. Il peut être installé sur une VM Compute Engine ou sur un cluster Kubernetes Engine. Vous accédez aux données de l'instance à l'aide de la terminologie POSIX standard.

Lorsque vous créez une instance Managed Lustre, vous devez définir les propriétés suivantes :

  • Nom de l'instance, utilisé par Google Cloud.
  • Nom du système de fichiers utilisé par les outils côté client tels que lfs.
  • Capacité de stockage en gibioctets (Gio). La capacité peut aller de 9 000 Gio à 12 240 000 Gio (11,67 Pio). La taille maximale d'une instance dépend de son niveau de performances.
  • Niveau de performances. Managed Lustre propose des niveaux de performances allant de 125 Mo/s par Tio à 1 000 Mo/s par Tio.
  • L'emplacement. Pour optimiser les performances, placez votre instance dans la même zone que vos VM clientes ou votre cluster GKE.
  • Réseau VPC pour cette instance. Il doit s'agir du même réseau que celui utilisé pour vos VM ou clusters.
  • Indique si cette instance sera accessible depuis un cluster Kubernetes Engine (GKE). Étant donné que Lustre et GKE utilisent le port 988 par défaut, ce paramètre modifie le port Lustre pour éviter les conflits.

Niveaux de performances et capacités de stockage maximales

Managed Lustre propose quatre niveaux de performances, chacun avec une vitesse de débit maximale différente par Tio. Les niveaux de performances affectent également la taille minimale et maximale des instances, ainsi que la taille d'incrément entre les valeurs de capacité acceptables.

Niveau Capacité minimale Capacité maximale Taille de pas
125 MBps par Tio 72 000 Gio 12 240 000 Gio (11,67 Pio) 72 000 Gio
250 MBps par Tio 36 000 Gio 6 120 000 Gio (5,84 Pio) 36 000 Gio
500 MBps par Tio 18 000 Gio 3 060 000 Gio (2,92 Pio) 18 000 Gio
1 000 MBps par Tio 9 000 Gio 1 530 000 Gio (1,46 Pio) 9 000 Gio

Vous ne pouvez pas modifier le niveau de performances d'une instance après sa création.

Autorisations requises

Pour créer une instance Managed Lustre, vous devez disposer des autorisations IAM d'administrateur Managed Lustre (roles/lustre.admin) pour votre projet.

Pour en savoir plus, consultez Contrôle des accès avec IAM.

Vous devez également avoir activé l'API Managed Lustre.

Créer une instance

Vous pouvez créer une instance Managed Lustre à partir des interfaces suivantes.

gcloud

Pour créer une instance Managed Lustre, utilisez la commande gcloud lustre instances create :

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Les valeurs suivantes doivent être spécifiées :

  • INSTANCE_ID est le nom de cette instance Managed Lustre. Il doit :

    • Le nom ne doit contenir que des lettres minuscules, des chiffres et des traits d'union.
    • Commencez par une lettre.
    • comporter entre 1 et 63 caractères ;
    • Il doit se terminer par un chiffre ou une lettre.
    • être unique dans le projet et l'emplacement ;

  • --per-unit-storage-throughput correspond au débit maximal de l'instance en Mo/s par Tio. Les valeurs valides sont 125, 250, 500 et 1000. Le débit que vous choisissez a une incidence sur la capacité de stockage minimale et maximale de l'instance.

  • --capacity-gib correspond à la capacité de stockage de l'instance en gibioctets (Gio). Les valeurs autorisées dépendent du niveau de débit de stockage que vous spécifiez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  • --filesystem est le nom à attribuer à ce système de fichiers Lustre. Ce nom est utilisé par les commandes côté client, y compris mount et lfs. Il doit comporter huit caractères ou moins, ne peut contenir que des lettres et/ou des chiffres, et respecte la casse.

    Il est recommandé de choisir un nom unique pour toutes les instances Managed Lustre du VPC. Cela permet d'utiliser plusieurs instances à partir d'un seul nœud GKE.

  • --location doit être une zone Google Cloud valide compatible avec Managed Lustre. Pour obtenir la liste complète, consultez Emplacements compatibles.

  • --network correspond au chemin d'accès complet du réseau VPC auquel appartient l'instance, au format projects/PROJECT_ID/global/networks/NETWORK. Consultez Configurer un réseau VPC.

  • --project est l'ID de votre projet Google Cloud .

Voici les options facultatives :

  • --kms-key-name spécifie une clé de chiffrement gérée par le client avec laquelle chiffrer cette instance. Pour en savoir plus, consultez Clés de chiffrement gérées par le client pour Managed Lustre.

  • --gke-support-enabled crée une instance pouvant être utilisée par les clusters Google Kubernetes Engine. Il définit le accept_port Lustre LNet sur 6988.

    Pour vous connecter à partir d'une VM Compute Engine lorsque --gke-support-enabled est spécifié, vous devez mettre à jour le fichier de configuration LNet sur la VM. Consultez Configurer LNet pour les instances gke-support-enabled.

  • --async (facultatif) exécute la commande de manière asynchrone. Au lieu d'attendre la fin de la création de l'instance, Google Cloud CLI renvoie un ID d'opération qui peut être utilisé pour interroger l'état de la commande.

Si la requête réussit, un ID d'opération est renvoyé :

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

La création d'une instance prend environ 15 minutes pour une capacité de 9 000 Gio et jusqu'à une heure pour une capacité de 12 240 000 Gio (11,67 Pio). Pour savoir comment vérifier l'état de votre demande, consultez Vérifier l'état de la création d'une instance de requête.

REST

Pour créer une instance à l'aide de l'API REST, envoyez une requête au point de terminaison suivant :

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string,
  "gkeSupportEnabled": boolean
}

Les valeurs suivantes doivent être spécifiées :

  • PROJECT_ID est l'ID de votre projet Google Cloud .

  • ZONE doit être une zone Google Cloud valide compatible avec Managed Lustre. Pour obtenir la liste complète, consultez Emplacements compatibles.

  • INSTANCE_ID est le nom de cette instance Managed Lustre. Il doit :

    • Le nom ne doit contenir que des lettres minuscules, des chiffres et des traits d'union.
    • Commencez par une lettre.
    • comporter entre 1 et 63 caractères ;
    • Il doit se terminer par un chiffre ou une lettre.
    • être unique dans le projet et l'emplacement ;

  • filesystem est le nom à attribuer à ce système de fichiers Lustre. Ce nom est utilisé par les commandes côté client, y compris mount et lfs. Il doit comporter huit caractères ou moins, ne peut contenir que des lettres et/ou des chiffres, et respecte la casse.

    Il est recommandé de choisir un nom de système de fichiers unique pour toutes les instances Managed Lustre du VPC. Cela permet d'utiliser plusieurs instances à partir d'un seul nœud GKE.

  • perUnitStorageThroughput correspond au débit maximal de l'instance en Mo/s par Tio. Les valeurs valides sont 125, 250, 500 et 1000. Le débit que vous choisissez a une incidence sur la capacité de stockage minimale et maximale de l'instance.

  • capacityGib correspond à la capacité de stockage de l'instance en gibioctets (Gio). Les valeurs autorisées dépendent du niveau de débit de stockage que vous spécifiez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  • network est le chemin d'accès complet au réseau VPC auquel appartient l'instance, au format projects/PROJECT_ID/global/networks/NETWORK. Consultez Configurer un réseau VPC.

Les champs suivants sont facultatifs :

  • kmsKey spécifie une clé de chiffrement gérée par le client avec laquelle chiffrer cette instance. Pour en savoir plus, consultez Clés de chiffrement gérées par le client pour Managed Lustre.

  • gkeSupportEnabled indique que cette instance peut être utilisée par les clusters Google Kubernetes Engine. Il définit le accept_port Lustre LNet sur 6988.

    Pour vous connecter à partir d'une VM Compute Engine lorsque gkeSupportEnabled est spécifié, vous devez mettre à jour le fichier de configuration LNet sur la VM. Consultez Configurer LNet pour les instances gke-support-enabled.

L'API est compatible avec des champs facultatifs supplémentaires pour les instances. Pour obtenir la liste complète et les descriptions, consultez la documentation de référence sur les ressources Instance.

Console Google Cloud

  1. Accédez à la page Managed Lustre dans la console Google Cloud .

    Accéder à Managed Lustre

  2. Cliquez sur Créer. La page Créer une instance s'affiche.

  3. Saisissez un nom d'instance unique et, éventuellement, une description. Le nom de l'instance est utilisé par Google Cloud pour identifier cette instance.

  4. Saisissez un nom de système de fichiers. Il s'agit du nom utilisé par les outils côté client tels que lfs. Il doit comporter huit caractères ou moins, ne peut contenir que des lettres et/ou des chiffres, et respecte la casse.

  5. Sélectionnez une région et une zone dans lesquelles créer cette instance. Vous devez placer votre instance dans la même région et la même zone que les VM Compute Engine ou les clusters Google Kubernetes Engine qui s'y connecteront.

  6. Sélectionnez le niveau de performances de cette instance.

  7. Spécifiez la capacité de stockage de votre instance en gibioctets (Gio). Les valeurs valides dépendent du niveau de débit de stockage que vous sélectionnez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  8. Dans la section Chiffrement, sélectionnez Clé de chiffrement gérée par Google ou Clé Cloud Key Management Service. Pour en savoir plus sur l'option de clé Cloud Key Management Service, consultez Clés de chiffrement gérées par le client pour Managed Lustre.

  9. Si vous souhaitez vous connecter à cette instance depuis un cluster GKE, sélectionnez Activer la compatibilité avec GKE. Cette option définit le port LNet Lustre accept_port sur 6988.

    Pour vous connecter à partir d'une VM Compute Engine lorsque l'option Activer la compatibilité avec GKE est spécifiée, vous devez mettre à jour le fichier de configuration LNet sur la VM. Consultez Configurer LNet pour les instances gke-support-enabled.

  10. Sélectionnez le réseau que vous avez créé dans Créer un réseau VPC.

La section Récapitulatif de la page est mise à jour pour afficher une estimation des coûts en fonction de vos sélections.

Cliquez sur Envoyer pour continuer. Le processus de création de l'instance prend entre 15 minutes et une heure, selon la capacité de l'instance.

Interroger l'état de la création d'une instance

Vous pouvez interroger l'état d'une requête de création à partir des interfaces suivantes.

gcloud

Pour interroger l'état d'une opération de création, vous pouvez obtenir l'opération ou l'instance.

Pour obtenir l'instance :

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

L'état de la création correspond à la valeur de state.

Pour obtenir l'opération, utilisez l'ID d'opération de la réponse de création de l'instance. L'ID de l'opération est au format suivant :

  • operation-1234567890123-6127783ad26ea-88913969-02748053
gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

L'état de la création correspond à la valeur de done.

Une fois l'instance créée, le résultat d'une requête GET sur l'instance est semblable à la réponse suivante.

Notez l'adresse IP dans le champ mountPoint et le nom de votre système de fichiers. Vous aurez besoin de ces valeurs lorsque vous monterez votre instance.

capacityGib: '27000'
createTime: '2025-03-14T00:07:34.308574307Z'
filesystem: lustre-fs
mountPoint: 10.115.0.3@tcp:/testfs
name: projects/$PROJECT/locations/us-central1-a/instances/$INSTANCE_NAME
network: projects/$PROJECT/global/networks/default
state: ACTIVE
updateTime: '2025-03-14T00:15:37.101024263Z'

REST

Pour interroger l'état d'une opération de création, utilisez l'ID d'opération de la réponse. L'ID de l'opération est au format suivant :

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Envoyez une requête au point de terminaison suivant :

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Si elle aboutit, le corps de la réponse contient une instance d'Operation.

Console Google Cloud

  1. Accédez à la page Managed Lustre dans la console Google Cloud .

    Accéder à Managed Lustre

  2. Cliquez sur le nom de l'instance dans la liste. La page Détails de l'instance s'affiche. Elle inclut l'état actuel de votre demande de création d'instance.

Étapes suivantes