Créer une instance Managed Lustre

Une instance Google Cloud Managed Lustre est un système de fichiers Lustre complet dans le cloud. Elle peut être montée sur une VM Compute Engine ou sur un cluster Google Kubernetes Engine (GKE). Vous accédez aux données de l'instance à l'aide de la terminologie POSIX standard.

Lorsque vous créez une instance Managed Lustre, vous devez définir les propriétés suivantes :

  • Nom de l'instance, utilisé par Google Cloud.
  • Nom du système de fichiers, utilisé par les outils côté client tels que lfs.
  • Capacité de stockage en gibioctets (Gio). La capacité peut aller de 9 000 Gio à 84 016 000 Gio (80,1 Pio). La taille maximale d'une instance dépend de son niveau de performances.
  • Niveau de performances. Managed Lustre propose des niveaux de performances allant de 125 Mo/s par Tio à 1 000 Mo/s par Tio, ainsi qu'un niveau dynamique qui optimise les performances en fonction des modèles d'accès aux données, avec un débit agrégé de 25 Mo/s par Tio.
  • Emplacement. Pour des performances optimales, placez votre instance dans la même zone que vos VM clientes ou votre cluster GKE.
  • Réseau VPC pour cette instance. Il doit s'agir du même réseau que celui utilisé pour vos VM ou clusters.

Niveaux de performances et capacités de stockage maximales

Managed Lustre propose quatre niveaux de performances définis et un niveau dynamique. Les niveaux de performances affectent la taille minimale et maximale de l'instance, ainsi que la taille d'incrément entre les valeurs de capacité acceptables. Vous ne pouvez pas modifier le niveau de performances d'une instance après sa création.

Pour en savoir plus, consultez la section Niveaux de performances.

Vous pouvez augmenter la capacité de stockage d'une instance après sa création, jusqu'à la valeur maximale autorisée pour son niveau de performances et sa taille de pas.

Calculateur de capacité

Sélectionnez un niveau de performances et saisissez la capacité cible pour trouver la taille valide la plus proche. Les tailles valides sont arrondies en fonction de la taille minimale et de la taille d'incrément du niveau.

Quota de capacité de stockage

Le quota de capacité de stockage disponible dépend de nombreux facteurs, y compris l'emplacement de votre instance et le niveau de performances demandé.

Votre quota de capacité de stockage par défaut est par réseau de cloud privé virtuel (VPC) et par zone, et il est partagé entre tous les niveaux de performances. L'utilisation de la capacité dans un niveau réduit le quota de capacité de stockage disponible dans les autres niveaux.

Consultez la section Quotas et limites pour en savoir plus.

Autorisations requises

Pour créer une instance Managed Lustre, vous devez disposer des autorisations IAM d'administrateur Managed Lustre (roles/lustre.admin) pour votre projet.

Pour en savoir plus, consultez la section Contrôle des accès avec IAM.

Vous devez également avoir activé l'API Managed Lustre.

Créer une instance

Vous pouvez créer une instance Managed Lustre à partir des interfaces suivantes.

gcloud

Pour créer une instance Managed Lustre, utilisez la gcloud lustre instances create commande :

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Les valeurs suivantes doivent être spécifiées :

  • INSTANCE_ID est le nom de cette instance Managed Lustre. Il doit :

    • ne contenir que des lettres minuscules, des chiffres et des traits d'union ;
    • commencer par une lettre ;
    • comporter entre 1 et 63 caractères ;
    • se terminer par un chiffre ou une lettre ;
    • être unique dans le projet et l'emplacement.

  • --per-unit-storage-throughput correspond au débit maximal de l'instance en Mo/s par Tio. Les valeurs valides sont 0, 125, 250, 500 et 1000. Le débit que vous choisissez affecte la capacité de stockage minimale et maximale de l'instance.

    Pour spécifier le niveau dynamique, définissez cette valeur sur 0 et incluez l'option --dynamic-tier-options-mode=DEFAULT_CACHE Exemple :

    gcloud lustre instances create my-dynamic-tier-instance \
  --per-unit-storage-throughput=0 \
  --dynamic-tier-options-mode=DEFAULT_CACHE \
  ...

  • --capacity-gib correspond à la capacité de stockage de l'instance en gibioctets (Gio). Les valeurs autorisées dépendent du niveau de débit de stockage que vous spécifiez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  • --filesystem correspond au nom à attribuer à ce système de fichiers Lustre. Ce nom est utilisé par les commandes côté client, y compris mount et lfs. Il doit comporter au maximum huit caractères, ne contenir que des lettres et/ou des chiffres, et respecter la casse.

    Nous vous recommandons de choisir un nom unique pour toutes les instances Managed Lustre du VPC. Cela permet d'utiliser plusieurs instances à partir d'un seul nœud GKE.

  • --location doit être une Google Cloud zone valide compatible avec Managed Lustre. Pour obtenir la liste complète, consultez la section Emplacements compatibles.

  • --network correspond au chemin d'accès complet du réseau VPC auquel l'instance appartient, au format projects/PROJECT_ID/global/networks/NETWORK. Consultez la section Configurer un réseau VPC.

  • --project correspond à votre Google Cloud ID de projet.

Les options facultatives sont les suivantes :

  • --dynamic-tier-options-mode spécifie le niveau dynamique pour cette instance. Définissez la valeur de cette option sur DEFAULT_CACHE et définissez --per-unit-storage-throughput=0 pour activer le niveau dynamique.

  • --kms-key-name spécifie une clé de chiffrement gérée par le client avec laquelle chiffrer cette instance. Pour en savoir plus, consultez la section Clés de chiffrement gérées par le client pour Managed Lustre.

  • --async (facultatif) exécute la commande de manière asynchrone. Au lieu d'attendre la fin de la création de l'instance, Google Cloud CLI renvoie un ID d'opération qui peut être utilisé pour interroger l'état de la commande.

Si la requête aboutit, elle renvoie un ID d'opération :

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

La création d'une instance prend environ 15 minutes pour une instance d'une capacité de 9 000 Gio, et jusqu'à plusieurs heures pour une instance d'une capacité de 84 016 000 Gio (80,1 Pio). Pour savoir comment vérifier l'état de votre requête, consultez la section Interroger l'état de la création d'une instance.

REST

Pour créer une instance à l'aide de l'API REST, envoyez une requête au point de terminaison suivant :

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string
}

Les valeurs suivantes doivent être spécifiées :

  • PROJECT_ID correspond à votre Google Cloud ID de projet.

  • ZONE doit être une Google Cloud zone valide compatible avec Managed Lustre. Pour obtenir la liste complète, consultez la section Emplacements compatibles.

  • INSTANCE_ID est le nom de cette instance Managed Lustre. Il doit :

    • ne contenir que des lettres minuscules, des chiffres et des traits d'union ;
    • commencer par une lettre ;
    • comporter entre 1 et 63 caractères ;
    • se terminer par un chiffre ou une lettre ;
    • être unique dans le projet et l'emplacement.

  • filesystem correspond au nom à attribuer à ce système de fichiers Lustre. Ce nom est utilisé par les commandes côté client, y compris mount et lfs. Il doit comporter au maximum huit caractères, ne contenir que des lettres et/ou des chiffres, et respecter la casse.

    Nous vous recommandons de choisir un nom de système de fichiers unique pour toutes les instances Managed Lustre du VPC. Cela permet d'utiliser plusieurs instances à partir d'un seul nœud GKE.

  • perUnitStorageThroughput correspond au débit maximal de l'instance en Mo/s par Tio. Les valeurs valides sont 0, 125, 250, 500 et 1000. Le débit que vous choisissez affecte la capacité de stockage minimale et maximale de l'instance.

    Pour spécifier le niveau dynamique, définissez cette valeur sur 0 et incluez l'objet dynamicTierOptions. Exemple :

    "perUnitStorageThroughput": 0,
"dynamicTierOptions": {
  "mode": "DEFAULT_CACHE"
}

  • capacityGib correspond à la capacité de stockage de l'instance en gibioctets (Gio). Les valeurs autorisées dépendent du niveau de débit de stockage que vous spécifiez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  • network correspond au chemin d'accès complet du réseau VPC auquel appartient l'instance, au format projects/PROJECT_ID/global/networks/NETWORK. Consultez la section Configurer un réseau VPC.

Les champs suivants sont facultatifs :

  • dynamicTierOptions active le niveau dynamique pour cette instance. Le champ mode de l'objet dynamicTierOptions doit être défini sur DEFAULT_CACHE et perUnitStorageThroughput doit être défini sur 0 pour activer le niveau dynamique.

  • kmsKey spécifie une clé de chiffrement gérée par le client avec laquelle chiffrer cette instance. Pour en savoir plus, consultez la section Clés de chiffrement gérées par le client pour Managed Lustre.

L'API accepte des champs facultatifs supplémentaires pour les instances. Pour obtenir la liste complète et les descriptions, consultez la documentation de référence sur la Instance ressource.

Google Cloud Console

  1. Accédez à la page Managed Lustre dans la Google Cloud console.

    Accéder à Managed Lustre

  2. Cliquez sur Créer. La page Créer une instance s'affiche.

  3. Saisissez un Nom d'instance unique et, éventuellement, une description. Le nom de l'instance est utilisé par Google Cloud pour identifier cette instance.

  4. Saisissez un nom de système de fichiers. Il s'agit du nom utilisé par les outils côté client tels que lfs. Il doit comporter au maximum huit caractères, ne contenir que des lettres et/ou des chiffres, et respecter la casse.

  5. Sélectionnez une région et une zone dans lesquelles créer cette instance. Vous devez placer votre instance dans la même région et la même zone que les VM Compute Engine ou les clusters Google Kubernetes Engine qui s'y connecteront.

  6. Sélectionnez le niveau de performances pour cette instance.

  7. Spécifiez la capacité de stockage de votre instance en gibioctets (Gio). Les valeurs valides dépendent du niveau de débit de stockage que vous sélectionnez. Pour en savoir plus, consultez la section Niveaux de performances et capacités de stockage maximales.

  8. Dans la section Chiffrement, sélectionnez Clé de chiffrement gérée par Google ou Clé Cloud Key Management Service. Pour en savoir plus sur l'option de clé Cloud Key Management Service, consultez la section Clés de chiffrement gérées par le client pour Managed Lustre.

  9. Sélectionnez le réseau que vous avez créé dans la section Créer un réseau VPC.

La section Résumé de la page est mise à jour pour afficher une estimation des coûts en fonction de vos sélections.

Cliquez sur Envoyer pour continuer. Le processus de création de l'instance prend entre 15 minutes et une heure, selon la capacité de l'instance.

Interroger l'état de la création d'une instance

Vous pouvez interroger l'état d'une requête de création à partir des interfaces suivantes.

gcloud

Pour interroger l'état d'une opération de création, vous pouvez obtenir l'opération ou l'instance.

Pour obtenir l'instance :

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

L'état de la création correspond à la valeur de state.

Pour obtenir l'opération, utilisez l'ID d'opération de la réponse de création de l'instance. L'ID d'opération est au format suivant :

  • operation-1234567890123-6127783ad26ea-88913969-02748053
gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

L'état de la création correspond à la valeur de done.

Une fois l'instance créée, le résultat d'une requête get sur l'instance est semblable à la réponse suivante.

Notez l'adresse IP dans le champ mountPoint et le nom de votre système de fichiers. Vous aurez besoin de ces valeurs lors du montage de votre instance.

capacityGib: '27000'
createTime: '2025-03-14T00:07:34.308574307Z'
filesystem: lustre-fs
mountPoint: 10.115.0.3@tcp:/testfs
name: projects/$PROJECT/locations/us-central1-a/instances/$INSTANCE_NAME
network: projects/$PROJECT/global/networks/default
state: ACTIVE
updateTime: '2025-03-14T00:15:37.101024263Z'

REST

Pour interroger l'état d'une opération de création, utilisez l'ID d'opération de la réponse. L'ID d'opération est au format suivant :

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Envoyez une requête au point de terminaison suivant :

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Si elle aboutit, le corps de la réponse contient une instance de Operation.

Google Cloud Console

  1. Accédez à la page Managed Lustre dans la Google Cloud console.

    Accéder à Managed Lustre

  2. Cliquez sur le nom de l'instance dans la liste. La page Détails de l'instance s'affiche et inclut l'état actuel de votre demande de création d'instance.

Étape suivante