Criar uma instância do Managed Lustre

Uma instância do Google Cloud Managed Lustre é um sistema de arquivos Lustre completo na nuvem. Ele pode ser montado em uma VM do Compute Engine ou em um cluster do Kubernetes Engine. Você acessa os dados na instância usando a terminologia POSIX padrão.

Ao criar uma instância gerenciada do Lustre, é necessário definir as seguintes propriedades:

  • O nome da instância, usado por Google Cloud.
  • O nome do sistema de arquivos usado por ferramentas do lado do cliente, como lfs.
  • A capacidade de armazenamento em gibibytes (GiB). A capacidade pode variar de 9.000 GiB a 12.240.000 GiB (11,67 PiB). O tamanho máximo de uma instância depende do nível de desempenho dela.
  • O nível de desempenho. O Managed Lustre oferece níveis de desempenho que variam de 125 MBps por TiB a 1.000 MBps por TiB.
  • O local. Para ter o melhor desempenho, localize sua instância na mesma zona que as VMs clientes ou o cluster do GKE.
  • A rede VPC para esta instância. Ela precisa ser a mesma rede usada para suas VMs ou clusters.
  • Se esta instância será acessada de um cluster do Kubernetes Engine (GKE). Como o Lustre e o GKE usam a porta 988 por padrão, essa configuração muda a porta do Lustre para evitar conflitos.

Níveis de desempenho e capacidades máximas de armazenamento

O Managed Lustre oferece quatro níveis de performance, cada um com uma velocidade máxima de capacidade de processamento diferente por TiB. Os níveis de performance também afetam o tamanho mínimo e máximo da instância e o tamanho da etapa entre os valores de capacidade aceitáveis.

Nível Capacidade mínima Capacidade máxima Taxa de aprendizado
125 MBps por TiB 72.000 GiB 12.240.000 GiB (11,67 PiB) 72.000 GiB
250 MBps por TiB 36.000 GiB 6.120.000 GiB (5,84 PiB) 36.000 GiB
500 MBps por TiB 18.000 GiB 3.060.000 GiB (2,92 PiB) 18.000 GiB
1.000 MBps por TiB 9.000 GiB 1.530.000 GiB (1,46 PiB) 9.000 GiB

Não é possível mudar o nível de performance de uma instância depois que ela é criada.

Permissões necessárias

Para criar uma instância do Managed Lustre, você precisa ter permissões de administrador do Managed Lustre (roles/lustre.admin) do IAM para seu projeto.

Consulte Controle de acesso com o IAM para mais detalhes.

Você também precisa ter ativado a API Managed Lustre.

Criar uma instância

É possível criar uma instância do Managed Lustre nas seguintes interfaces:

gcloud

Para criar uma instância gerenciada do Lustre, use o comando gcloud lustre instances create:

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Os seguintes valores precisam ser especificados:

  • INSTANCE_ID é o nome dessa instância do Managed Lustre. Ela precisa:

    • Ter somente letras minúsculas, números e hifens.
    • Comece com uma letra.
    • Ter entre 1 e 63 caracteres.
    • Termine com um número ou uma letra.
    • Ser exclusivo no projeto e no local.

  • --per-unit-storage-throughput é a capacidade máxima de processamento da instância em MBps por TiB. Os valores válidos são: 125, 250, 500 e 1000. A escolha da taxa de transferência afeta a capacidade mínima e máxima de armazenamento da instância.

  • --capacity-gib é a capacidade de armazenamento da instância em gibibytes (GiB). Os valores permitidos dependem da camada de capacidade de transferência de armazenamento especificada. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  • --filesystem é o nome a ser atribuído a esse sistema de arquivos Lustre. Esse nome é usado por comandos do lado do cliente, incluindo mount e lfs. Ele precisa ter até oito caracteres, conter apenas letras e/ou números e diferenciar maiúsculas de minúsculas.

    Recomendamos escolher um nome exclusivo em todas as instâncias do Managed Lustre na VPC. Isso permite que várias instâncias sejam usadas em um único nó do GKE.

  • --location precisa ser uma Google Cloud zona válida compatível com o Lustre gerenciado. Consulte Locais compatíveis para ver uma lista completa.

  • --network é o caminho completo da rede VPC a que a instância pertence, no formato projects/PROJECT_ID/global/networks/NETWORK. Consulte Configurar uma rede VPC.

  • --project é o ID do projeto Google Cloud .

As flags opcionais são:

  • --kms-key-name especifica uma chave de criptografia gerenciada pelo cliente para criptografar esta instância. Consulte Chaves de criptografia gerenciadas pelo cliente para o Lustre gerenciado para mais detalhes.

  • O --gke-support-enabled cria uma instância que pode ser usada por clusters do Google Kubernetes Engine. Ele define o LNet accept_port do Lustre como 6988.

    Para se conectar de uma VM do Compute Engine quando --gke-support-enabled é especificado, atualize o arquivo de configuração do LNet na VM. Consulte Configurar LNet para instâncias gke-support-enabled.

  • --async (opcional) executa o comando de forma assíncrona. Em vez de esperar a conclusão da criação da instância, a Google Cloud CLI retorna um ID de operação que pode ser usado para consultar o status do comando.

Uma solicitação bem-sucedida retorna um ID de operação:

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

A criação de uma instância leva aproximadamente 15 minutos para uma instância com capacidade de 9.000 GiB e até uma hora para uma instância com capacidade de 12.240.000 GiB (11,67 PiB). Consulte Consultar o status da criação da instância para instruções sobre como verificar o status da sua solicitação.

REST

Para criar uma instância usando a API REST, envie uma solicitação para o seguinte endpoint:

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string,
  "gkeSupportEnabled": boolean
}

Os seguintes valores precisam ser especificados:

  • PROJECT_ID é o ID do projeto Google Cloud .

  • ZONE precisa ser uma Google Cloud zona válida compatível com o Lustre gerenciado. Consulte Locais compatíveis para ver uma lista completa.

  • INSTANCE_ID é o nome da instância do Lustre gerenciado. Ela precisa:

    • Ter somente letras minúsculas, números e hifens.
    • Comece com uma letra.
    • Ter entre 1 e 63 caracteres.
    • Termine com um número ou uma letra.
    • Ser exclusivo no projeto e no local.

  • filesystem é o nome a ser atribuído a esse sistema de arquivos Lustre. Esse nome é usado por comandos do lado do cliente, incluindo mount e lfs. Ele precisa ter até oito caracteres, conter apenas letras e/ou números e diferenciar maiúsculas de minúsculas.

    Recomendamos escolher um nome de sistema de arquivos exclusivo em todas as instâncias do Managed Lustre na VPC. Isso permite que várias instâncias sejam usadas em um único nó do GKE.

  • perUnitStorageThroughput é a capacidade máxima de processamento da instância em MBps por TiB. Os valores válidos são: 125, 250, 500 e 1000. A escolha da taxa de transferência afeta a capacidade mínima e máxima de armazenamento da instância.

  • capacityGib é a capacidade de armazenamento da instância em gibibytes (GiB). Os valores permitidos dependem da camada de capacidade de transferência de armazenamento especificada. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  • network é o caminho completo da rede VPC a que a instância pertence, no formato projects/PROJECT_ID/global/networks/NETWORK. Consulte Configurar uma rede VPC.

Os seguintes campos são opcionais:

A API é compatível com outros campos opcionais para instâncias. Consulte a documentação de referência do recurso Instance para ver uma lista completa e descrições.

Console do Google Cloud

  1. Acesse a página Lustre gerenciado no console do Google Cloud .

    Acessar o Managed Lustre

  2. Clique em Criar. A página Criar uma instância é exibida.

  3. Insira um Nome da instância exclusivo e, se quiser, uma descrição. O nome da instância é usado pelo Google Cloud para identificar essa instância.

  4. Insira um nome de sistema de arquivos. Esse é o nome usado por ferramentas do lado do cliente, como lfs. Ele precisa ter até oito caracteres, conter apenas letras e/ou números e diferenciar maiúsculas de minúsculas.

  5. Selecione uma região e uma zona para criar a instância. Coloque a instância na mesma região e zona que as VMs do Compute Engine ou os clusters do Google Kubernetes Engine que se conectarão a ela.

  6. Selecione o nível de desempenho para esta instância.

  7. Especifique a capacidade de armazenamento em gibibytes (GiB) da sua instância. Os valores válidos dependem do nível de capacidade de transferência de armazenamento selecionado. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  8. Na seção Criptografia, selecione Chave de criptografia gerenciada pelo Google ou Chave do Cloud Key Management Service. Para informações sobre a opção de chave do Cloud Key Management Service, consulte Chaves de criptografia gerenciadas pelo cliente para o Lustre gerenciado.

  9. Se você se conectar a essa instância de um cluster do GKE, selecione Ativar suporte do GKE. Essa opção define o Lustre LNet accept_port como 6988.

    Para se conectar de uma VM do Compute Engine quando a opção Ativar suporte do GKE estiver especificada, atualize o arquivo de configuração do LNet na VM. Consulte Configurar LNet para instâncias gke-support-enabled.

  10. Selecione a rede que você criou em Criar uma rede VPC.

A seção Resumo da página é atualizada para mostrar uma estimativa de custo com base nas suas seleções.

Clique em Enviar para continuar. O processo de criação da instância leva de 15 minutos a uma hora, dependendo da capacidade dela.

Consultar o status da criação da instância

É possível consultar o status de uma solicitação de criação nas seguintes interfaces.

gcloud

Para consultar o status de uma operação de criação, é possível receber a operação ou a instância.

Para receber a instância:

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

O status de criação é o valor de state.

Para receber a operação, use o ID da operação da resposta de criação da instância. O ID da operação tem o seguinte formato:

  • operation-1234567890123-6127783ad26ea-88913969-02748053
gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

O status de criação é o valor de done.

Quando a instância for criada, o resultado de uma solicitação GET nela será semelhante à resposta a seguir.

Anote o endereço IP no campo mountPoint e o nome do sistema de arquivos. Você vai precisar desses valores ao montar a instância.

capacityGib: '27000'
createTime: '2025-03-14T00:07:34.308574307Z'
filesystem: lustre-fs
mountPoint: 10.115.0.3@tcp:/testfs
name: projects/$PROJECT/locations/us-central1-a/instances/$INSTANCE_NAME
network: projects/$PROJECT/global/networks/default
state: ACTIVE
updateTime: '2025-03-14T00:15:37.101024263Z'

REST

Para consultar o status de uma operação de criação, use o ID da operação da resposta. O ID da operação tem o seguinte formato:

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Envie uma solicitação para o seguinte endpoint:

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Se a solicitação for bem-sucedida, o corpo da resposta conterá uma instância de Operation.

Console do Google Cloud

  1. Acesse a página Lustre gerenciado no console do Google Cloud .

    Acessar o Managed Lustre

  2. Clique no nome da instância na lista. A página Detalhes da instância aparece, incluindo o status atual da sua solicitação de criação de instância.

A seguir