Criar uma instância do Managed Lustre

Uma instância do Google Cloud Managed Lustre é um sistema de arquivos Lustre completo na nuvem. Ele pode ser montado em uma VM do Compute Engine ou em um cluster do Google Kubernetes Engine (GKE). Você acessa os dados na instância usando a terminologia padrão do POSIX.

Ao criar uma instância do Managed Lustre, é necessário definir as seguintes propriedades:

  • O nome da instância, usado por Google Cloud.
  • O nome do sistema de arquivos, usado por ferramentas do lado do cliente, como lfs.
  • A capacidade de armazenamento em gibibytes (GiB). A capacidade pode variar de 9.000 GiB a 84.016.000 GiB (80,1 PiB). O tamanho máximo de uma instância depende do nível de desempenho dela.
  • O nível de desempenho. O Managed Lustre oferece níveis de desempenho que variam de 125 MBps por TiB a 1.000 MBps por TiB, além de um nível dinâmico que otimiza o desempenho com base em padrões de acesso a dados, com uma capacidade de processamento agregada de 25 MBps por TiB.
  • O local. Para um melhor desempenho, localize a instância na mesma zona das VMs do cliente ou do cluster do GKE.
  • A rede VPC desta instância. Essa precisa ser a mesma rede usada para as VMs ou os clusters.

Níveis de desempenho e capacidades máximas de armazenamento

O Managed Lustre oferece quatro níveis de desempenho definidos e um nível dinâmico. Os níveis de desempenho afetam o tamanho mínimo e máximo da instância e a taxa de aprendizado entre os valores de capacidade aceitáveis. Não é possível alterar o nível de desempenho de uma instância depois que ela é criada.

Consulte Níveis de desempenho para mais detalhes.

É possível aumentar a capacidade de armazenamento de uma instância depois que ela é criada, até o valor máximo permitido para o nível de desempenho e a taxa de aprendizado.

Calculadora de capacidade

Selecione um nível de desempenho e insira a capacidade desejada para encontrar o tamanho válido mais próximo. Os tamanhos válidos são arredondados para cima com base no mínimo e no tamanho do incremento do nível.

Cotas

Seu projeto tem cotas de capacidade de processamento e capacidade que são consumidas quando você cria uma instância. Se você não tiver cota suficiente na zona da instância e na rede VPC para o tamanho da instância e o nível de desempenho selecionados, a solicitação de criação vai falhar. Para mais informações, consulte Cotas e limites.

Permissões necessárias

Para criar uma nova instância do Managed Lustre, é preciso ter permissões de IAM de administrador do Managed Lustre (roles/lustre.admin) para seu projeto.

Veja mais detalhes em Controle de acesso com o IAM.

Você também precisa ter ativado a API Managed Lustre.

Criar uma instância

É possível criar uma nova instância do Managed Lustre usando as seguintes interfaces.

gcloud

Para criar uma nova instância do Managed Lustre, use o comando gcloud lustre instances create:

gcloud lustre instances create INSTANCE_ID \
  --per-unit-storage-throughput=PER_UNIT_STORAGE_THROUGHPUT \
  --capacity-gib=CAPACITY_GIB \
  --filesystem=FILESYSTEM \
  --location=LOCATION \
  --network=NETWORK_PATH

Os seguintes valores precisam ser especificados:

  • INSTANCE_ID é o nome da instância do Managed Lustre. Essa solução precisa:

    • Conter apenas letras minúsculas, números e hifens.
    • Comece com uma letra.
    • Ter entre 1 e 63 caracteres.
    • Terminar com um número ou uma letra.
    • Ser exclusivo no projeto e no local.

  • --per-unit-storage-throughput é a capacidade máxima de processamento da instância em MBps por TiB. Os valores válidos são 0, 125, 250, 500 e 1000. A escolha da capacidade afeta a capacidade de armazenamento mínima e máxima da instância.

    Para especificar o nível dinâmico, defina como 0 e inclua a flag --dynamic-tier-options-mode=DEFAULT_CACHE. Exemplo:

    gcloud lustre instances create my-dynamic-tier-instance \
  --per-unit-storage-throughput=0 \
  --dynamic-tier-options-mode=DEFAULT_CACHE \
  ...

  • --capacity-gib é a capacidade de armazenamento da instância em gibibytes (GiB). Os valores permitidos dependem do nível de capacidade de armazenamento que você especificar. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  • --filesystem é o nome a ser atribuído a esse sistema de arquivos do Lustre. Esse nome é usado por comandos do lado do cliente, incluindo mount e lfs. Ele precisa ter até 8 caracteres, conter apenas letras e/ou números e diferenciar maiúsculas de minúsculas.

    É recomendável escolher um nome exclusivo para todas as instâncias do Managed Lustre na VPC. Isso permite que várias instâncias sejam usadas em um único nó do GKE.

  • --location precisa ser uma zona do Google Cloud válida e compatível com o Managed Lustre. Consulte Locais compatíveis para ver uma lista completa.

  • --network é o caminho completo da rede VPC a que a instância pertence, no formato projects/PROJECT_ID/global/networks/NETWORK. Consulte Configurar uma rede VPC.

  • --project é o ID do projeto do Google Cloud .

As sinalizações opcionais são as seguintes:

  • --dynamic-tier-options-mode especifica o nível dinâmico para essa instância. Defina o valor dessa flag como DEFAULT_CACHE e defina --per-unit-storage-throughput=0 para ativar o nível dinâmico.

  • --kms-key-name especifica uma chave de criptografia gerenciada pelo cliente para criptografar essa instância. Consulte Chaves de criptografia gerenciadas pelo cliente para o Managed Lustre para mais detalhes.

  • --maintenance-policy-weekly-windows e --maintenance-policy-exclusion-window definem políticas de manutenção para essa instância. Consulte Eventos e políticas de manutenção para mais detalhes.

  • --async (opcional) executa o comando de maneira assíncrona. Em vez de esperar que a criação da instância seja concluída, a Google Cloud CLI retorna um ID de operação que pode ser usado para consultar o status do comando.

Uma solicitação bem-sucedida retorna um ID de operação:

Create request issued for: [$INSTANCE_ID]
Waiting for operation [projects/$PROJECT_ID/locations/us-central1-a/operations/
operation-1234567890-609d21deae6f0-befaf0bc-867b1aa1] to complete...

A criação de uma instância com capacidade de 9.000 GiB leva aproximadamente 15 minutos, e pode levar várias horas para uma instância com capacidade de 84.016.000 GiB (80,1 PiB). Consulte Consultar o status de criação da instância para saber como verificar o status da sua solicitação.

REST

Para criar uma instância usando a API REST, envie uma solicitação para o seguinte endpoint:

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances?instanceId=INSTANCE_ID
Authorization: Bearer AUTH_TOKEN
{
  "filesystem": string,
  "perUnitStorageThroughput": int64,
  "capacityGib": int64,
  "network": string
}

Os seguintes valores precisam ser especificados:

  • PROJECT_ID é o ID do projeto do Google Cloud .

  • ZONE precisa ser uma zona do Google Cloud válida e compatível com o Managed Lustre. Consulte Locais compatíveis para ver uma lista completa.

  • INSTANCE_ID é o nome da instância do Managed Lustre. Essa solução precisa:

    • Conter apenas letras minúsculas, números e hifens.
    • Comece com uma letra.
    • Ter entre 1 e 63 caracteres.
    • Terminar com um número ou uma letra.
    • Ser exclusivo no projeto e no local.

  • filesystem é o nome a ser atribuído a esse sistema de arquivos do Lustre. Esse nome é usado por comandos do lado do cliente, incluindo mount e lfs. Ele precisa ter até 8 caracteres, pode conter apenas letras e/ou números e diferencia maiúsculas de minúsculas.

    Recomendamos escolher um nome de sistema de arquivos que seja exclusivo em todas as instâncias do Managed Lustre na VPC. Isso permite que várias instâncias sejam usadas em um único nó do GKE.

  • perUnitStorageThroughput é a capacidade máxima de processamento da instância em MBps por TiB. Os valores válidos são 0, 125, 250, 500 e 1000. A escolha da capacidade afeta a capacidade de armazenamento mínima e máxima da instância.

    Para especificar o nível dinâmico, defina como 0 e inclua o objeto dynamicTierOptions. Exemplo:

    "perUnitStorageThroughput": 0,
"dynamicTierOptions": {
  "mode": "DEFAULT_CACHE"
}

  • capacityGib é a capacidade de armazenamento da instância em gibibytes (GiB). Os valores permitidos dependem do nível de capacidade de armazenamento que você especificar. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  • network é o caminho completo da rede VPC a que a instância pertence, no formato projects/PROJECT_ID/global/networks/NETWORK. Consulte Configurar uma rede VPC.

Os seguintes campos são opcionais:

  • dynamicTierOptions ativa o nível dinâmico para essa instância. O campo mode no objeto dynamicTierOptions precisa ser definido como DEFAULT_CACHE, e perUnitStorageThroughput precisa ser 0 para ativar o nível dinâmico.

  • kmsKey especifica uma chave de criptografia gerenciada pelo cliente para criptografar essa instância. Consulte Chaves de criptografia gerenciadas pelo cliente para o Managed Lustre para mais detalhes.

A API é compatível com outros campos opcionais para instâncias. Consulte a documentação de referência de recursos do Instance para ver uma lista completa e descrições.

Console do Google Cloud

  1. Acesse a página Lustre gerenciado no console do Google Cloud .

    Acessar o Managed Lustre

  2. Clique em Criar. A página Criar uma instância é exibida.

  3. Insira um Nome da instância exclusivo e, se quiser, uma descrição. O nome da instância é usado pelo Google Cloud para identificar essa instância.

  4. Insira um nome para o Sistema de arquivos. Esse é o nome usado por ferramentas do lado do cliente, como lfs. Ele precisa ter até 8 caracteres, pode conter apenas letras e/ou números e diferencia maiúsculas de minúsculas.

  5. Selecione uma região e uma zona para criar essa instância. Coloque sua instância na mesma região e zona que as VMs do Compute Engine ou os clusters do Google Kubernetes Engine que se conectarão a ela.

  6. Selecione o nível de desempenho para esta instância.

  7. Especifique a capacidade de armazenamento em gibibytes (GiB) da instância. Os valores válidos dependem do nível de capacidade de armazenamento selecionado. Consulte a seção Níveis de desempenho e capacidades máximas de armazenamento para mais detalhes.

  8. Na seção Criptografia, selecione Chave de criptografia gerenciada pelo Google ou Chave do Cloud Key Management Service. Para informações sobre a opção de chave do Cloud Key Management Service, consulte Chaves de criptografia gerenciadas pelo cliente para o Managed Lustre.

  9. Opcional: para controlar quando a manutenção pode ocorrer nessa instância, expanda a seção Política de manutenção e configure uma janela de manutenção ou de exclusão. Consulte Eventos e políticas de manutenção para mais detalhes.

  10. Selecione a Rede que você criou em Criar uma rede VPC.

A seção Resumo da página é atualizada para mostrar uma estimativa de custo com base nas suas seleções.

Clique em Enviar para continuar. O processo de criação da instância leva de 15 minutos a uma hora, dependendo da capacidade da instância.

Consultar o status de criação da instância

É possível consultar o status de uma solicitação de criação nas seguintes interfaces.

gcloud

Para consultar o status de uma operação de criação, acesse a operação ou a instância.

Para acessar a instância:

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

O status da criação é o valor de state.

Para receber a operação, use o ID da operação da resposta de criação da instância. O ID da operação tem o seguinte formato:

  • operation-1234567890123-6127783ad26ea-88913969-02748053
gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

O status da criação é o valor de done.

Depois que a instância for criada, o resultado de uma solicitação GET na instância será semelhante à resposta a seguir.

Anote o endereço IP no campo mountPoint e o nome do sistema de arquivos. Você vai precisar desses valores ao montar a instância.

capacityGib: '27000'
createTime: '2025-03-14T00:07:34.308574307Z'
filesystem: lustre-fs
mountPoint: 10.115.0.3@tcp:/testfs
name: projects/$PROJECT/locations/us-central1-a/instances/$INSTANCE_NAME
network: projects/$PROJECT/global/networks/default
state: ACTIVE
updateTime: '2025-03-14T00:15:37.101024263Z'

REST

Para consultar o status de uma operação de criação, use o ID da operação da resposta. O ID da operação tem o seguinte formato:

  • operation-1234567890123-6127783ad26ea-88913969-02748053

Envie uma solicitação para o seguinte endpoint:

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Se a solicitação for bem-sucedida, o corpo da resposta conterá uma instância de Operation.

Console do Google Cloud

  1. Acesse a página Lustre gerenciado no console do Google Cloud .

    Acessar o Managed Lustre

  2. Clique no nome da instância na lista. A página Detalhes da instância é exibida, incluindo o status atual da solicitação de criação da instância.

Solução de problemas

Intervalo de endereços IP esgotado

Se a criação da instância falhar com um erro de intervalo de endereços IP esgotado:

FAILED_PRECONDITION: Invalid resource state for "NETWORK_RANGES_NOT_AVAILABLE": IP address range exhausted

ou

Private Service Access IP address range exhausted or does not exist.

Siga as instruções em Configurar o acesso a serviços particulares para modificar a conexão particular atual e adicionar intervalos de endereços IP.

Recomendamos um comprimento de prefixo de pelo menos /20 (4.096 endereços).

A rede não foi pareada

Se a criação da instância falhar com um erro de peering de rede:

INVALID_ARGUMENT: the network has not been peered with Google managed services.

Esse erro ocorre quando a rede VPC especificada em --network não foi conectada por peering com serviços gerenciados pelo Google usando o acesso a serviços particulares.

Para resolver esse problema, siga as instruções em Criar e configurar a VPC para alocar um intervalo de endereços IP e estabelecer a conexão de peering de VPC.

A seguir