Aumentar a capacidade de uma instância do Managed Lustre

É possível aumentar a capacidade de armazenamento da instância do Managed Lustre. A capacidade não pode ser reduzida.

Ao aumentar a capacidade de uma instância, é possível continuar usando-a enquanto a operação de atualização está em andamento.

Dica: se a instância estiver quase cheia e você estiver recebendo erros ENOSPC ("não há espaço restante no disco"), mesmo que as ferramentas de monitoramento mostrem capacidade restante, consulte Erros ENOSPC para estratégias de mitigação.

Limitações no aumento da capacidade

Para níveis de desempenho com duas taxas de aprendizado diferentes, a capacidade atual da instância determina o tamanho máximo possível.

Se a capacidade de uma instância estiver no limite da taxa de aprendizado ou abaixo dele, o tamanho dela poderá ser aumentado até o valor limite. Não é possível expandi-lo além desse limite.

Por exemplo, no nível de 250 MBps por TiB, o limite em que a taxa de aprendizado muda é de 10.224.000 GiB. Qualquer instância criada com uma capacidade igual ou inferior a esse limite só pode ser expandida até o limite de 10.224.000 GiB.

Calcular sua nova capacidade

É possível atualizar a capacidade de uma instância até o valor máximo permitido para o nível de desempenho e o tamanho da etapa. Estes são os valores:

Nível de desempenho	Capacidade mínima	Capacidade máxima	Taxa de aprendizagem
1.000 MBps por TiB	9.000 GiB	10.008.000 GiB (9,5 PiB)	Para capacidades de armazenamento de até 2.556.000 GiB: 9.000 GiB Para capacidades de armazenamento maiores: 72.000 GiB
500 MBps por TiB	18.000 GiB	20.016.000 GiB (19,1 PiB)	Para capacidades de armazenamento de até 5.112.000 GiB: 18.000 GiB Para capacidades de armazenamento maiores: 144.000 GiB
250 MBps por TiB	36.000 GiB	40.032.000 GiB (38,2 PiB)	Para capacidades de armazenamento de até 10.224.000 GiB: 36.000 GiB Para capacidades de armazenamento maiores: 288.000 GiB
125 MBps por TiB	72.000 GiB	20.448.000 GiB (19,5 PiB)	72.000 GiB
Dinâmico (25 MBps por TiB)	472.000 GiB	84.016.000 GiB (80,1 PiB)	472.000 GiB

A capacidade atualizada precisa ser um múltiplo da taxa de aprendizado e não pode exceder o máximo para essa taxa de aprendizado.

Seu projeto do Google Cloud tem cotas de capacidade de processamento e capacidade que afetam a capacidade disponível por rede de nuvem privada virtual (VPC) por zona. Talvez seja necessário solicitar uma cota extra de capacidade de processamento ou de capacidade antes de aumentar a capacidade da instância. Consulte Cotas e limites para mais detalhes.

Calculadora de capacidade

Use a calculadora a seguir para encontrar uma capacidade válida para o nível de desempenho selecionado.

Atualizar a capacidade da instância

Use o console do Google Cloud ou a Google Cloud CLI para atualizar a capacidade da instância.

Console do Google Cloud

1. Acesse a página Lustre gerenciado no console do Google Cloud .

   Acessar o Managed Lustre

2. Clique no Nome da instância que você quer atualizar. A página de visão geral da instância é exibida.

3. Clique em Editar.

4. Insira o novo valor da capacidade de armazenamento. O valor precisa ser igual ou menor que a capacidade máxima permitida e um múltiplo do tamanho da etapa. Consulte Calcular sua nova capacidade para ver esses valores.

5. Clique em Enviar.

gcloud

Use o comando gcloud lustre instances update para aumentar a capacidade de armazenamento da instância:

gcloud lustre instances update INSTANCE_NAME \
  --location=LOCATION \
  --capacity-gib=NEW_CAPACITY

Em que:

• INSTANCE_NAME é a instância a ser atualizada.
• LOCATION é a zona em que a instância reside.
• NEW_CAPACITY é a nova capacidade de armazenamento dessa instância em gibibytes (GiB). O valor não pode exceder a capacidade máxima permitida e precisa ser um múltiplo da taxa de aprendizado. Consulte Calcular sua nova capacidade para esses valores.

REST

Para atualizar uma instância usando a API REST, envie uma solicitação PATCH para o endpoint específico dela:

PATCH https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances/INSTANCE_NAME?updateMask=capacityGib
Authorization: Bearer [YOUR_ACCESS_TOKEN]

{
  "capacityGib": NEW_CAPACITY
}

Em que os seguintes valores precisam ser especificados:

• PROJECT_ID é o ID do projeto do Google Cloud .
• ZONE é a zona Google Cloud da instância.
• INSTANCE_NAME é o nome da instância do Managed Lustre a ser atualizada.
• updateMask=capacityGib especifica o campo a ser atualizado. Um campo só será substituído se estiver na máscara.
• NEW_CAPACITY é a nova capacidade de armazenamento dessa instância em gibibytes (GiB). O valor não pode exceder a capacidade máxima permitida e precisa ser um múltiplo da taxa de aprendizado. Consulte Calcular sua nova capacidade para esses valores.

Consulte a referência da API instances.patch para mais detalhes.

Depois que a solicitação de atualização for enviada, o Managed Lustre vai verificar sua cota disponível. Se houver cota suficiente, a capacidade da instância será aumentada ao longo de um período, dependendo da mudança de tamanho. Os aumentos podem levar de 20 minutos a uma hora ou mais.

Você pode continuar usando a instância durante a operação de atualização.

Ver status da atualização

É possível conferir o status de uma solicitação de atualização nas interfaces a seguir.

Console do Google Cloud

1. Acesse a página Lustre gerenciado no console do Google Cloud .

   Acessar o Managed Lustre

2. Clique no nome da instância na lista. A página Detalhes da instância é exibida, incluindo o status atual da solicitação de atualização da instância.

gcloud

Por padrão, o comando gcloud lustre instances update aguarda a conclusão antes de retornar o prompt do shell:

Request issued for: [my-instance]
Waiting for operation [projects/my-project/locations/us-central1-a/operations/operation-1234567890-123] to complete...

Quando o processo for concluído, a linha de comando vai mostrar Updated instance [my-instance] com os detalhes da instância, incluindo a capacidade atualizada.

Se você executou o comando de atualização com a flag --async ou precisa consultar o status da atualização na linha de comando, recupere os detalhes da operação para ver se a instância terminou de ser atualizada:

gcloud lustre operations describe OPERATION_ID \
  --location=ZONE

Enquanto a instância está sendo atualizada, a resposta mostra um valor done: false. Depois de concluído, done é definido como true.

Exemplo:

$ gcloud lustre operations describe operation-1234567890-123abc456-789def012-a1b2c3d4 \
    --location=us-central1-a

done: false
metadata:
  '@type': type.googleapis.com/google.cloud.lustre.v1.OperationMetadata
  apiVersion: v1
  createTime: '2025-08-27T18:13:49.771203623Z'
  requestedCancellation: false
  target: projects/my-project/locations/us-central1-a/instances/my-instance
  verb: update
name: projects/my-project/locations/us-central1-a/operations/operation-1234567890-123abc456-789def012-a1b2c3d4

REST

Para consultar o status de uma operação de atualização, use o ID da operação da resposta. O ID da operação tem o seguinte formato:

• operation-1234567890123-6127783ad26ea-88913969-02748053

Envie uma solicitação para o seguinte endpoint:

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

Se a solicitação for bem-sucedida, o corpo da resposta conterá uma instância de Operation.

Desempenho após o aumento da capacidade

A capacidade máxima de uma instância do Managed Lustre é determinada pela capacidade de armazenamento e pelo nível de desempenho. Aumentar a capacidade de armazenamento de uma instância atual também aumenta a capacidade máxima de processamento dela.

O aumento de desempenho pode não ser visto até que novos dados sejam gravados. O desempenho da capacidade de processamento melhora gradualmente à medida que novos dados são gravados e redistribuídos no armazenamento extra.

Observação: o desempenho dos metadados só vai aumentar se o aumento na capacidade resultar em mais 72 GBps de capacidade de processamento provisionada.

Erros "Não há espaço livre no dispositivo"

À medida que o sistema de arquivos se aproxima da capacidade total (normalmente, mais de 90% de utilização), você pode começar a receber erros prematuros No space left on device ou FILESYSTEM_NO_SPACE_ON_DEVICE (ENOSPC), mesmo que as ferramentas de monitoramento indiquem que o espaço livre agregado ainda está disponível.

Esse comportamento pode ocorrer devido a vários mecanismos subjacentes em sistemas de arquivos distribuídos:

• Desequilíbrio de OST: o Lustre distribui os dados de arquivos em vários destinos de armazenamento de objetos (OSTs). No entanto, determinados padrões de carga de trabalho podem preencher um único OST, independentemente da configuração de distribuição. As causas comuns incluem gravar arquivos no modo de anexação (O_APPEND) ou manter arquivos grandes não vinculados.

• Erros pós-expansão: é possível que você continue recebendo erros ENOSPC mesmo depois de adicionar capacidade ao cluster. Embora a expansão da capacidade adicione novos OSTs, ela não reequilibra automaticamente os arquivos preexistentes nos destinos recém-adicionados.

• Concessões de espaço do cliente: os clientes do Compute Engine reservam dinamicamente partes do espaço em disco para melhorar o desempenho. Esse espaço de concessão reservado reduz o pool físico disponível, o que significa que as métricas de capacidade podem não refletir o espaço que os clientes distribuídos já reivindicaram.

• Esgotamento de inodes: cargas de trabalho que geram milhões de arquivos podem esgotar os inodes disponíveis do sistema de arquivos antes de atingir os limites de armazenamento físico, causando erros ENOSPC na criação de novos arquivos.

Estratégias de mitigação recomendadas:

• Monitorar a capacidade e configurar alertas: monitore a utilização da capacidade por OST e as métricas de inode individuais, além da capacidade agregada do cluster. Execute o comando lfs df em um cliente montado para conferir o uso da capacidade por destino, use lfs df -i para o uso de inode por destino ou consulte Monitorar instâncias e operações para detalhes sobre as métricas de monitoramento.

  Configure alertas automatizados para serem acionados quando a capacidade agregada ou a utilização individual de OST exceder 80% (consulte Criar um alerta de capacidade de armazenamento).

• Aumentar a capacidade: quando a capacidade agregada atingir de 80% a 90%, considere aumentar a capacidade da instância do Managed Lustre. Talvez seja necessário solicitar mais cota antes da expansão.

• Reequilibrar o armazenamento: use o comando lfs migrate, de preferência no modo sem bloqueio (-n), para fazer a transição manual de arquivos de OSTs sobrecarregados para OSTs mais vazios ou recém-adicionados.

• Verifique se há arquivos desvinculados nos clientes: arquivos abertos desvinculados são arquivos grandes mantidos abertos por um processo mesmo depois de serem desvinculados do namespace do sistema de arquivos. Esses arquivos órfãos permanecem no disco, consumindo espaço, mas não ficam visíveis nas listagens de diretórios padrão. Nesse caso, as métricas de capacidade do Cloud Monitoring e o comando lfs df informam um uso de espaço maior do que du ou lfs find. Use o comando lsof nos clientes para identificar esses arquivos procurando entradas marcadas como (deleted). Depois de identificados, encerrar o processo que contém o identificador de arquivo ou reiniciar o aplicativo libera o espaço do sistema de arquivos.