O Google Cloud Managed Lustre oferece diferentes níveis de desempenho para atender aos seus requisitos específicos de carga de trabalho e orçamento. Você pode escolher um nível que ofereça desempenho sustentado e previsível para todo o sistema de arquivos ou um nível dinâmico que otimize automaticamente os custos de armazenamento para conjuntos de dados grandes e parcialmente ativos.
Níveis disponíveis
A tabela a seguir resume os níveis de desempenho disponíveis para o Managed Lustre.
| Nível | Capacidade mínima | Capacidade máxima | Taxa de aprendizado |
|---|---|---|---|
| 1.000 MBps por TiB | 9.000 GiB | 10.008.000 GiB (9,5 PiB) | Para capacidades de armazenamento de até 1.530.000 GiB: 9.000 GiB Para capacidades de armazenamento maiores: 72.000 GiB |
| 500 MBps por TiB | 18.000 GiB | 20.016.000 GiB (19,1 PiB) | Para capacidades de armazenamento de até 3.060.000 GiB: 18.000 GiB Para capacidades de armazenamento maiores: 144.000 GiB |
| 250 MBps por TiB | 36.000 GiB | 40.032.000 GiB (38,2 PiB) | Para capacidades de armazenamento de até 6.120.000 GiB: 36.000 GiB Para capacidades de armazenamento maiores: 288.000 GiB |
| 125 MBps por TiB | 72.000 GiB | 12.240.000 GiB (11,7 PiB) | 72.000 GiB |
| Dinâmico (25 MBps por TiB) | 472.000 GiB | 84.016.000 GiB (80,1 PiB) | 472.000 GiB |
As taxas de aprendizado mudam quando o tamanho da instância atinge um limite específico.
É possível aumentar a capacidade de armazenamento de uma instância depois que ela é criada, até o valor máximo permitido para o nível de desempenho e a taxa de aprendizado. Se você criar uma instância dentro do intervalo de taxa de aprendizado menor para o nível dela, não será possível aumentá-la depois além do limite de taxa de aprendizado. Consulte Limitações no aumento da capacidade para mais detalhes.
Níveis numerados
Os níveis numerados oferecem desempenho consistente e de alta velocidade. Esses níveis são ideais para cargas de trabalho que exigem alta capacidade de processamento e baixa latência para cada acesso aos dados.
Você escolhe um nível de desempenho específico ao criar a instância, e essa capacidade de processamento é fornecida de maneira consistente para todo o sistema de arquivos. O desempenho é escalonado de forma linear com a quantidade de armazenamento provisionada. Além da capacidade de processamento bruta, o desempenho de IOPS e metadados também é escalonado com a capacidade e a capacidade de processamento provisionadas da instância.
- 1.000 MBps por TiB: recomendado para cargas de trabalho de alto desempenho e treinamento de IA/ML em que a capacidade de processamento é fundamental.
- 500 MBps por TiB: para cargas de trabalho exigentes de IA/ML, aplicativos complexos de HPC e análise intensiva em dados que exigem capacidade de processamento substancial, mas podem se beneficiar de uma relação preço-desempenho mais equilibrada.
- 250 MBps por TiB: adequado para uma ampla variedade de cargas de trabalho de HPC, inferência de IA/ML, pré-processamento de dados e aplicativos que exigem melhor desempenho do que o NFS tradicional, a um preço econômico.
- 125 MBps por TiB: projetado para cenários em que grandes capacidades e acesso paralelo ao sistema de arquivos são essenciais. Bom para tarefas paralelas com menos vinculação de E/S.
Nível dinâmico
O nível dinâmico é uma solução econômica projetada para processar conjuntos de dados de IA e HPC cada vez maiores, otimizando automaticamente a performance com base em padrões de acesso aos dados. Ele oferece um namespace único e unificado em escala de petabytes, fornecendo acesso de alta velocidade a dados ativos armazenados em um cache de alto desempenho e reduzindo o custo total de propriedade de grandes conjuntos de dados. A capacidade de processamento agregada disponível para a instância é escalonada em 25 MBps por TiB.
O sistema gerencia de forma inteligente a colocação de dados usando uma política automatizada que ajuda a garantir que os dados usados com frequência permaneçam altamente eficientes. Esse processo é transparente para usuários e aplicativos, que interagem com o sistema de arquivos como um único ponto de montagem, sem migração manual de dados ou sobrecarga de gerenciamento necessária.
Principais vantagens
- Custos de armazenamento reduzidos: diminua o preço por byte para grandes conjuntos de dados armazenando a maioria dos dados em um armazenamento de volume econômico.
- Namespace único em escala de PB: consolide conjuntos de dados enormes e crescentes em um único ponto de montagem sem precisar migrar ou classificar manualmente os dados entre diferentes sistemas de armazenamento.
- Inteligente e automatizado: um sistema de armazenamento em cache transparente no nível do bloco ajuda a garantir que o armazenamento de alto desempenho seja usado para os dados mais críticos.
- Performance combinada: tenha latência de menos de um milissegundo para dados ativos e latência consistente de dezenas de milissegundos para partes menos acessadas do conjunto de dados.
Especificações detalhadas de desempenho
Siga as práticas recomendadas em Considerações sobre desempenho para ajudar suas instâncias a alcançar esses números de desempenho de IOPS e metadados.
IOPS
O máximo de IOPS é dimensionado linearmente por TiB de capacidade de instância provisionada.
| Nível de capacidade de processamento | IOPS de leitura (por TiB) | IOPS de gravação (por TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1.450 | 1.400 |
500 MBps per TiB |
2.900 | 2.800 |
1000 MBps per TiB |
5.800 | 5.600 |
Dynamic |
145 | 140 |
Operações de metadados
O aumento máximo de operações de metadados ocorre em etapas com base na capacidade.
Cada instância recebe a primeira etapa de desempenho de metadados no tamanho mínimo da instância, que é menor do que a etapa de capacidade padrão.
Para instâncias maiores, o desempenho aumenta sempre que a capacidade total excede um múltiplo da taxa de aprendizado.
| Nível de desempenho | Incremento de capacidade (GiB) | Estatísticas de arquivos adicionadas por etapa | Criação de arquivos adicionados por etapa | Exclusões de arquivos adicionadas por etapa |
|---|---|---|---|---|
| 1.000 MBps por TiB | 72.000 | 410.000 por segundo | 115.000 por segundo | 95.000 por segundo |
| 500 MBps por TiB | 144.000 | |||
| 250 MBps por TiB | 288.000 | |||
| 125 MBps por TiB | 576.000 | |||
| Dinâmica | 3.776.000 | 275.000 por segundo | 115.000 por segundo | 130.000 por segundo |
Exemplo: para o nível de 1.000 MBps por TiB, o tamanho da etapa de capacidade é de 72.000 GiB. Se você criar uma instância de 153.000 GiB, vai receber o equivalente a três etapas de desempenho de metadados:
- Etapa 1: concedido no tamanho mínimo da instância.
- Etapa 2: concedida quando a capacidade excede 72.000 GiB.
- Etapa 3: concedida quando a capacidade excede 144.000 GiB.
- Etapa 4: Não alcançada. Concedido quando a capacidade excede 216.000 GiB.
Como 153.000 GiB está entre os limites de 144.000 GiB e 216.000 GiB, a instância recebe três etapas de desempenho: um máximo de 1.230.000 estatísticas de arquivo por segundo (3 * 410.000).