O Google Cloud Managed Lustre oferece diferentes níveis de desempenho para atender aos requisitos específicos de carga de trabalho e orçamento. É possível escolher um nível que ofereça desempenho sustentado e previsível para todo o sistema de arquivos ou um nível dinâmico que otimize automaticamente os custos de armazenamento para conjuntos de dados grandes e parcialmente ativos.
Níveis disponíveis
A tabela a seguir resume os níveis de desempenho disponíveis para o Managed Lustre.
| Nível de desempenho | Capacidade mínima | Capacidade máxima | Taxa de aprendizagem |
|---|---|---|---|
| 1.000 MBps por TiB | 9.000 GiB | 10.008.000 GiB (9,5 PiB) | Para capacidades de armazenamento de até 2.556.000 GiB: 9.000 GiB Para capacidades de armazenamento maiores: 72.000 GiB |
| 500 MBps por TiB | 18.000 GiB | 20.016.000 GiB (19,1 PiB) | Para capacidades de armazenamento de até 5.112.000 GiB: 18.000 GiB Para capacidades de armazenamento maiores: 144.000 GiB |
| 250 MBps por TiB | 36.000 GiB | 40.032.000 GiB (38,2 PiB) | Para capacidades de armazenamento de até 10.224.000 GiB: 36.000 GiB Para capacidades de armazenamento maiores: 288.000 GiB |
| 125 MBps por TiB | 72.000 GiB | 20.448.000 GiB (19,5 PiB) | 72.000 GiB |
| Dinâmico (25 MBps por TiB) | 472.000 GiB | 84.016.000 GiB (80,1 PiB) | 472.000 GiB |
As taxas de aprendizagem mudam quando o tamanho da instância atinge um limite específico.
É possível aumentar a capacidade de armazenamento de uma instância depois que ela for criada, até o valor máximo permitido para o nível de desempenho e a taxa de aprendizagem. Se você criar uma instância dentro do intervalo de taxa de aprendizagem menor para o nível dela, não será possível aumentá-la além do limite da taxa de aprendizagem. Consulte Limitações no aumento da capacidade para mais detalhes.
Níveis numerados
Os níveis numerados oferecem desempenho consistente e de alta velocidade. Esses níveis são ideais para cargas de trabalho que exigem alta capacidade de processamento e baixa latência para cada acesso aos dados.
Você escolhe um nível de desempenho específico ao criar a instância, e essa capacidade de processamento é fornecida de maneira consistente para todo o sistema de arquivos. O desempenho é escalonado linearmente com a quantidade de armazenamento provisionado. Além da capacidade de processamento bruta, o desempenho de IOPS e metadados também é escalonado com a capacidade e a capacidade de processamento provisionadas da instância.
Os níveis numerados oferecem latência de menos de um milissegundo.
- 1.000 MBps por TiB: recomendado para cargas de trabalho de alto desempenho e treinamento de IA/ML em que a capacidade de processamento é fundamental.
- 500 MBps por TiB: para cargas de trabalho exigentes de IA/ML, aplicativos complexos de HPC e análises intensivas em dados que exigem capacidade de processamento substancial, mas podem se beneficiar de uma relação preço-desempenho mais equilibrada.
- 250 MBps por TiB: adequado para uma ampla variedade de cargas de trabalho de HPC, inferência de IA/ML pré-processamento de dados e aplicativos que exigem um desempenho melhor do que o NFS tradicional, a um preço econômico.
- 125 MBps por TiB: projetado para cenários em que grandes capacidades e acesso paralelo ao sistema de arquivos são essenciais. Bom para tarefas paralelas com menos vinculação de E/S.
Nível dinâmico
O nível dinâmico é uma solução econômica projetada para processar conjuntos de dados de IA e HPC em crescimento, otimizando automaticamente o desempenho com base nos padrões de acesso aos dados. Ele oferece um namespace único e unificado em escala de petabytes, oferecendo acesso de alta velocidade para dados ativos armazenados em um cache de alto desempenho, ao mesmo tempo em que reduz o custo total de propriedade de grandes conjuntos de dados. A capacidade de processamento agregada disponível para a instância é escalonada em 25 MBps por TiB.
O sistema gerencia de maneira inteligente o posicionamento de dados usando uma política automatizada que ajuda a garantir que os dados usados com frequência permaneçam com alto desempenho. Esse processo é transparente para usuários e aplicativos, que interagem com o sistema de arquivos como um único ponto de montagem, sem necessidade de migração manual de dados ou sobrecarga de gerenciamento.
Principais benefícios
- Custos de armazenamento reduzidos: diminua o preço por byte para grandes conjuntos de dados armazenando a maioria dos dados em um armazenamento de volume econômico.
- Namespace único em escala de PB: consolide conjuntos de dados grandes e em crescimento em um único ponto de montagem sem precisar migrar ou classificar dados manualmente entre diferentes sistemas de armazenamento.
- Inteligente e automatizado: um sistema de armazenamento em cache transparente no nível do bloco ajuda a garantir que o armazenamento de alto desempenho seja usado para os dados mais críticos.
- Desempenho combinado: tenha latência de menos de um milissegundo para dados ativos e latência consistente de dezenas de milissegundos para partes menos acessadas do conjunto de dados.
Especificações detalhadas de desempenho
Siga as práticas recomendadas em Considerações de desempenho para ajudar suas instâncias a alcançar esses números de desempenho de IOPS e metadados.
IOPS
A escala máxima de IOPS é linear por TiB de capacidade de instância provisionada.
| Nível de desempenho | IOPS de leitura (por TiB) | IOPS de gravação (por TiB) |
|---|---|---|
| 1.000 MBps por TiB | 5.800 | 5.600 |
| 500 MBps por TiB | 2.900 | 2.800 |
| 250 MBps por TiB | 1.450 | 1.400 |
| 125 MBps por TiB | 725 | 700 |
| Dinâmico | 145 | 140 |
Operações de metadados
O número máximo de operações de metadados aumenta em etapas com base na capacidade.
Cada instância recebe a primeira etapa de desempenho de metadados no tamanho mínimo da instância (que é menor que a etapa de capacidade padrão).
Para instâncias maiores, o desempenho aumenta sempre que a capacidade total excede um múltiplo da taxa de aprendizagem.
| Nível de desempenho | Etapa de capacidade (GiB) | Estatísticas de arquivos adicionadas por etapa | Criações de arquivos adicionadas por etapa | Exclusões de arquivos adicionadas por etapa |
|---|---|---|---|---|
| 1.000 MBps por TiB | 72.000 | 410.000 por segundo | 115.000 por segundo | 95.000 por segundo |
| 500 MBps por TiB | 144.000 | |||
| 250 MBps por TiB | 288.000 | |||
| 125 MBps por TiB | 576.000 | |||
| Dinâmico | 3.776.000 | 275.000 por segundo | 115.000 por segundo | 130.000 por segundo |
Exemplo: para o nível de 1.000 MBps por TiB, o tamanho da etapa de capacidade é de 72.000 GiB. Se você criar uma instância de 153.000 GiB, receberá o desempenho de metadados de três etapas:
- Etapa 1: concedida no tamanho mínimo da instância.
- Etapa 2: concedida quando a capacidade excede 72.000 GiB.
- Etapa 3: concedida quando a capacidade excede 144.000 GiB.
- Etapa 4: não alcançada. Concedida quando a capacidade excede 216.000 GiB.
Como 153.000 GiB fica entre os limites de 144.000 GiB e 216.000 GiB, a instância recebe três etapas de desempenho: um máximo de 1.230.000 estatísticas de arquivos por segundo (3 * 410.000).