O Google Cloud Managed Lustre oferece diferentes níveis de desempenho para atender aos requisitos específicos de carga de trabalho e orçamento. É possível escolher um nível que ofereça desempenho sustentado e previsível para todo o sistema de arquivos ou um nível dinâmico que otimize automaticamente os custos de armazenamento para conjuntos de dados grandes e parcialmente ativos.
Níveis disponíveis
A tabela a seguir resume os níveis de desempenho disponíveis para o Managed Lustre.
| Nível | Capacidade mínima | Capacidade máxima | Taxa de aprendizado |
|---|---|---|---|
| 1.000 MBps por TiB | 9.000 GiB | 10.008.000 GiB (9,5 PiB) | Para capacidades de armazenamento de até 2.556.000 GiB: 9.000 GiB Para capacidades de armazenamento maiores: 72.000 GiB |
| 500 MBps por TiB | 18.000 GiB | 20.016.000 GiB (19,1 PiB) | Para capacidades de armazenamento de até 5.112.000 GiB: 18.000 GiB Para capacidades de armazenamento maiores: 144.000 GiB |
| 250 MBps por TiB | 36.000 GiB | 40.032.000 GiB (38,2 PiB) | Para capacidades de armazenamento de até 10.224.000 GiB: 36.000 GiB Para capacidades de armazenamento maiores: 288.000 GiB |
| 125 MBps por TiB | 72.000 GiB | 20.448.000 GiB (19,5 PiB) | 72.000 GiB |
| Dinâmico (25 MBps por TiB) | 472.000 GiB | 84.016.000 GiB (80,1 PiB) | 472.000 GiB |
Os tamanhos das etapas mudam quando o tamanho da instância atinge um limite específico.
É possível aumentar a capacidade de armazenamento de uma instância depois que ela for criada, até o valor máximo permitido para o nível de desempenho e a taxa de aprendizado. Se você criar uma instância dentro do intervalo de tamanho de etapa menor para o nível dela, não será possível aumentá-la além do limite de tamanho da etapa. Consulte Limitações no aumento da capacidade para mais detalhes.
Níveis numerados
Os níveis numerados oferecem desempenho consistente e de alta velocidade. Esses níveis são ideais para cargas de trabalho que exigem alta capacidade de processamento e baixa latência para cada acesso aos dados.
Você escolhe um nível de desempenho específico ao criar a instância, e essa capacidade de processamento é fornecida de maneira consistente para todo o sistema de arquivos. O desempenho é escalonado linearmente com a quantidade de armazenamento provisionada. Além da capacidade de processamento bruta, o desempenho de IOPS e metadados também é escalonado com a capacidade e a capacidade de processamento provisionadas da instância.
- 1.000 MBps por TiB: recomendado para cargas de trabalho de alto desempenho e treinamento de IA/ML em que a capacidade de processamento é fundamental.
- 500 MBps por TiB: para cargas de trabalho exigentes de IA/ML, aplicativos complexos de HPC e análises intensivas em dados que exigem capacidade de processamento substancial, mas podem se beneficiar de uma relação preço-desempenho mais equilibrada.
- 250 MBps por TiB: adequado para uma ampla variedade de cargas de trabalho de HPC, inferência de IA/ML pré-processamento de dados e aplicativos que exigem um desempenho melhor do que o NFS tradicional, a um preço econômico.
- 125 MBps por TiB: projetado para cenários em que grandes capacidades e acesso paralelo ao sistema de arquivos são essenciais. Bom para tarefas paralelas com menos vinculação de E/S.
Nível dinâmico
O nível dinâmico é uma solução econômica projetada para processar conjuntos de dados de IA e HPC em crescimento, otimizando automaticamente o desempenho com base nos padrões de acesso aos dados. Ele oferece um namespace único e unificado em escala de petabytes, oferecendo acesso de alta velocidade para dados ativos armazenados em um cache de alto desempenho, ao mesmo tempo em que reduz o custo total de propriedade de grandes conjuntos de dados. A capacidade de processamento agregada disponível para a instância é escalonada em 25 MBps por TiB.
O sistema gerencia de maneira inteligente o posicionamento de dados usando uma política automatizada que ajuda a garantir que os dados usados com frequência permaneçam com alto desempenho. Esse processo é transparente para usuários e aplicativos, que interagem com o sistema de arquivos como um único ponto de montagem, sem necessidade de migração manual de dados ou sobrecarga de gerenciamento.
Principais benefícios
- Custos de armazenamento reduzidos: diminua o preço por byte de conjuntos de dados grandes armazenando a maioria dos dados no armazenamento de volume econômico.
- Namespace único em escala de PB: consolide conjuntos de dados grandes e crescentes em um único ponto de montagem sem precisar migrar ou classificar manualmente os dados entre diferentes sistemas de armazenamento.
- Inteligente e automatizado: um sistema de armazenamento em cache transparente no nível do bloco ajuda a garantir que o armazenamento de alto desempenho seja usado para os dados mais críticos.
- Desempenho combinado: tenha latência abaixo do milissegundo para dados ativos e latência consistente de dezenas de milissegundos para partes menos acessadas do conjunto de dados.
Especificações detalhadas de desempenho
Siga as práticas recomendadas em Considerações de desempenho para ajudar suas instâncias a alcançar esses números de desempenho de IOPS e metadados.
IOPS
A escala máxima de IOPS é linear por TiB de capacidade de instância provisionada.
| Nível de capacidade de processamento | IOPS de leitura (por TiB) | IOPS de gravação (por TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1.450 | 1.400 |
500 MBps per TiB |
2.900 | 2.800 |
1000 MBps per TiB |
5.800 | 5.600 |
Dynamic |
145 | 140 |
Operações de metadados
O número máximo de operações de metadados aumenta em etapas com base na capacidade.
Cada instância recebe a primeira etapa de desempenho de metadados no tamanho mínimo da instância (que é menor que a etapa de capacidade padrão).
Para instâncias maiores, o desempenho aumenta sempre que a capacidade total excede um múltiplo da taxa de aprendizado.
| Nível de desempenho | Etapa de capacidade (GiB) | Estatísticas de arquivos adicionadas por etapa | Criações de arquivos adicionadas por etapa | Exclusões de arquivos adicionadas por etapa |
|---|---|---|---|---|
| 1.000 MBps por TiB | 72.000 | 410.000 por segundo | 115.000 por segundo | 95.000 por segundo |
| 500 MBps por TiB | 144.000 | |||
| 250 MBps por TiB | 288.000 | |||
| 125 MBps por TiB | 576.000 | |||
| Dinâmica | 3.776.000 | 275.000 por segundo | 115.000 por segundo | 130.000 por segundo |
Exemplo: para o nível de 1.000 MBps por TiB, o tamanho da etapa de capacidade é de 72.000 GiB. Se você criar uma instância de 153.000 GiB, receberá o desempenho de metadados de 3 etapas:
- Etapa 1: concedida no tamanho mínimo da instância.
- Etapa 2: concedida quando a capacidade excede 72.000 GiB.
- Etapa 3: concedida quando a capacidade excede 144.000 GiB.
- Etapa 4: não alcançada. Concedida quando a capacidade excede 216.000 GiB.
Como 153.000 GiB fica entre os limites de 144.000 GiB e 216.000 GiB, a instância recebe três etapas de desempenho: um máximo de 1.230.000 estatísticas de arquivos por segundo (3 * 410.000).