Neste documento, descrevemos como definir automaticamente os valores padrão do Cloud Storage FUSE usados para tipos de máquina de alta performance do Compute Engine, que são projetados para otimizar o desempenho de cargas de trabalho exigentes e de alta capacidade. Os valores definidos manualmente no momento da montagem vão substituir esses padrões.
Tipos de máquina
Os valores de configuração são automatizados para os seguintes tipos de máquinas de alto desempenho do Compute Engine:
| Tipo de série | Tipo de máquina |
|---|---|
| Série de máquina A2 | |
a2-megagpu-16g |
|
a2-ultragpu-8g |
|
| Série de máquinas A3 | |
a3-edgegpu-8g |
|
a3-highgpu-8g |
|
a3-megagpu-8g |
|
a3-ultragpu-8g |
|
| Série de máquinas A4 | |
4-highgpu-8g-lowmem |
|
| TPU v5e | |
ct5l-hightpu-8t |
|
ct5lp-hightpu-8t |
|
| TPU v5p | |
ct5p-hightpu-4t |
|
ct5p-hightpu-4t-tpu |
|
| TPU v6e (Trillium) | |
ct6e-standard-4t |
|
ct6e-standard-4t-tpu |
|
ct6e-standard-8t |
|
ct6e-standard-8t-tpu |
Valores de configuração automatizados
Quando um tipo de máquina compatível é detectado, o Cloud Storage FUSE aplica automaticamente os seguintes valores de configuração:
| Campo do arquivo de configuração do Cloud Storage FUSE | Opção da CLI do Cloud Storage FUSE | Valor de configuração automatizado |
|---|---|---|
metadata-cache.negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache.ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache.stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
metadata-cache.type-cache-max-size-mb |
--type-cache-max-size-mb |
128 |
implicit-dirs |
--implicit-dirs |
true |
file-system.rename-dir-limit |
--rename-dir-limit |
200000 |
1: definir essa configuração como -1 aumenta significativamente a performance, porque sempre disponibiliza arquivos do cache. Essa configuração ignora as verificações de consistência, o que pode levar à veiculação de dados desatualizados. Para detalhes sobre como gerenciar a consistência de dados, consulte
Visão geral do armazenamento em cache no Cloud Storage FUSE.
Mais ajustes de performance
Ao usar um tipo de máquina Google Cloud de alta performance, os valores de configuração detalhados nesta página são aplicados automaticamente. No entanto, é possível ajustar ainda mais sua máquina para ter uma performance ideal usando os seguintes métodos:
Use o guia de práticas recomendadas de ajuste de desempenho para melhorar o Cloud Storage FUSE usando os principais recursos e configurações do Cloud Storage FUSE para alcançar o máximo de capacidade e desempenho ideal.
Se você estiver executando treinamento, serviço ou checkpointing e cargas de trabalho de cache Just-in-Time (JIT) em clusters do Google Kubernetes Engine que usam GPUs ou TPUs do Cloud para acessar grandes conjuntos de dados no Cloud Storage, é possível simplificar a configuração usando arquivos YAML pré-configurados para montar seus buckets do Cloud Storage diretamente nos pods de maneira mais eficiente. Para mais informações e instruções sobre como usar arquivos YAML do GKE pré-configurados, consulte Usar arquivos YAML do GKE pré-configurados para otimizar a performance do Cloud Storage FUSE.
Se você estiver executando treinamento, serviço ou cargas de trabalho de checkpoint usando o Cloud Storage FUSE, use o campo
profileou a opção de comando--profilepara ajustar automaticamente configurações específicas do Cloud Storage FUSE e otimizar o desempenho com base no tipo de carga de trabalho. Para mais informações, consulte Configurações baseadas em perfil para cargas de trabalho de IA/ML.
A seguir
Saiba como ajustar o Cloud Storage FUSE para ter o melhor desempenho.
Use um arquivo YAML do GKE pré-configurado para configurar as práticas recomendadas de ajuste.