Valores de configuração automatizados para tipos de máquinas de alta performance

Este documento descreve como definir automaticamente os valores padrão do Cloud Storage FUSE usados para tipos de máquina do Compute Engine de alta performance, projetados para otimizar o desempenho de cargas de trabalho exigentes e de alta capacidade. Os valores definidos manualmente no momento da montagem vão substituir esses padrões.

Tipos de máquina

Os valores de configuração são automatizados para os seguintes tipos de máquina do Compute Engine de alta performance:

Tipo de série Tipo de máquina
Série de máquina A2

a2-megagpu-16g

a2-ultragpu-8g
Série de máquina A3

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
Série de máquina A4

a4-highgpu-8g-lowmem
Série de máquina A4X
a4x-highgpu-4g
TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
TPU 7x (Ironwood)
tpu7x-standard-4t

Valores de configuração automatizados

Quando um tipo de máquina compatível é detectado, o Cloud Storage FUSE aplica automaticamente os seguintes valores de configuração:

Campo do arquivo de configuração do Cloud Storage FUSE Opção da CLI do Cloud Storage FUSE Valor de configuração automatizado
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache:ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

1Definir essa configuração como -1 aumenta significativamente a performance, sempre veiculando arquivos do cache. Essa configuração ignora as verificações de consistência, o que pode levar à veiculação de dados desatualizados. Para mais detalhes sobre como gerenciar a consistência de dados, consulte Visão geral do armazenamento em cache no Cloud Storage FUSE.

Mais ajustes de performance

Ao usar um tipo de máquina de alta performance Google Cloud , os valores de configuração detalhados nesta página são aplicados automaticamente. No entanto, é possível ajustar ainda mais a máquina para uma performance ideal usando os seguintes métodos:

  • Use o guia de práticas recomendadas de ajuste de performance para melhorar o Cloud Storage FUSE usando os principais recursos e configurações do Cloud Storage FUSE para alcançar a capacidade de processamento máxima e a performance ideal.

  • Se você estiver executando cargas de trabalho de treinamento, veiculação ou checkpoint e cache Just in Time (JIT) em clusters do Google Kubernetes Engine que usam GPUs ou Cloud TPU para acessar grandes conjuntos de dados no Cloud Storage, é possível simplificar a configuração usando arquivos YAML pré-configurados para montar seus buckets do Cloud Storage diretamente nos pods de maneira mais eficiente. Para mais informações e instruções sobre como usar arquivos YAML do GKE pré-configurados, consulte Usar arquivos YAML do GKE pré-configurados para otimizar a performance do Cloud Storage FUSE.

  • Se você estiver executando cargas de trabalho de treinamento, veiculação ou checkpoint usando o Cloud Storage FUSE, poderá usar o profile campo ou --profile a opção de comando para ajustar automaticamente configurações específicas do Cloud Storage FUSE para uma performance ideal com base no tipo de carga de trabalho específico. Para mais informações, consulte Configurações baseadas em perfil para cargas de trabalho de IA/ML.

A seguir