Valores de configuração automatizados para tipos de máquinas de elevado desempenho

Este documento descreve como definir automaticamente os valores FUSE do Cloud Storage usados para tipos de máquinas do Compute Engine de elevado desempenho, que são concebidos para otimizar o desempenho para cargas de trabalho exigentes e de elevado débito. Os valores definidos manualmente no momento da montagem substituem estas predefinições.

Tipos de máquinas

Os valores de configuração são automatizados para os seguintes tipos de máquinas de Compute Engine de alto desempenho:

Tipo de série	Tipo de máquina
Série de máquinas A2	a2-megagpu-16g a2-ultragpu-8g
A3 machine series	a3-edgegpu-8g a3-highgpu-8g a3-megagpu-8g a3-ultragpu-8g
Série de máquinas A4	a4-highgpu-8g-lowmem
TPU v5e	ct5l-hightpu-8t ct5lp-hightpu-8t
TPU v5p	ct5p-hightpu-4t ct5p-hightpu-4t-tpu
TPU v6e (Trillium)	ct6e-standard-4t ct6e-standard-4t-tpu ct6e-standard-8t ct6e-standard-8t-tpu

Valores de configuração automatizados

Quando é detetado um tipo de máquina suportado, o Cloud Storage FUSE aplica automaticamente os seguintes valores de configuração:

Campo do ficheiro de configuração do FUSE do Cloud Storage	Opção da CLI FUSE do Cloud Storage	Valor de configuração automatizado
metadata-cache:negative-ttl-secs	--metadata-cache-negative-ttl-secs	0
metadata-cache:ttl-secs^1	--metadata-cache-ttl-secs^1	-1
metadata-cache:stat-cache-max-size-mb	--stat-cache-max-size-mb	1024
metadata-cache:type-cache-max-size-mb	--type-cache-max-size-mb	128
implicit-dirs	--implicit-dirs	true
file-system:rename-dir-limit	--rename-dir-limit	200000
write:global-max-blocks	--write-global-max-blocks	1600

¹Definir esta configuração como -1 aumenta significativamente o desempenho, uma vez que publica sempre ficheiros a partir da cache. Tenha em atenção que esta configuração ignora as verificações de consistência, o que pode levar à publicação de dados desatualizados. Para ver detalhes sobre a gestão da consistência dos dados, consulte o artigo Vista geral do armazenamento em cache no Cloud Storage FUSE.

Ajuste de desempenho adicional

Quando usa um Google Cloud tipo de máquina de alto desempenho, os valores de configuração detalhados nesta página são aplicados automaticamente. No entanto, pode ajustar ainda mais a sua máquina para um desempenho ideal através dos seguintes métodos:

• Use o guia de práticas recomendadas de otimização do desempenho para melhorar o Cloud Storage FUSE através das principais funcionalidades e configurações do Cloud Storage FUSE para alcançar o máximo débito e um desempenho ideal.

• Se estiver a executar cargas de trabalho de preparação, publicação ou verificação de pontos de controlo e de cache Just in Time (JIT) em clusters do Google Kubernetes Engine que usam GPUs na nuvem ou TPUs na nuvem para aceder a grandes conjuntos de dados no Cloud Storage, pode simplificar a configuração usando ficheiros YAML pré-configurados para montar os contentores do Cloud Storage diretamente nos seus pods de forma mais eficiente. Para mais informações e instruções sobre como usar ficheiros YAML do GKE pré-configurados, consulte o artigo Use ficheiros YAML do GKE pré-configurados para otimizar o desempenho do FUSE do Cloud Storage.

• Se estiver a executar cargas de trabalho de preparação, publicação ou verificação de pontos de controlo com o Cloud Storage FUSE, pode usar o campo profile ou a opção de comando --profile para ajustar automaticamente configurações específicas do Cloud Storage FUSE para um desempenho ideal com base no tipo de carga de trabalho específico. Para mais informações, consulte o artigo Configurações baseadas em perfis para cargas de trabalho de IA/ML.

O que se segue?

• Saiba como ajustar o FUSE do Cloud Storage para um desempenho ideal.

• Use um ficheiro YAML do GKE pré-configurado para configurar as práticas recomendadas de otimização.