Este documento descreve como definir automaticamente os valores FUSE do Cloud Storage usados para tipos de máquinas do Compute Engine de elevado desempenho, que são concebidos para otimizar o desempenho para cargas de trabalho exigentes e de elevado débito. Os valores definidos manualmente no momento da montagem substituem estas predefinições.
Tipos de máquinas
Os valores de configuração são automatizados para os seguintes tipos de máquinas do Compute Engine de alto desempenho:
| Tipo de série | Tipo de máquina |
|---|---|
| Série de máquinas A2 | |
a2-megagpu-16g |
|
a2-ultragpu-8g |
|
| Série de máquinas A3 | |
a3-edgegpu-8g |
|
a3-highgpu-8g |
|
a3-megagpu-8g |
|
a3-ultragpu-8g |
|
| Série de máquinas A4 | |
4-highgpu-8g-lowmem |
|
| TPU v5e | |
ct5l-hightpu-8t |
|
ct5lp-hightpu-8t |
|
| TPU v5p | |
ct5p-hightpu-4t |
|
ct5p-hightpu-4t-tpu |
|
| TPU v6e (Trillium) | |
ct6e-standard-4t |
|
ct6e-standard-4t-tpu |
|
ct6e-standard-8t |
|
ct6e-standard-8t-tpu |
Valores de configuração automatizados
Quando é detetado um tipo de máquina suportado, o Cloud Storage FUSE aplica automaticamente os seguintes valores de configuração:
| Campo do ficheiro de configuração do Cloud Storage FUSE | Opção da CLI FUSE do Cloud Storage | Valor de configuração automatizado |
|---|---|---|
metadata-cache.negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache.ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache.stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
metadata-cache.type-cache-max-size-mb |
--type-cache-max-size-mb |
128 |
implicit-dirs |
--implicit-dirs |
true |
file-system.rename-dir-limit |
--rename-dir-limit |
200000 |
1A definição desta configuração para -1 melhora significativamente o desempenho, uma vez que publica sempre ficheiros a partir da cache. Tenha em atenção que esta configuração ignora as verificações de consistência, o que pode levar à publicação de dados desatualizados. Para ver detalhes sobre a gestão da consistência dos dados, consulte o artigo
Vista geral do armazenamento em cache no Cloud Storage FUSE.
Ajuste de desempenho adicional
Quando usa um Google Cloud tipo de máquina de alto desempenho, os valores de configuração detalhados nesta página são aplicados automaticamente. No entanto, pode ajustar ainda mais a sua máquina para um desempenho ideal através dos seguintes métodos:
Use o guia de práticas recomendadas de otimização do desempenho para melhorar o Cloud Storage FUSE usando as principais funcionalidades e configurações do Cloud Storage FUSE para alcançar o máximo débito e um desempenho ideal.
Se estiver a executar cargas de trabalho de preparação, publicação ou verificação de pontos de controlo e de cache Just in Time (JIT) em clusters do Google Kubernetes Engine que usam GPUs na nuvem ou TPUs na nuvem para aceder a grandes conjuntos de dados no Cloud Storage, pode simplificar a configuração usando ficheiros YAML pré-configurados para montar os contentores do Cloud Storage diretamente nos seus pods de forma mais eficiente. Para mais informações e instruções sobre como usar ficheiros YAML do GKE pré-configurados, consulte o artigo Use ficheiros YAML do GKE pré-configurados para otimizar o desempenho do FUSE do Cloud Storage.
Se estiver a executar cargas de trabalho de preparação, publicação ou criação de pontos de verificação com o Cloud Storage FUSE, pode usar o campo
profileou a opção de comando--profilepara ajustar automaticamente configurações específicas do Cloud Storage FUSE para um desempenho ideal com base no tipo de carga de trabalho específico. Para mais informações, consulte o artigo Configurações baseadas em perfis para cargas de trabalho de IA/ML.
O que se segue?
Saiba como ajustar o FUSE do Cloud Storage para um desempenho ideal.
Use um ficheiro YAML do GKE pré-configurado para configurar as práticas recomendadas de otimização.