Este documento fornece detalhes sobre o armazenamento em cache de listas para o Cloud Storage FUSE, que acelera as operações de listagem de diretórios para cargas de trabalho que listam com frequência todo o conteúdo de um diretório, como a iteração em um grande conjunto de arquivos no início de um job de processamento, melhorando a velocidade de travessia de diretórios.
Benefícios do armazenamento em cache de listas
Operações de listagem de diretórios mais rápidas: o armazenamento em cache de lista oferece melhor desempenho para operações que listam o conteúdo de diretórios. Quando o armazenamento em cache de listas está ativado, os resultados das listagens de objetos do Cloud Storage para um diretório são armazenados em cache na memória. Listagens subsequentes do mesmo diretório podem ser veiculadas diretamente desse cache.
Latência reduzida: ao veicular resultados da lista do cache local, o Cloud Storage evita viagens de ida e volta da rede para o Cloud Storage para buscar a lista de objetos, reduzindo significativamente a latência das operações de listagem de diretórios, especialmente para diretórios que contêm muitos objetos ou quando a latência da rede é alta.
Melhor desempenho para cargas de trabalho repetitivas: cargas de trabalho que verificam repetidamente os mesmos diretórios, como trabalhos de treinamento de inteligência artificial e machine learning (IA/ML), processos de build ou ferramentas de sincronização de arquivos, podem ter ganhos de desempenho.
Armazenamento na memória: o cache da lista é mantido na memória no cache da página, que é controlado pelo kernel com base na disponibilidade da memória, ao contrário dos caches de estatísticas e de tipos, que são mantidos na memória da máquina e controlados pelo Cloud Storage FUSE.
Configurar o cache de lista
É possível ativar o cache de lista usando um dos seguintes métodos:
- Opção
gcsfuse:--kernel-list-cache-ttl-secs - Campo do arquivo de configuração:
file-system:kernel-list-cache-ttl-secs
Listar invalidação de cache
A invalidação do cache de lista é definida especificando um valor maior que 0 usando um
dos seguintes métodos:
gcsfuse option:--kernel-list-cache-ttl-secs- Campo do arquivo de configuração:
file-system:kernel-list-cache-ttl-secs
A resposta da lista de diretórios é mantida no cache de páginas do kernel e permanece válida
pelo período especificado. Quando você especifica um valor de -1, o Cloud Storage FUSE desativa a expiração do cache de lista e retorna a resposta da lista do cache quando ela está disponível. Especificar um valor de 0 desativa o cache de lista.
A seguir
Analise as considerações sobre armazenamento em cache no Cloud Storage FUSE.
Leia mais sobre como melhorar o desempenho.