Este documento fornece detalhes sobre o armazenamento em cache de listas do Cloud Storage FUSE, que acelera as operações de listagem de diretórios para cargas de trabalho que listam com frequência todo o conteúdo de um diretório, como a iteração em um grande conjunto de arquivos no início de um job de processamento, melhorando a velocidade da travessia de diretórios.
Benefícios do armazenamento em cache de listas
Operações de listagem de diretórios mais rápidas: o armazenamento em cache de listas oferece melhor desempenho para operações que listam o conteúdo de diretórios. Quando o armazenamento em cache de listas está ativado, os resultados das listagens de objetos do Cloud Storage para um diretório são armazenados em cache na memória. As listagens subsequentes do mesmo diretório podem ser veiculadas diretamente desse cache.
Latência reduzida: ao disponibilizar resultados de listas do cache local, o Cloud Storage evita viagens de rede para buscar a lista de objetos, reduzindo significativamente a latência das operações de listagem de diretórios, especialmente para diretórios que contêm muitos objetos ou quando a latência da rede é alta.
Melhor desempenho para cargas de trabalho repetitivas: cargas de trabalho que verificam repetidamente os mesmos diretórios, como jobs de treinamento de inteligência artificial e machine learning (IA/ML), processos de build ou ferramentas de sincronização de arquivos, podem ter ganhos de desempenho.
Armazenamento na memória: o cache de listas é mantido na memória no cache de páginas, que é controlado pelo kernel com base na disponibilidade de memória, ao contrário do cache de estatísticas, que é mantido na memória da máquina e controlado pelo Cloud Storage FUSE.
Configurar o armazenamento em cache de listas
É possível ativar o armazenamento em cache de listas usando um dos seguintes métodos:
- Opção
gcsfuse:--kernel-list-cache-ttl-secs - Campo do arquivo de configuração:
file-system:kernel-list-cache-ttl-secs
Invalidação do cache de listas
A invalidação do cache de listas é definida especificando um valor maior que 0 usando um dos seguintes métodos:
gcsfuse option:--kernel-list-cache-ttl-secs- Campo do arquivo de configuração:
file-system:kernel-list-cache-ttl-secs
A resposta da lista de diretórios é mantida no cache de páginas do kernel e permanece válida pelo período especificado. Quando você especifica um valor de -1, o Cloud Storage FUSE desativa a expiração do cache de listas e retorna a resposta da lista do cache quando ela está disponível. Especificar um valor de 0 desativa o cache de listas.
A seguir
Analise as considerações sobre armazenamento em cache no Cloud Storage FUSE.
Leia mais sobre como melhorar o desempenho.