Colocação em cache de listas no Cloud Storage FUSE

Este documento fornece detalhes sobre o armazenamento em cache de listas para o Cloud Storage FUSE, que acelera as operações de listagem de diretórios para fluxos de trabalho que listam frequentemente todo o conteúdo de um diretório, como iterar sobre um grande conjunto de ficheiros no início de uma tarefa de processamento, melhorando a velocidade de deslocação nos diretórios.

Vantagens da colocação em cache de listas

  • Operações de listagem de diretórios mais rápidas: o armazenamento em cache de listas oferece um desempenho melhorado para operações que listam o conteúdo dos diretórios. Quando o armazenamento em cache de listas está ativado, os resultados das listas de objetos do Cloud Storage para um diretório são armazenados em cache na memória. As fichas subsequentes do mesmo diretório podem ser publicadas diretamente a partir desta cache.

  • Latência reduzida: ao publicar resultados de listas a partir da cache local, o Cloud Storage evita viagens de rede ao Cloud Storage para obter a lista de objetos, o que reduz significativamente a latência das operações de listagem de diretórios, especialmente para diretórios que contêm muitos objetos ou quando a latência da rede é elevada.

  • Desempenho melhorado para cargas de trabalho repetitivas: as cargas de trabalho que analisam repetidamente os mesmos diretórios, como trabalhos de preparação de inteligência artificial e aprendizagem automática (IA/AA), processos de compilação ou ferramentas de sincronização de ficheiros, podem observar ganhos de desempenho.

  • Armazenamento na memória: a cache de listas é mantida na memória na cache de páginas, que é controlada pelo kernel com base na disponibilidade de memória, ao contrário das caches de estatísticas e de tipos, que são mantidas na memória da sua máquina e controladas pelo Cloud Storage FUSE.

Configure o armazenamento em cache de listas

Pode ativar o armazenamento em cache de listas através de um dos seguintes métodos:

Invalidação da cache de listas

A invalidação da cache de listas é definida especificando um valor superior a 0 através de um dos seguintes métodos:

  • gcsfuse option: --kernel-list-cache-ttl-secs
  • Campo do ficheiro de configuração: file-system:kernel-list-cache-ttl-secs

A resposta da lista de diretórios é mantida na cache de páginas do kernel e permanece válida durante o período especificado. Quando especifica um valor de -1, o Cloud Storage FUSE desativa a expiração da cache de listas e devolve a resposta da lista da cache quando está disponível. A especificação de um valor de 0 desativa a cache de listas.

O que se segue?