Este documento fornece detalhes sobre as opções de armazenamento em cache disponíveis para o Cloud Storage FUSE e como cada tipo de cache pode ser configurado.
Para ajudar a aumentar o desempenho da recuperação de dados, o Cloud Storage FUSE oferece quatro tipos de armazenamento em cache opcional. Use a tabela a seguir para saber mais sobre cada tipo de armazenamento em cache:
| Tipo de armazenamento em cache | Descrição |
|---|---|
| Armazenamento em cache de arquivos | Acelera as leituras de dados de arquivos para cargas de trabalho com muitas leituras que acessam dados repetidamente, especialmente treinamento de inteligência artificial e machine learning em que os mesmos arquivos grandes são lidos várias vezes, reduzindo significativamente a latência. |
| Armazenamento em cache de listas | Acelera as operações de listagem de diretórios para cargas de trabalho que listam com frequência todo o conteúdo de um diretório, como a iteração em um grande conjunto de arquivos no início de um job de processamento, melhorando a velocidade de travessia de diretórios. |
| Armazenamento de estatísticas em cache | Acelera as operações de metadados de arquivos para aplicativos que verificam com frequência os atributos de arquivos, o que é comum para muitos aplicativos que verificam repetidamente se um arquivo foi alterado, reduzindo o número de chamadas "GetMetadata" para o Cloud Storage. |
| Armazenamento em cache de tipos | Acelera as verificações de existência de arquivos ou diretórios para cargas de trabalho que realizam muitas verificações de existência ou pesquisas de caminho, melhorando a latência ao reduzir o número de solicitações feitas ao Cloud Storage para verificar se um caminho existe. |
Considerações
Ativar o armazenamento em cache pode aumentar o desempenho, mas reduzir a consistência, o que geralmente ocorre quando você acessa o mesmo bucket usando vários clientes com uma alta taxa de mudança. Para reduzir o impacto na consistência, recomendamos montar buckets como somente leitura. Para saber mais sobre o comportamento de armazenamento em cache, consulte Semântica do Cloud Storage FUSE na documentação do Cloud Storage FUSE no GitHub.
Para evitar a sobrecarga do cache, verifique se todo o conjunto de dados se ajusta à capacidade do cache. Considere também a capacidade máxima e o desempenho que a mídia de cache pode fornecer. Se você atingir o desempenho máximo do cache provisionado, o limite de capacidade ou ambos, leia diretamente do Cloud Storage, que tem limites muito maiores do que o Cloud Storage FUSE.
Caminho de leitura para dados em cache
O cache do Cloud Storage FUSE acelera leituras repetidas após a ingestão no cache. Tanto as leituras iniciais quanto as ausências no cache vão diretamente para o Cloud Storage e estão sujeitas às latências de rede normais do Cloud Storage. Para melhorar a performance da leitura pela primeira vez, consulte Pré-preencher o cache de metadados.
A seguir
Saiba mais sobre cada tipo de armazenamento em cache: