Elenco della memorizzazione nella cache in Cloud Storage FUSE

Questo documento fornisce dettagli sulla memorizzazione nella cache degli elenchi per Cloud Storage FUSE, che accelera le operazioni di elenco delle directory per i carichi di lavoro che elencano di frequente l'intero contenuto di una directory, ad esempio l'iterazione su un insieme di file di grandi dimensioni all'inizio di un job di elaborazione, migliorando la velocità di attraversamento delle directory.

Vantaggi della memorizzazione nella cache degli elenchi

  • Operazioni di elenco delle directory più veloci: la memorizzazione nella cache degli elenchi offre prestazioni migliori per le operazioni che elencano i contenuti delle directory. Quando la memorizzazione nella cache degli elenchi è abilitata, i risultati degli elenchi di oggetti Cloud Storage per una directory vengono memorizzati nella cache in memoria. Gli elenchi successivi della stessa directory possono essere forniti direttamente da questa cache.

  • Latenza ridotta: fornendo i risultati dell'elenco dalla cache locale, Cloud Storage evita i round trip di rete a Cloud Storage per recuperare l'elenco degli oggetti, riducendo significativamente la latenza delle operazioni di elenco delle directory, soprattutto per le directory che contengono molti oggetti o quando la latenza di rete è elevata.

  • Prestazioni migliorate per i carichi di lavoro ripetitivi: i carichi di lavoro che eseguono ripetutamente la scansione delle stesse directory, come i job di addestramento di intelligenza artificiale e machine learning (AI/ML), i processi di build o gli strumenti di sincronizzazione dei file, possono ottenere miglioramenti delle prestazioni.

  • Archiviazione in memoria: la cache degli elenchi viene mantenuta in memoria nella cache delle pagine, che è controllata dal kernel in base alla disponibilità di memoria, a differenza della cache stat, che viene mantenuta nella memoria della macchina e controllata da Cloud Storage FUSE.

Configurare la memorizzazione nella cache degli elenchi

Puoi abilitare la memorizzazione nella cache degli elenchi utilizzando uno dei seguenti metodi:

Annullamento della convalida della cache degli elenchi

L'annullamento della convalida della cache degli elenchi viene impostato specificando un valore maggiore di 0 utilizzando uno dei seguenti metodi:

  • gcsfuse option: --kernel-list-cache-ttl-secs
  • Campo del file di configurazione: file-system:kernel-list-cache-ttl-secs

La risposta all'elenco delle directory viene mantenuta nella cache delle pagine del kernel e rimane valida per il periodo di tempo specificato. Quando specifichi un valore di -1, Cloud Storage FUSE disabilita la scadenza della cache degli elenchi e restituisce la risposta all'elenco dalla cache quando è disponibile. Se specifichi un valore di 0, la cache degli elenchi viene disabilitata.

Passaggi successivi