Questo documento fornisce dettagli sulla memorizzazione nella cache degli elenchi per Cloud Storage FUSE, che accelera le operazioni di elenco delle directory per i carichi di lavoro che elencano spesso l'intero contenuto di una directory, ad esempio l'iterazione su un ampio insieme di file all'inizio di un job di elaborazione, migliorando la velocità di attraversamento delle directory.
Vantaggi della memorizzazione nella cache degli elenchi
Operazioni di elenco delle directory più veloci: la memorizzazione nella cache degli elenchi offre prestazioni migliori per le operazioni che elencano i contenuti delle directory. Quando la memorizzazione nella cache degli elenchi è abilitata, i risultati degli elenchi di oggetti Cloud Storage per una directory vengono memorizzati nella cache in memoria. Gli elenchi successivi della stessa directory possono essere pubblicati direttamente da questa cache.
Latenza ridotta: pubblicando i risultati dell'elenco dalla cache locale, Cloud Storage evita i round trip di rete a Cloud Storage per recuperare l'elenco degli oggetti, riducendo significativamente la latenza delle operazioni di elenco delle directory, in particolare per le directory contenenti molti oggetti o quando la latenza di rete è elevata.
Prestazioni migliorate per i workload ripetitivi: i workload che scansionano ripetutamente le stesse directory, come i job di addestramento di intelligenza artificiale e machine learning (AI/ML), i processi di build o gli strumenti di sincronizzazione dei file, possono registrare miglioramenti delle prestazioni.
Archiviazione in memoria: la cache dell'elenco viene conservata in memoria nella cache della pagina, che viene controllata dal kernel in base alla disponibilità di memoria, a differenza delle cache stat e dei tipi, che vengono conservate nella memoria della macchina e controllate da Cloud Storage FUSE.
Configurare la memorizzazione nella cache degli elenchi
Puoi attivare la memorizzazione nella cache degli elenchi utilizzando uno dei seguenti metodi:
- Opzione
gcsfuse:--kernel-list-cache-ttl-secs - Campo del file di configurazione:
file-system:kernel-list-cache-ttl-secs
Elenca annullamenti convalida cache
L'invalidazione della cache dell'elenco viene impostata specificando un valore maggiore di 0 utilizzando uno
dei seguenti metodi:
gcsfuse option:--kernel-list-cache-ttl-secs- Campo del file di configurazione:
file-system:kernel-list-cache-ttl-secs
La risposta all'elenco delle directory viene conservata nella cache delle pagine del kernel e rimane valida
per il periodo di tempo specificato. Quando specifichi un valore di -1,
Cloud Storage FUSE disattiva la scadenza della cache di elenco e restituisce la risposta di elenco dalla
cache quando è disponibile. Se specifichi un valore pari a 0, la cache dell'elenco viene disattivata.
Passaggi successivi
Esamina le considerazioni per la memorizzazione nella cache in Cloud Storage FUSE.
Scopri di più su come migliorare il rendimento.