Ce document fournit des informations sur la mise en cache des listes pour Cloud Storage FUSE, qui accélère les opérations de listage de répertoires pour les charges de travail qui listent fréquemment l'intégralité du contenu d'un répertoire, par exemple en itérant sur un grand ensemble de fichiers au début d'un job de traitement, ce qui améliore la vitesse de parcours des répertoires.
Avantages de la mise en cache des listes
Opérations de listage de répertoire plus rapides : la mise en cache de listes améliore les performances des opérations qui listent le contenu des répertoires. Lorsque la mise en cache des listes est activée, les résultats des listes d'objets Cloud Storage pour un répertoire sont mis en cache en mémoire. Les listes suivantes du même répertoire peuvent être diffusées directement à partir de ce cache.
Latence réduite : en diffusant les résultats de la liste à partir du cache local, Cloud Storage évite les allers-retours réseau vers Cloud Storage pour récupérer la liste d'objets. Cela réduit considérablement la latence des opérations de listage de répertoire, en particulier pour les répertoires contenant de nombreux objets ou lorsque la latence du réseau est élevée.
Amélioration des performances pour les charges de travail répétitives : les charges de travail qui analysent de manière répétée les mêmes répertoires, telles que les tâches d'entraînement d'intelligence artificielle et de machine learning (IA/ML), les processus de compilation ou les outils de synchronisation de fichiers, peuvent bénéficier d'une amélioration des performances.
Stockage en mémoire : le cache de liste est conservé en mémoire dans le cache de pages, qui est contrôlé par le noyau en fonction de la disponibilité de la mémoire, contrairement aux caches de statistiques et de types, qui sont conservés dans la mémoire de votre machine et contrôlés par Cloud Storage FUSE.
Configurer la mise en cache des listes
Vous pouvez activer la mise en cache des listes à l'aide de l'une des méthodes suivantes :
- Option
gcsfuse:--kernel-list-cache-ttl-secs - Champ du fichier de configuration :
file-system:kernel-list-cache-ttl-secs
Lister les invalidations de cache
L'invalidation du cache de liste est définie en spécifiant une valeur supérieure à 0 à l'aide de l'une des méthodes suivantes :
gcsfuse option:--kernel-list-cache-ttl-secs- Champ du fichier de configuration :
file-system:kernel-list-cache-ttl-secs
La réponse de la liste d'annuaires est conservée dans le cache de page du noyau et reste valide pendant la durée que vous avez spécifiée. Lorsque vous spécifiez la valeur -1, Cloud Storage FUSE désactive l'expiration du cache de liste et renvoie la réponse de la liste à partir du cache lorsqu'elle est disponible. Si vous spécifiez la valeur 0, le cache de liste est désactivé.
Étapes suivantes
Consultez les considérations relatives à la mise en cache dans Cloud Storage FUSE.
Découvrez comment améliorer vos performances.