En este documento, se proporcionan detalles sobre el almacenamiento en caché de listas para Cloud Storage FUSE, que acelera las operaciones de listas de directorios para cargas de trabajo que enumeran con frecuencia todo el contenido de un directorio, como la iteración sobre un conjunto grande de archivos al comienzo de un trabajo de procesamiento, lo que mejora la velocidad de la exploración de directorios.
Beneficios del almacenamiento en caché de la lista
Operaciones de fichas de directorio más rápidas: El almacenamiento en caché de la lista proporciona un mejor rendimiento para las operaciones que enumeran el contenido de los directorios. Cuando se habilita el almacenamiento en caché de listas, los resultados de las listas de objetos de Cloud Storage para un directorio se almacenan en caché en la memoria. Las siguientes listas del mismo directorio se pueden entregar directamente desde esta caché.
Latencia reducida: Al entregar los resultados de la lista desde la caché local, Cloud Storage evita los viajes de ida y vuelta de la red a Cloud Storage para recuperar la lista de objetos, lo que reduce significativamente la latencia de las operaciones de la lista de directorios, en especial para los directorios que contienen muchos objetos o cuando la latencia de la red es alta.
Mejor rendimiento para cargas de trabajo repetitivas: Las cargas de trabajo que analizan repetidamente los mismos directorios, como los trabajos de entrenamiento de inteligencia artificial y aprendizaje automático (IA/AA), los procesos de compilación o las herramientas de sincronización de archivos, pueden experimentar mejoras en el rendimiento.
Almacenamiento en memoria: La caché de la lista se mantiene en la memoria caché de la página, que el kernel controla según la disponibilidad de la memoria, a diferencia de las cachés de estadísticas y tipos, que se mantienen en la memoria de tu máquina y las controla Cloud Storage FUSE.
Configura el almacenamiento en caché de la lista
Puedes habilitar el almacenamiento en caché de listas con uno de los siguientes métodos:
- Opción
gcsfuse:--kernel-list-cache-ttl-secs - Campo del archivo de configuración:
file-system:kernel-list-cache-ttl-secs
Enumera la invalidación de caché
La invalidación de caché de listas se establece especificando un valor mayor que 0 con uno de los siguientes métodos:
gcsfuse option:--kernel-list-cache-ttl-secs- Campo del archivo de configuración:
file-system:kernel-list-cache-ttl-secs
La respuesta de la lista de directorios se mantiene en la caché de la página del kernel y sigue siendo válida durante el tiempo que especificaste. Cuando especificas un valor de -1, Cloud Storage FUSE inhabilita el vencimiento de la caché de la lista y muestra la respuesta de la lista de la caché cuando está disponible. Si se especifica un valor de 0, se inhabilita la caché de la lista.
¿Qué sigue?
Revisa las consideraciones para el almacenamiento en caché en Cloud Storage FUSE.
Obtén más información para mejorar el rendimiento.