En este documento, se proporcionan detalles sobre el almacenamiento en caché de listas para Cloud Storage FUSE, que acelera las operaciones de fichas de directorios para cargas de trabajo que suelen enumerar todo el contenido de un directorio, como la iteración en un conjunto grande de archivos al comienzo de un trabajo de procesamiento, lo que mejora la velocidad del recorrido por el directorio.
Beneficios del almacenamiento en caché de listas
Operaciones de fichas de directorios más rápidas: El almacenamiento en caché de listas proporciona un rendimiento mejorado para las operaciones que enumeran el contenido de los directorios. Cuando se habilita el almacenamiento en caché de listas, los resultados de las fichas de objetos de Cloud Storage para un directorio se almacenan en caché en la memoria. Las fichas posteriores del mismo directorio se pueden entregar directamente desde esta caché.
Latencia reducida: Al entregar los resultados de la lista desde la caché local, Cloud Storage evita los viajes de ida y vuelta de la red a Cloud Storage para recuperar la lista de objetos, lo que reduce significativamente la latencia de las operaciones de fichas de directorios, en especial para los directorios que contienen muchos objetos o cuando la latencia de la red es alta.
Rendimiento mejorado para cargas de trabajo repetitivas: Las cargas de trabajo que analizan repetidamente los mismos directorios, como los trabajos de entrenamiento de inteligencia artificial y aprendizaje automático (IA/AA), los procesos de compilación o las herramientas de sincronización de archivos, pueden ver mejoras en el rendimiento.
Almacenamiento en memoria: La caché de la lista se mantiene en la memoria caché de la página, que el kernel controla según la disponibilidad de la memoria, a diferencia de la caché de estadísticas, que se mantiene en la memoria de tu máquina y la controla Cloud Storage FUSE.
Configura el almacenamiento en caché de listas
Puedes habilitar el almacenamiento en caché de listas con uno de los siguientes métodos:
- Opción
gcsfuse:--kernel-list-cache-ttl-secs - Campo del archivo de configuración:
file-system:kernel-list-cache-ttl-secs
Enumera la invalidación de caché
La invalidación de caché de listas se establece mediante la especificación de un valor mayor que 0 con uno de los siguientes métodos:
gcsfuse option:--kernel-list-cache-ttl-secs- Campo del archivo de configuración:
file-system:kernel-list-cache-ttl-secs
La respuesta de la lista de directorios se mantiene en la caché de la página del kernel y sigue siendo válida durante el tiempo que especificaste. Cuando especificas un valor de -1, Cloud Storage FUSE inhabilita el vencimiento de la caché de la lista y muestra la respuesta de la lista de la caché cuando está disponible. Si especificas un valor de 0, se inhabilita la caché de la lista.
¿Qué sigue?
Revisa las consideraciones para el almacenamiento en caché en Cloud Storage FUSE.
Obtén más información sobre cómo mejorar el rendimiento.