Almacenamiento en caché de listas en Cloud Storage FUSE

En este documento se proporcionan detalles sobre el almacenamiento en caché de listas de Cloud Storage FUSE, que acelera las operaciones de listado de directorios de las cargas de trabajo que suelen enumerar todo el contenido de un directorio, como la iteración en un conjunto grande de archivos al principio de un trabajo de procesamiento, lo que mejora la velocidad de recorrido de los directorios.

Ventajas del almacenamiento en caché de listas

  • Operaciones de listado de directorios más rápidas: el almacenamiento en caché de listas mejora el rendimiento de las operaciones que muestran el contenido de los directorios. Cuando se habilita el almacenamiento en caché de listas, los resultados de las listas de objetos de Cloud Storage de un directorio se almacenan en caché en la memoria. Las siguientes listas del mismo directorio se pueden publicar directamente desde esta caché.

  • Latencia reducida: al servir los resultados de la lista desde la caché local, Cloud Storage evita los viajes de ida y vuelta de la red a Cloud Storage para obtener la lista de objetos, lo que reduce significativamente la latencia de las operaciones de listado de directorios, especialmente en los directorios que contienen muchos objetos o cuando la latencia de la red es alta.

  • Rendimiento mejorado para cargas de trabajo repetitivas: las cargas de trabajo que analizan repetidamente los mismos directorios, como los trabajos de entrenamiento de inteligencia artificial y aprendizaje automático (IA/ML), los procesos de compilación o las herramientas de sincronización de archivos, pueden experimentar mejoras en el rendimiento.

  • Almacenamiento en memoria: la caché de listas se mantiene en la memoria de la caché de páginas, que controla el kernel en función de la disponibilidad de memoria. Esto es diferente de las cachés de estadísticas y de tipos, que se mantienen en la memoria de tu máquina y las controla Cloud Storage FUSE.

Configurar el almacenamiento en caché de listas

Puede habilitar el almacenamiento en caché de listas mediante uno de los siguientes métodos:

Invalidación de caché de listas

La invalidación de la caché de listas se define especificando un valor superior a 0 mediante uno de los siguientes métodos:

  • gcsfuse option: --kernel-list-cache-ttl-secs
  • Campo de archivo de configuración: file-system:kernel-list-cache-ttl-secs

La respuesta de la lista de directorios se mantiene en la caché de páginas del kernel y sigue siendo válida durante el tiempo que hayas especificado. Si especificas el valor -1, Cloud Storage FUSE inhabilita la caducidad de la caché de listas y devuelve la respuesta de la lista de la caché cuando está disponible. Si se especifica el valor 0, se inhabilita la caché de la lista.

Siguientes pasos