En este documento, se proporcionan detalles sobre las opciones de almacenamiento en caché disponibles para Cloud Storage FUSE y cómo se puede configurar cada tipo de caché.
Para ayudar a aumentar el rendimiento de la recuperación de datos, Cloud Storage FUSE ofrece cuatro tipos de almacenamiento en caché opcional. Usa la siguiente tabla para obtener más información sobre cada tipo de almacenamiento en caché:
| Tipo de almacenamiento en caché | Descripción |
|---|---|
| Almacenamiento en caché de archivos | Acelera las lecturas de datos de archivos para cargas de trabajo con muchas lecturas que acceden a los datos de forma repetitiva, en especial el entrenamiento de aprendizaje automático y de inteligencia artificial, en el que los mismos archivos grandes se leen varias veces, lo que reduce significativamente la latencia. |
| Almacenamiento en caché de la lista | Acelera las operaciones de enumeración de directorios para las cargas de trabajo que enumeran con frecuencia todo el contenido de un directorio, como la iteración sobre un gran conjunto de archivos al comienzo de un trabajo de procesamiento, lo que mejora la velocidad de recorrido del directorio. |
| Almacenamiento en caché de estadísticas | Acelera las operaciones de metadatos de archivos para las aplicaciones que verifican con frecuencia los atributos de los archivos, lo que es común para muchas aplicaciones que verifican repetidamente si un archivo cambió, lo que reduce la cantidad de llamadas a `GetMetadata` para Cloud Storage. |
| Almacenamiento en caché de tipos | Acelera las verificaciones de existencia de archivos o directorios para las cargas de trabajo que realizan muchas verificaciones de existencia o búsquedas de rutas, lo que mejora la latencia, ya que reduce la cantidad de solicitudes que se realizan a Cloud Storage para verificar si existe una ruta. |
Consideraciones
Habilitar el almacenamiento en caché puede aumentar el rendimiento, pero reducir la coherencia, lo que suele ocurrir cuando accedes al mismo bucket con varios clientes con una tasa de cambio alta. Para reducir el impacto en la coherencia, recomendamos activar los buckets como de solo lectura. Para obtener más información sobre el comportamiento del almacenamiento en caché, consulta Semántica de Cloud Storage FUSE en la documentación de GitHub de Cloud Storage FUSE.
Para evitar la hiperpaginación de caché, asegúrate de que todo tu conjunto de datos se ajuste a la capacidad de caché. Además, considera la capacidad y el rendimiento máximos que pueden proporcionar tus medios de caché. Si alcanzaste el rendimiento máximo de la caché aprovisionada, el límite de capacidad o ambos, es beneficioso leer directamente desde Cloud Storage, que tiene límites mucho más altos que Cloud Storage FUSE.
Ruta de lectura para los datos almacenados en caché
La caché de Cloud Storage FUSE acelera las lecturas repetidas después de que se transfieran a la caché. Las lecturas por primera vez y los errores de caché van directamente a Cloud Storage y están sujetos a latencias de red normales de Cloud Storage. Para mejorar el rendimiento de la primera lectura, consulta Cómo completar previamente la caché de metadatos.
¿Qué sigue?
Obtén más información sobre cada tipo de almacenamiento en caché: