Cloud Storage FUSE 中的列表缓存

本文档详细介绍了 Cloud Storage FUSE 的列表缓存，该功能可加快经常列出目录全部内容的工作负载的目录列出操作，例如在处理作业开始时迭代处理大量文件，从而提高目录遍历速度。

列表缓存的优势

  • 更快的目录列表操作：列表缓存可提升列出目录内容的操作的性能。启用列表缓存后，系统会将目录的 Cloud Storage 对象列表结果缓存到内存中。同一目录的后续列表可直接从该缓存中提供。

  • 缩短延迟时间：通过从本地缓存提供列表结果，Cloud Storage 可避免往返于 Cloud Storage 来提取对象列表，从而显著缩短目录列出操作的延迟时间，尤其是在目录包含许多对象或网络延迟时间较长时。

  • 提升了重复性工作负载的性能：对于重复扫描相同目录的工作负载（例如人工智能和机器学习 (AI/ML) 训练作业、构建流程或文件同步工具），性能会有所提升。

  • 内存中存储：列表缓存保留在页面缓存的内存中，由内核根据内存可用性进行控制，而状态和类型缓存则保留在机器的内存中，由 Cloud Storage FUSE 控制。

配置列表缓存

您可以使用以下方法之一启用列表缓存：

列出缓存失效操作

通过使用以下方法之一指定大于 0 的值来设置列表缓存失效：

  • gcsfuse option：--kernel-list-cache-ttl-secs
  • 配置文件字段：file-system:kernel-list-cache-ttl-secs

目录列表响应会保留在内核的页面缓存中，并在您指定的时间内保持有效。如果您指定值 -1，Cloud Storage FUSE 会停用列表缓存到期时间，并在缓存可用时从缓存中返回列表响应。指定值 0 可停用列表缓存。

后续步骤