Cloud Storage FUSE의 목록 캐싱

이 문서에서는 Cloud Storage FUSE의 목록 캐싱에 대해 자세히 설명합니다. 목록 캐싱은 처리 작업 시작 시 대규모 파일 집합을 반복하는 등 디렉터리의 전체 콘텐츠를 자주 나열하는 워크로드의 디렉터리 목록 작성 작업을 가속화하여 디렉터리 순회 속도를 개선합니다.

목록 캐싱의 이점

  • 더 빠른 디렉터리 목록 작업: 목록 캐싱은 디렉터리의 콘텐츠를 나열하는 작업의 성능을 개선합니다. 목록 캐싱이 사용 설정되면 디렉터리의 Cloud Storage 객체 목록의 결과가 메모리에 캐시됩니다. 동일한 디렉터리의 후속 목록은 이 캐시에서 직접 제공할 수 있습니다.

  • 지연 시간 감소: Cloud Storage는 로컬 캐시에서 목록 결과를 제공하여 객체 목록을 가져오기 위해 Cloud Storage로의 네트워크 왕복을 방지하므로 특히 객체가 많은 디렉터리나 네트워크 지연 시간이 높은 경우 디렉터리 목록 작업의 지연 시간을 크게 줄입니다.

  • 반복적인 워크로드의 성능 개선: 인공지능 및 머신러닝 (AI/ML) 학습 작업, 빌드 프로세스, 파일 동기화 도구와 같이 동일한 디렉터리를 반복적으로 스캔하는 워크로드의 성능이 향상될 수 있습니다.

  • 메모리 내 스토리지: 목록 캐시는 머신의 메모리에 보관되고 Cloud Storage FUSE에 의해 제어되는 통계 및 유형 캐시와 달리 메모리 가용성을 기반으로 커널에 의해 제어되는 페이지 캐시의 메모리에 보관됩니다.

목록 캐싱 구성

다음 방법 중 하나를 사용하여 목록 캐싱을 사용 설정할 수 있습니다.

목록 캐시 무효화

목록 캐시 무효화는 다음 방법 중 하나를 사용하여 0보다 큰 값을 지정하여 설정됩니다.

  • gcsfuse option: --kernel-list-cache-ttl-secs
  • 구성 파일 필드: file-system:kernel-list-cache-ttl-secs

디렉터리 목록 응답은 커널의 페이지 캐시에 보관되며 지정한 기간 동안 유효하게 유지됩니다. -1 값을 지정하면 Cloud Storage FUSE는 목록 캐시 만료를 사용 중지하고, 사용 가능한 경우 캐시에서 목록 응답을 반환합니다. 0 값을 지정하면 목록 캐시가 사용 중지됩니다.

다음 단계