Caching daftar di Cloud Storage FUSE

Dokumen ini memberikan detail tentang caching daftar untuk Cloud Storage FUSE, yang mempercepat operasi pencantuman direktori untuk workload yang sering mencantumkan seluruh konten direktori, seperti melakukan iterasi pada sekumpulan besar file di awal tugas pemrosesan, sehingga meningkatkan kecepatan traversal direktori.

Manfaat caching daftar

  • Operasi pencantuman direktori yang lebih cepat: caching daftar memberikan peningkatan performa untuk operasi yang mencantumkan konten direktori. Jika caching daftar diaktifkan, hasil pencantuman objek Cloud Storage untuk direktori akan di-cache dalam memori. Pencantuman berikutnya dari direktori yang sama dapat langsung ditampilkan dari cache ini.

  • Latensi yang lebih rendah: dengan menampilkan hasil daftar dari cache lokal, Cloud Storage menghindari perjalanan pulang pergi jaringan ke Cloud Storage untuk mengambil daftar objek, sehingga mengurangi latensi operasi pencantuman direktori secara signifikan, terutama untuk direktori yang berisi banyak objek atau saat latensi jaringan tinggi.

  • Performa yang lebih baik untuk workload berulang: workload yang berulang kali memindai direktori yang sama, seperti tugas pelatihan kecerdasan buatan dan machine learning (AI/ML), proses build, atau alat sinkronisasi file, dapat memperoleh peningkatan performa.

  • Penyimpanan dalam memori: Cache daftar disimpan dalam memori di cache halaman, yang dikontrol oleh kernel berdasarkan ketersediaan memori, berbeda dengan cache statistik, yang disimpan dalam memori mesin Anda dan dikontrol oleh Cloud Storage FUSE.

Mengonfigurasi caching daftar

Anda dapat mengaktifkan caching daftar menggunakan salah satu metode berikut:

Invalidasi cache daftar

Invalidasi cache daftar ditetapkan dengan menentukan nilai yang lebih besar dari 0 menggunakan salah satu metode berikut:

  • gcsfuse option: --kernel-list-cache-ttl-secs
  • Kolom file konfigurasi: file-system:kernel-list-cache-ttl-secs

Respons daftar direktori disimpan dalam cache halaman kernel dan tetap valid selama jangka waktu yang Anda tentukan. Jika Anda menentukan nilai -1, Cloud Storage FUSE akan menonaktifkan masa berlaku cache daftar dan menampilkan respons daftar dari cache jika tersedia. Menentukan nilai 0 akan menonaktifkan cache daftar.

Langkah berikutnya