Nilai konfigurasi otomatis untuk jenis mesin berperforma tinggi

Dokumen ini menjelaskan cara otomatis menetapkan nilai Cloud Storage FUSE default yang digunakan untuk jenis mesin Compute Engine berperforma tinggi, yang dirancang untuk mengoptimalkan performa workload yang menuntut dan berthroughput tinggi. Nilai yang ditetapkan secara manual pada saat pemasangan akan mengganti nilai default ini.

Jenis mesin

Nilai konfigurasi diotomatiskan untuk jenis mesin Compute Engine berperforma tinggi berikut:

Jenis seri Jenis mesin
Seri mesin A2

a2-megagpu-16g

a2-ultragpu-8g
Seri mesin A3

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
Seri mesin A4

a4-highgpu-8g-lowmem
Seri mesin A4X
a4x-highgpu-4g
TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
TPU 7x (Ironwood)
tpu7x-standard-4t

Nilai konfigurasi otomatis

Saat jenis mesin yang didukung terdeteksi, Cloud Storage FUSE akan otomatis menerapkan nilai konfigurasi berikut:

Kolom file konfigurasi Cloud Storage FUSE Opsi Cloud Storage FUSE CLI Nilai konfigurasi otomatis
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache:ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

1Menetapkan konfigurasi ini ke -1 akan meningkatkan performa secara signifikan dengan selalu menayangkan file dari cache. Perhatikan bahwa konfigurasi ini melewati pemeriksaan konsistensi, yang dapat menyebabkan penayangan data yang tidak berlaku lagi. Untuk mengetahui detail tentang cara mengelola konsistensi data, lihat Ringkasan caching di Cloud Storage FUSE.

Penyesuaian performa lebih lanjut

Saat Anda menggunakan jenis mesin berperforma tinggi Google Cloud , nilai konfigurasi yang dijelaskan di halaman ini akan otomatis diterapkan. Namun, Anda dapat menyesuaikan mesin lebih lanjut untuk performa optimal menggunakan metode berikut:

  • Gunakan panduan Praktik terbaik penyesuaian performa untuk meningkatkan Cloud Storage FUSE menggunakan fitur dan konfigurasi Cloud Storage FUSE utama guna mencapai throughput maksimum dan performa optimal.

  • Jika Anda menjalankan workload pelatihan, inferensi, atau checkpointing dan cache Just in Time (JIT) di cluster Google Kubernetes Engine yang menggunakan GPU Cloud atau Cloud TPU untuk mengakses set data besar di Cloud Storage, Anda dapat menyederhanakan penyiapan dengan menggunakan file YAML yang telah dikonfigurasi sebelumnya untuk memasang bucket Cloud Storage langsung ke pod secara lebih efisien. Untuk mengetahui informasi dan petunjuk selengkapnya tentang cara menggunakan file YAML GKE yang telah dikonfigurasi sebelumnya, lihat Menggunakan file YAML GKE yang telah dikonfigurasi sebelumnya untuk mengoptimalkan performa Cloud Storage FUSE.

  • Jika Anda menjalankan workload pelatihan, penayangan, atau checkpointing menggunakan Cloud Storage FUSE, Anda dapat menggunakan profile kolom atau --profile opsi perintah untuk otomatis menyesuaikan konfigurasi Cloud Storage FUSE tertentu untuk performa optimal berdasarkan jenis workload tertentu. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi berbasis profil untuk workload AI/ML.

Langkah berikutnya