Nilai konfigurasi otomatis untuk jenis mesin berperforma tinggi

Dokumen ini menjelaskan cara menyetel nilai Cloud Storage FUSE default yang digunakan secara otomatis untuk jenis mesin Compute Engine berperforma tinggi, yang dirancang untuk mengoptimalkan performa untuk beban kerja yang berat dan memiliki throughput tinggi. Nilai yang ditetapkan secara manual pada saat pemasangan akan menggantikan nilai default ini.

Jenis mesin

Nilai konfigurasi otomatis untuk jenis mesin Compute Engine berperforma tinggi berikut:

Jenis seri Jenis mesin
Seri mesin A2
a2-megagpu-16g
a2-ultragpu-8g
Seri mesin A3
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
Seri mesin A4
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e (Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

Nilai konfigurasi otomatis

Saat jenis mesin yang didukung terdeteksi, Cloud Storage FUSE akan otomatis menerapkan nilai konfigurasi berikut:

Kolom file konfigurasi Cloud Storage FUSE Opsi CLI Cloud Storage FUSE Nilai konfigurasi otomatis
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1Menyetel konfigurasi ini ke -1 akan meningkatkan performa secara signifikan dengan selalu menyalurkan file dari cache. Perhatikan bahwa konfigurasi ini melewati pemeriksaan konsistensi, yang dapat menyebabkan penayangan data yang sudah tidak berlaku. Untuk mengetahui detail tentang pengelolaan konsistensi data, lihat Ringkasan caching di Cloud Storage FUSE.

Penyesuaian performa lebih lanjut

Saat Anda menggunakan jenis mesin Google Cloud performa tinggi, nilai konfigurasi yang dijelaskan di halaman ini akan diterapkan secara otomatis. Namun, Anda dapat lebih menyetel mesin untuk performa optimal menggunakan metode berikut:

  • Gunakan Panduan praktik terbaik penyesuaian performa untuk meningkatkan Cloud Storage FUSE menggunakan fitur dan konfigurasi utama Cloud Storage FUSE guna mencapai throughput maksimum dan performa optimal.

  • Jika Anda menjalankan pelatihan, penayangan, atau checkpointing dan workload cache Just in Time (JIT) di cluster Google Kubernetes Engine yang menggunakan GPU Cloud atau TPU Cloud untuk mengakses set data besar di Cloud Storage, Anda dapat menyederhanakan penyiapan dengan memanfaatkan file YAML yang telah dikonfigurasi sebelumnya untuk memasang bucket Cloud Storage langsung ke pod secara lebih efisien. Untuk mengetahui informasi selengkapnya dan petunjuk cara menggunakan file YAML GKE yang telah dikonfigurasi sebelumnya, lihat Menggunakan file YAML GKE yang telah dikonfigurasi sebelumnya untuk mengoptimalkan performa Cloud Storage FUSE.

  • Jika menjalankan beban kerja pelatihan, penayangan, atau pembuatan titik pemeriksaan menggunakan Cloud Storage FUSE, Anda dapat menggunakan kolom profile atau opsi perintah --profile untuk menyesuaikan konfigurasi Cloud Storage FUSE tertentu secara otomatis agar performanya optimal berdasarkan jenis beban kerja tertentu. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi berbasis profil untuk workload AI/ML.

Langkah berikutnya