Konfigurasi berbasis profil untuk workload AI/ML

Dokumen ini menjelaskan cara menggunakan konfigurasi berbasis profil untuk menyederhanakan adopsi dan meningkatkan performa Cloud Storage FUSE untuk workload kecerdasan buatan atau machine learning (AI/ML) Anda.

Untuk membantu Anda menyederhanakan konfigurasi Cloud Storage FUSE untuk workload inferensi, checkpoint, atau pelatihan, Anda dapat menerapkan profil yang telah dikonfigurasi sebelumnya berdasarkan jenis workload menggunakan kolom profile atau opsi --profile. Dengan menggunakan kolom atau opsi, Anda dapat menentukan set fitur Cloud Storage FUSE yang telah ditetapkan dan dioptimalkan untuk caching, threading, dan ukuran buffer, sehingga memastikan performa tinggi dengan upaya minimal untuk workload pelatihan, checkpointing, dan inferensi, dengan nilai profil masing-masing aiml-training, aiml-checkpointing, dan aiml-serving.

Pertimbangan

  • Anda hanya dapat menetapkan opsi --profile atau kolom profile selama operasi pemasangan. Jika perlu memperbarui opsi --profile atau kolom profile, Anda harus me-remount bucket Cloud Storage FUSE.

  • Saat Anda menggunakan konfigurasi berbasis profil, Cloud Storage FUSE menetapkan kapasitas cache metadata dan time to live (TTL) ke tidak terbatas, yang berarti entri tidak akan pernah dihapus dari cache metadata. Jika mesin virtual Anda tidak memiliki memori yang cukup, Anda mungkin mengalami error Kehabisan Memori (OOM). Oleh karena itu, sebaiknya tinjau kapasitas memori Anda sebelum menerapkan konfigurasi berbasis profil. Error OOM lebih mungkin terjadi pada mesin dengan memori kurang dari satu TiB.

  • Jika parameter Cloud Storage FUSE dikonfigurasi dengan beberapa cara, urutan prioritas berikut berlaku (dari tertinggi ke terendah):

    1. Nilai yang ditetapkan langsung dalam perintah gcsfuse atau file konfigurasi Cloud Storage FUSE.
    2. Nilai yang ditetapkan oleh profil, dengan profil yang ditentukan menggunakan opsi --profile dalam perintah gcsfuse atau kolom profile dalam file konfigurasi Cloud Storage FUSE.
    3. Nilai default diterapkan secara otomatis saat Cloud Storage FUSE mendeteksi jenis mesin berperforma tinggi. Untuk mengetahui informasi selengkapnya, lihat Nilai konfigurasi otomatis untuk jenis mesin berperforma tinggi.

  • Volume CSI Cloud Storage FUSE di Pod Google Kubernetes Engine tidak mendukung kolom profile atau opsi --profile.

  • Caching file tidak dapat diaktifkan menggunakan konfigurasi berbasis profil karena caching file memerlukan penggunaan kolom konfigurasi Cloud Storage FUSE dan opsi CLI Cloud Storage FUSE yang tidak dapat digeneralisasi. Untuk mengaktifkan caching file untuk melayani, melatih, atau membuat checkpoint beban kerja, Anda harus mengonfigurasi opsi atau kolom caching file secara eksplisit.

Menerapkan konfigurasi berbasis profil untuk workload pelatihan

Profil khusus pelatihan mengoptimalkan performa untuk pembacaan set data besar dengan throughput tinggi dan mencegah hardware GPU Cloud dan Cloud TPU menunggu data.

Untuk menerapkan profil khusus pelatihan, tentukan profile: aiml-training menggunakan file konfigurasi Cloud Storage FUSE atau --profile=aiml-training menggunakan Cloud Storage FUSE CLI. Konfigurasi berikut kemudian diterapkan:

   # Create implicit directories locally when accessed:
   - implicit-dirs
   # Disable caching for lookups of files or directories that don't exist:
   - metadata-cache:negative-ttl-secs:0
   # Keep cached metadata (file attributes, types) indefinitely time-wise:
   - metadata-cache:ttl-secs:-1
   # Allow unlimited size for the file attribute (stat) cache:
   - metadata-cache:stat-cache-max-size-mb:-1

Menerapkan konfigurasi berbasis profil untuk workload checkpointing

Profil khusus checkpoint mengoptimalkan performa untuk penulisan throughput tinggi untuk file besar dengan mengurangi waktu yang diperlukan untuk menyimpan checkpoint multi-gigabyte secara drastis, sehingga meminimalkan jeda pelatihan.

Untuk menerapkan profil khusus pembuatan titik pemeriksaan, tentukan profile: aiml-checkpointing menggunakan file konfigurasi Cloud Storage FUSE atau --profile=aiml-checkpointing menggunakan CLI Cloud Storage FUSE. Kemudian, konfigurasi berikut diterapkan:

  # Create implicit directories locally when accessed:
  - implicit-dirs
  # Disable caching for lookups of files/dirs that don't exist:
  - metadata-cache:negative-ttl-secs:0
  # Keep cached metadata (file attributes, types) indefinitely time-wise:
  - metadata-cache:ttl-secs:-1
  # Allow unlimited size for the file attribute (stat) cache:
  - metadata-cache:stat-cache-max-size-mb:-1
  # Cache the entire file when any part is read sequentially:
  - file-cache:cache-file-for-range-read:true
  # Allow renaming directories with a lot of files in non-HNS buckets.
  - file-system:rename-dir-limit:200000

Menerapkan konfigurasi berbasis profil untuk workload inferensi

Penyajian mengoptimalkan performa untuk menyajikan workload dengan meningkatkan mekanisme akses data dan caching.

Untuk menerapkan profil khusus penayangan, tentukan profile: aiml-serving menggunakan file konfigurasi Cloud Storage FUSE atau --profile=aiml-serving menggunakan CLI Cloud Storage FUSE. Konfigurasi berikut kemudian diterapkan:

  # Create implicit directories locally when accessed:
  - implicit-dirs
  # Disable caching for lookups of files/dirs that don't exist:
  - metadata-cache:negative-ttl-secs:0
  # Keep cached metadata (file attributes, types) indefinitely time-wise:
  - metadata-cache:ttl-secs:-1
  # Allow unlimited size for the file attribute (stat) cache:
  - metadata-cache:stat-cache-max-size-mb:-1
  # Cache the entire file when any part is read sequentially:
  - file-cache:cache-file-for-range-read:true
  # Enable kernel-list-cache to make listing faster as this is a readonly file system hierarchy.
  - file-system:kernel-list-cache-ttl-secs:-1

Langkah berikutnya