Tentang layanan penyimpanan untuk workload AI dan ML

Layanan penyimpanan menyediakan arsitektur data penting yang membantu mengaktifkan pelatihan, inferensi, dan penyesuaian model berperforma tinggi di AI Hypercomputer.

Rekomendasi ini khusus untuk GPU Bercluster.

Dokumen ini ditujukan untuk membantu arsitek, engineer penyimpanan, dan developer mengevaluasi dan memilih layanan penyimpanan yang tepat untuk workload mereka di AI Hypercomputer.

Pengantar layanan penyimpanan

Google Cloud menawarkan beberapa solusi penyimpanan yang dioptimalkan untuk kasus penggunaan AI dan ML:

  • Cloud Storage adalah sistem penyimpanan objek yang dirancang untuk memproses dan menyimpan set data besar, seperti yang diperlukan untuk pelatihan atau inferensi massal. Cloud Storage menawarkan beberapa kemampuan untuk membantu Anda mengoptimalkan penyimpanan data untuk tugas AI dan ML.

  • Google Cloud Managed Lustre adalah sistem file paralel yang mematuhi POSIX dan terkelola sepenuhnya yang dirancang untuk performa metadata khusus, latensi rendah, dan konkurensi tinggi yang diperlukan untuk workload pelatihan dan inferensi.

  • Gabungan Hyperdisk dan Exapool Hyperdisk menyediakan blok kapasitas penyimpanan, throughput, dan operasi input/output per detik (IOPS) gabungan yang dapat Anda bagikan di seluruh instance komputasi. Anda dapat meminta volume Hyperdisk Balanced atau volume Hyperdisk Throughput dalam reservasi.

Bagian berikut memberikan informasi selengkapnya tentang setiap layanan penyimpanan.

Cloud Storage

Cloud Storage adalah penyimpanan objek dasar yang dirancang untuk menawarkan skalabilitas, ketahanan, dan efisiensi biaya global. Saat menggunakan Cloud Storage, Anda menyimpan data sebagai objek dalam container yang disebut bucket. Cloud Storage menawarkan beberapa kemampuan untuk bucket Anda yang membantu mengoptimalkan performa workload AI dan ML:

  • Produk dalam keluarga Cloud Storage Rapid dirancang untuk menghilangkan hambatan data untuk workload AI dan ML Anda dengan mendekatkan data Anda ke resource komputasi. Produk ini memungkinkan Anda menempatkan data di zona yang sama dengan workload komputasi dan memungkinkan penskalaan penyimpanan data berperforma tinggi dan hemat biaya untuk cluster GPU atau TPU. Produk Cloud Storage Rapid mencakup hal-hal berikut:

    • Rapid Bucket memberikan performa baca dan tulis tercepat di Cloud Storage untuk bucket zonal. Objek di bucket zonal disimpan di Rapid storage, yaitu kelas penyimpanan berperforma tinggi yang dioptimalkan untuk workload yang intensif I/O. Selain latensi yang lebih rendah, Bucket Cepat memberikan throughput yang jauh lebih tinggi (hingga 15 TB/dtk) dibandingkan dengan produk dan lokasi bucket lainnya di Cloud Storage.

    • Rapid Cache mempercepat pembacaan data ke bucket yang ada tanpa memerlukan perubahan kode. Rapid Cache adalah cache baca zona yang didukung SSD untuk bucket Cloud Storage yang digunakan untuk menyajikan data untuk permintaan baca data. Produk ini menawarkan throughput yang lebih tinggi (hingga 2,5 TB/dtk) dan latensi yang lebih rendah daripada bucket tanpa cache.

      Rapid Cache sering kali disiapkan untuk bucket multi-region, dengan kapasitas akselerator yang terfragmentasi di seluruh Google Cloud region. Data yang dibaca dari cache dikenai biaya transfer data yang lebih rendah daripada data yang dibaca langsung dari bucket multi-region.

  • Cloud Storage FUSE adalah adaptor FUSE open source yang memungkinkan Anda memasang bucket sebagai sistem file lokal, sehingga aplikasi dapat berinteraksi dengan penyimpanan objek menggunakan semantik sistem file standar. Kemampuan ini memungkinkan Anda memanfaatkan skalabilitas global, ketahanan, dan efisiensi biaya Cloud Storage dengan akses file lokal. Cloud Storage FUSE dikelola dan didukung secara aktif oleh Google.

    Cloud Storage FUSE menawarkan beberapa parameter penyesuaian dan caching sisi klien, seperti download paralel. Kemampuan ini dapat mengabstraksi kompleksitas pengembangan dan membantu mencapai performa puncak dengan membagi atau memparalelkan aliran.

  • Namespace hierarkis memungkinkan struktur sistem file yang sebenarnya dalam bucket dan memberikan kemampuan pengelolaan data yang efisien, termasuk penggantian nama folder atomik dan pencarian file yang lebih cepat saat bucket dipasang dengan Cloud Storage FUSE. Namespace hierarkis menawarkan kueri per detik (QPS) 8 kali lebih tinggi untuk pembacaan dan penulisan objek daripada bucket tanpa namespace hierarkis. Untuk mengetahui informasi selengkapnya tentang manfaat penggunaan namespace hierarkis, lihat manfaat performa dan pengelolaan.

    Mengaktifkan namespace hierarkis sangat direkomendasikan jika Anda memiliki workload yang memerlukan pemuatan data dengan throughput tinggi dan pembuatan checkpoint model yang sering. Namespace hierarkis harus diaktifkan saat membuat bucket zonal dengan Rapid Bucket.

Managed Lustre

Google Cloud Managed Lustre adalah sistem file paralel berperforma tinggi yang kompatibel dengan POSIX dan terkelola sepenuhnya yang dioptimalkan untuk aplikasi AI dan ML. Arsitektur Managed Lustre sangat cocok untuk workload AI/ML dengan throughput tinggi, latensi rendah, dan konkurensi metadata tinggi, seperti pembuatan checkpoint, propagasi bobot berkecepatan tinggi dalam pembelajaran reinforcement, dan caching Key-Value (KV).

Untuk mengetahui informasi selengkapnya tentang kasus penggunaan umum Managed Lustre, lihat Kasus bisnis.

Kumpulan Hyperdisk

Gabungan Hyperdisk memungkinkan Anda mengelola dan membagikan kapasitas penyimpanan, throughput, dan IOPS dalam gabungan khusus di seluruh instance komputasi. Pendekatan ini membantu memastikan bahwa Anda memiliki resource penyimpanan yang diperlukan untuk menjalankan workload.

Saat memesan kapasitas untuk GPU yang dikelompokkan, Anda juga dapat meminta kumpulan Hyperdisk. Tindakan ini menyediakan resource komputasi dan penyimpanan secara bersamaan.

Perbandingan layanan penyimpanan

Tabel berikut memberikan perbandingan umum antara Cloud Storage, Managed Lustre, dan kumpulan Hyperdisk berdasarkan karakteristik utama:

Karakteristik Cloud Storage Managed Lustre Kumpulan Hyperdisk
Arsitektur

Penyimpanan objek

  • Data disimpan dalam bucket datar secara default. Semua jenis bucket (zonal, regional, dual-region, dan multi-region) menawarkan opsi geo-redundansi yang dapat dipercepat dengan kemampuan Cloud Storage Rapid.
  • Anda dapat mengaktifkan namespace hierarkis untuk membuat bucket yang mendukung penyimpanan data dalam struktur sistem file.
  • Anda dapat mengaktifkan Cloud Storage FUSE secara opsional untuk memasang bucket sebagai sistem file lokal.

Sistem file paralel

  • Data disimpan sebagai file di instance Lustre Terkelola dan di-mount sebagai sistem file lokal di seluruh cluster akselerator Anda tanpa memerlukan penyesuaian tambahan.

Kumpulan Hyperdisk

  • Jika Anda menggunakan volume Hyperdisk Balanced, maka Storage Pool dan Exapools mendukung disk boot dan non-boot. Jika Anda menggunakan volume Hyperdisk Throughput, maka Storage Pool dan Exapool hanya mendukung disk non-boot.
Kapasitas penyimpanan

Melakukan penskalaan hingga kapasitas EB.

Dapat diskalakan hingga kapasitas 80 PB, bergantung pada tingkat performa instance.

Melakukan penskalaan dari 10 TiB hingga 5 PiB per kumpulan (hingga 5 EiB dengan Exapools).
Performa

Mendukung hal berikut:

  • Latensi sub-milidetik untuk file terbuka dengan Rapid Bucket
  • Puluhan juta IOPS/TiB dengan Rapid Bucket
  • Bandwidth hingga 2,5 TiB/dtk dengan Rapid Cache
  • Bandwidth hingga 15 TiB/dtk dengan Rapid Bucket
  • Permintaan penambahan bandwidth

Mendukung hal berikut:

  • Latensi sub-milidetik
  • Puluhan juta IOPs/TiB
  • Bandwidth hingga 10 TiB/s

Mendukung hal berikut:

  • Latensi sub-milidetik
  • Hingga 4.194.304 IOPS yang disediakan untuk kumpulan penyimpanan Hyperdisk Balanced
  • Throughput yang disediakan hingga 1 TiB/s untuk penyimpanan gabungan
  • Untuk Exapools, performa diskalakan dengan unit kapasitas (dioptimalkan untuk baca, dioptimalkan untuk tulis, atau dioptimalkan untuk kapasitas) menjadi jutaan IOPS dan throughput beberapa TiB/dtk
  • Penyediaan standar atau lanjutan untuk kapasitas dan performa
Harga

Untuk mengetahui detailnya, lihat harga Cloud Storage.

Untuk mengetahui detailnya, lihat harga Managed Lustre.

Untuk mengetahui detailnya, lihat Harga Persistent Disk dan Hyperdisk.
Rekomendasi berdasarkan persyaratan

Direkomendasikan untuk aplikasi yang memerlukan penyimpanan objek yang dapat diskalakan dan efisiensi biaya umum untuk set data pelatihan, pembuatan titik pemeriksaan multi-tingkat asinkron, dan penyimpanan bobot model. Khususnya, Cloud Storage Rapid direkomendasikan untuk penskalaan data berperforma tinggi dan hemat biaya.

Direkomendasikan untuk aplikasi yang memerlukan sistem file paralel atau direktori beranda yang sepenuhnya sesuai dengan POSIX. Juga direkomendasikan untuk workload yang sensitif terhadap latensi atau konkurensi metadata tinggi, seperti pelepasan cache KV, checkpoint sinkron, dan propagasi bobot berkecepatan tinggi untuk reinforcement learning.

Direkomendasikan untuk disk booting node, sistem file berperforma tinggi lokal, dan disk sementara khusus yang memerlukan performa yang konsisten dan jaminan kapasitas tingkat tinggi.

Rekomendasi layanan penyimpanan berdasarkan kasus penggunaan

Kasus penggunaan Rekomendasi layanan penyimpanan Alasan rekomendasi
Melatih dan menyiapkan set data Rekomendasi penyimpanan objek: Cloud Storage Bucket Cepat Bucket Cloud Storage menyediakan kapasitas, skala throughput, efisiensi biaya, dan daya tahan yang sering kali diperlukan untuk set data pelatihan dan inferensi dalam volume besar. Saat Anda menggunakan Rapid Bucket untuk membuat bucket zonal, bucket zonal akan mendapatkan manfaat dari throughput yang sangat tinggi (hingga 15 TB/s) dan latensi sub-milidetik untuk file terbuka dengan biaya yang optimal.
Rekomendasi penyimpanan file: Managed Lustre Managed Lustre memberikan latensi sub-milidetik. VM ini berguna sebagai ruang kerja khusus yang sangat cepat untuk tugas pelatihan dan penyiapan set data yang paling intensif, dengan latensi rendah dan performa konkurensi metadata sebagai prioritas tinggi.
Memindahkan atau menyimpan bobot model untuk pembuatan titik pemeriksaan atau transfer bobot Rekomendasi penyimpanan objek: Cloud Storage Bucket Cepat Rapid Bucket cocok untuk checkpointing multi-tingkat atau terdistribusi asinkron saat digunakan dengan GCSFS melalui fsspec atau Cloud Storage FUSE dengan penyesuaian performa sisi klien.
Rekomendasi penyimpanan file: Managed Lustre Managed Lustre menyediakan latensi sub-milidetik dan akses data paralel, sehingga memungkinkan ribuan pekerja peluncuran menarik file bobot yang sama secara bersamaan.
Menyimpan dan mendownload model untuk inferensi Rekomendasi penyimpanan objek: Cloud Storage Rapid Cache atau Rapid Bucket

Cache Cepat berfungsi sebagai pendorong yang membantu mengurangi cold start inferensi. Dengan Rapid Cache, bobot model dapat dipanaskan terlebih dahulu di zona yang sama dengan node inferensi Anda, sehingga instance inferensi baru dapat mendownload bobot model dengan cepat dan memproses permintaan pertamanya.

Bucket Cepat berfungsi sebagai mesin penyimpanan zonal yang dipercepat dan berperforma tinggi, sehingga Anda dapat menempatkan bobot model di zona yang sama dengan fleet inferensi Anda.

Untuk penayangan model, sebaiknya gunakan Run:ai Model Streamer for vLLM untuk performa download puncak. Untuk stack inferensi lainnya, mengoptimalkan parameter download paralel Cloud Storage FUSE dapat secara signifikan mengurangi latensi mulai dingin selama download bobot model.

Rekomendasi penyimpanan file: Managed Lustre Managed Lustre memberikan latensi sub-milidetik dan akses data paralel, yang bermanfaat bagi model yang sensitif terhadap performa dan penskalaan GPU serentak yang mendownload model yang sama secara bersamaan.
Offload cache KV Rekomendasi penyimpanan file: Managed Lustre Managed Lustre memberikan latensi sub-milidetik dan akses data paralel, sehingga memungkinkan berbagai node "menarik" cache KV dan melanjutkan percakapan tanpa memproses ulang seluruh histori percakapan.
Boot disk node dan penyimpanan berperforma tinggi lokal Rekomendasi utama: Gabungan Hyperdisk Gabungan Hyperdisk mengagregasi kapasitas penyimpanan, IOPS, dan throughput di seluruh instance komputasi, sehingga memberikan performa yang dapat diprediksi untuk disk boot dan non-boot.

Langkah berikutnya