Parallelstore adalah sistem file terdistribusi latensi rendah yang dikelola sepenuhnya dan dirancang untuk memenuhi tuntutan workload pelatihan AI/ML dan komputasi berperforma tinggi (HPC) yang memerlukan latensi sangat rendah (di bawah milidetik), semantik POSIX penuh, dan throughput operasi metadata yang tinggi. Parallelstore dapat diskalakan hingga kecepatan baca 1 TB/dtk dan jutaan IOPS.
Untuk menghubungkan cluster Google Kubernetes Engine (GKE) ke instance Parallelstore, gunakan driver Container Storage Interface (CSI) Parallelstore. Driver CSI Parallelstore memungkinkan Anda menggunakan GKE API untuk menggunakan instance Parallelstore sebagai volume untuk workload stateful Anda (misalnya, Pod dan Tugas). Driver tersebut dioptimalkan untuk workload pelatihan AI/ML, terutama yang melibatkan ukuran file yang lebih kecil dan pembacaan acak.
GKE mengaktifkan driver CSI untuk Anda secara default saat Anda membuat cluster GKE Autopilot baru. Di cluster GKE Standard baru dan yang sudah ada, Anda harus mengaktifkan driver CSI.
Manfaat
Anda dapat menggunakan driver CSI Parallelstore untuk mendapatkan manfaat dari penyimpanan berperforma tinggi. Dengan driver CSI Parallelstore, Anda dapat mempercepat workload komputasi berperforma tinggi dan pelatihan AI/ML, dengan akses cepat dan konsisten ke data bersama untuk pemrosesan dan analisis yang efisien.
- Anda memiliki akses ke sistem file paralel yang dikelola sepenuhnya sebagai penyimpanan melalui Kubernetes API.
- Driver CSI Parallelstore Google Kubernetes Engine mendukung mode akses ReadWriteMany, ReadOnlyMany, dan ReadWriteOnce .
- Anda dapat menggunakan driver CSI Parallelstore Google Kubernetes Engine untuk menyediakan PersistentVolumes secara dinamis.
- Anda dapat mengakses instance Parallelstore yang ada di workload Kubernetes. Anda juga dapat membuat instance Parallelstore secara dinamis dan menggunakannya dalam workload Kubernetes dengan StatefulSet atau Deployment.
Batasan
Persistensi data: Parallelstore adalah sistem file "scratch plus". Sistem ini didukung oleh SSD Lokal dengan pengodean penghapusan 2+1, dan waktu rata-rata hingga kehilangan data adalah dua bulan. Parallelstore bukan penyimpanan jangka panjang, tetapi harus dianggap sebagai sistem file yang sangat cepat untuk workload tertentu.
Batasan per-Pod: GKE hanya mendukung pemasangan satu instance Parallelstore per Pod.
- Transfer data: Transfer data dari Cloud Storage ke Parallelstore tidak didukung oleh GKE API. Untuk melakukan transfer, gunakan Parallelstore API.
- Kapasitas yang dapat digunakan: Anda dapat mengonfigurasi kapasitas penyimpanan dari 12.000 GiB hingga 100.000 GiB.
- Zona yang didukung: Parallelstore didukung di zona ini. Jika region cluster Anda berbeda dengan region instance Parallelstore, akan ada penurunan performa I/O yang terlihat.
- Batasan VPC-SC untuk Parallelstore: Jika menggunakan VPC Bersama dan Kontrol Layanan VPC, Anda harus memiliki project host yang menyediakan jaringan dan project layanan yang berisi instance Parallelstore di dalam perimeter yang sama agar instance Parallelstore berfungsi dengan benar. Memisahkan project host dan project layanan dengan perimeter dapat menyebabkan instance yang ada menjadi tidak tersedia dan mungkin tidak membuat instance baru.
- Dukungan mesin ARM: Driver CSI Parallelstore hanya mendukung node arsitektur amd64. Node berbasis ARM saat ini tidak didukung.
Persyaratan
Untuk menggunakan driver CSI Parallelstore, cluster Anda harus memenuhi persyaratan berikut:
- Pastikan Anda telah menginstal Google Cloud CLI versi terbaru. Versi gcloud CLI minimum yang didukung untuk fitur ini adalah 469.0.0 atau yang lebih baru.
- Gunakan Google Kubernetes Engine cluster versi 1.29 atau yang lebih baru.
Langkah berikutnya
- Membuat dan menggunakan volume yang didukung oleh instance Parallelstore Google Kubernetes Engine.
- Mengakses instance Parallelstore yang ada dari Google Kubernetes Engine.