Opsi penyimpanan untuk data Cloud TPU

Dokumen ini menjelaskan opsi penyimpanan data yang dapat Anda gunakan saat melatih model di Cloud TPU.

Pengantar

Cloud TPU memerlukan penyimpanan data untuk:

  • Mendownload dan melakukan prapemrosesan set data
  • Pemrosesan pipeline input host
  • Input pelatihan model
  • Output pelatihan model

Opsi penyimpanan untuk data aplikasi dan set data pelatihan TPU adalah:

Untuk mengetahui informasi selengkapnya tentang mengelola penyimpanan, lihat halaman berikut:

Block storage yang andal

Block storage yang andal, juga dikenal sebagai disk atau volume, adalah untuk data yang ingin Anda simpan setelah Anda menghentikan, menangguhkan, atau menghapus VM TPU. Penyimpanan blok yang tahan lama masih tersedia meskipun VM TPU mengalami error atau gagal. Anda dapat menggunakan boot disk VM TPU atau memasang block storage tambahan ke TPU.

Anda mungkin perlu melampirkan disk tambahan dalam skenario berikut:

  • Ukuran set data pelatihan Anda melebihi ukuran boot disk TPU.
  • Anda memiliki data hanya baca dan menginginkan akses baca yang lebih cepat menggunakan volume Hyperdisk ML.

Generasi TPU dan jenis disk yang didukung

Tabel berikut menunjukkan jenis disk yang didukung oleh setiap generasi TPU:

Generasi TPU Jenis disk yang didukung
TPU7x Hyperdisk Balanced, Hyperdisk ML
TPU v6e Hyperdisk Balanced, Hyperdisk ML
TPU v5p Persistent Disk Seimbang, Hyperdisk ML
TPU v5e Persistent Disk Seimbang, Hyperdisk ML

Disk booting VM TPU

Secara default, setiap VM TPU memiliki satu boot disk 10 GB. Saat membuat VM, Anda dapat mengonfigurasi boot disk yang lebih besar. Untuk mengetahui informasi selengkapnya, lihat Membuat disk booting yang disesuaikan. Disk booting berisi sistem operasi, driver TPU, dan library. Boot disk juga dapat menyimpan set data yang didownload untuk sementara waktu untuk pra-pemrosesan serta data input dan output model, selama total ukuran data tidak melebihi ruang yang tersedia di boot disk.

Jika aplikasi Anda memerlukan ruang penyimpanan tambahan di luar default disk boot, Anda dapat menambahkan satu atau beberapa disk yang tahan lama ke instance VM TPU. Untuk mengetahui informasi selengkapnya, lihat:

Penyimpanan terpasang

Hyperdisk dan Persistent Disk adalah perangkat penyimpanan jaringan yang tahan lama dan dapat diakses oleh instance VM Anda seperti disk fisik di desktop atau server. Anda membuat kedua jenis disk secara terpisah dari instance VM, sehingga Anda dapat menyimpan data Anda meskipun Anda menghapus VM.

Keuntungan menggunakan Hyperdisk dibandingkan Persistent Disk mencakup performa yang dapat disesuaikan, batas IOPS dan throughput yang lebih tinggi. Untuk mengetahui informasi selengkapnya tentang Hyperdisk dan Persistent Disk, lihat Memilih jenis disk.

Saat Anda memasang disk ke MIG dengan slice VM TPU multi-host, sistem akan memasang disk ke setiap VM dalam slice TPU tersebut. Untuk mencegah dua atau beberapa VM TPU menulis ke disk secara bersamaan, Anda harus mengonfigurasi semua disk yang dipasang ke slice TPU multi-host sebagai hanya baca. Disk hanya baca berguna untuk menyimpan set data untuk diproses di slice TPU. Karena Hyperdisk Balanced tidak mendukung mode hanya baca, Anda hanya dapat memasang volume Hyperdisk Balanced ke satu instance VM TPU.

Untuk mengetahui informasi selengkapnya tentang penggunaan block storage yang tahan lama, lihat Menambahkan persistent disk ke VM dan Menambahkan Hyperdisk.

Cadangan disk

Anda mungkin kesulitan mengambil data dari boot disk jika VM TPU mengalami masalah dan berada dalam status "tidak diketahui" atau memulihkan data yang Anda hapus. Cadangkan data Anda menggunakan opsi penyimpanan lain, seperti bucket Cloud Storage.

Jika menyimpan data di disk terpasang, Anda dapat menggunakan snapshot disk, yang mencadangkan data di disk secara bertahap. Disk booting VM TPU tidak mendukung snapshot disk. Untuk mengetahui informasi selengkapnya, lihat Tentang snapshot disk.

Bucket Cloud Storage

Bucket Cloud Storage adalah opsi penyimpanan yang fleksibel, skalabel, dan tahan lama untuk instance VM Anda. Jika tugas pelatihan Anda tidak memerlukan latensi yang lebih rendah dari penyimpanan blok yang tahan lama, Anda dapat menyimpan set data di bucket Cloud Storage.

Performa bucket Cloud Storage bergantung pada kelas penyimpanan yang Anda pilih dan lokasi bucket yang relatif terhadap instance Anda.

Membuat bucket Cloud Storage di zona yang sama dengan VM TPU akan memberikan performa yang sebanding dengan block storage yang tahan lama, tetapi dengan latensi yang lebih tinggi dan karakteristik throughput yang kurang konsisten.

Semua bucket Cloud Storage memiliki redundansi bawaan untuk melindungi data Anda dari kegagalan peralatan dan memastikan ketersediaan data melalui peristiwa pemeliharaan pusat data. Cloud Storage menghitung checksum untuk semua operasi guna membantu memastikan bahwa yang Anda baca adalah yang Anda tulis.

Tidak seperti penyimpanan blok yang andal, bucket Cloud Storage tidak membatasi Anda pada zona tempat instance Anda berada. Selain itu, Anda dapat membaca dan menulis data ke bucket dari beberapa instance secara bersamaan. Misalnya, Anda dapat mengonfigurasi instance di beberapa zona untuk membaca dan menulis data di bucket yang sama, bukan mereplikasi data ke block storage yang tahan lama di beberapa zona.

Untuk mengetahui informasi selengkapnya, lihat Menghubungkan ke bucket Cloud Storage.

Cloud Storage FUSE

Dengan Cloud Storage FUSE, Anda dapat memasang dan mengakses bucket Cloud Storage sebagai sistem file lokal. Hal ini memungkinkan aplikasi membaca dan menulis objek di bucket Anda menggunakan semantik sistem file standar.

Lihat dokumentasi FUSE Cloud Storage untuk mengetahui detail tentang cara kerja Cloud Storage FUSE dan deskripsi tentang cara pemetaan operasi Cloud Storage FUSE ke operasi Cloud Storage. Anda dapat menemukan informasi tambahan tentang cara menggunakan Cloud Storage FUSE, seperti cara menginstal CLI Cloud Storage FUSE dan memasang bucket di GitHub.

Berbagi file Filestore

Berbagi file Filestore adalah Network Attached Storage (NAS) yang terkelola sepenuhnya untuk Compute Engine. Filestore menawarkan kompatibilitas dengan aplikasi perusahaan yang ada dan mendukung klien yang kompatibel dengan NFSv3.

Filestore menawarkan latensi rendah untuk operasi file. Untuk beban kerja yang sensitif terhadap latensi, Filestore mendukung kapasitas hingga 100 TiB dan throughput sebesar 25 GiB per detik dan 720 ribu IOPS, dengan variabilitas minimum dalam performanya.

Dengan Filestore, Anda dapat memasang berbagi file di VM TPU.

Berbagi file Managed Lustre

Managed Lustre adalah sistem file paralel yang dikelola sepenuhnya untuk workload AI dan HPC yang intensif data. Layanan ini memberikan performa tinggi, kapasitas skala multi-petabyte, dan kepatuhan POSIX.

Dengan Managed Lustre, Anda dapat memasang berbagi file di VM TPU. Hal ini sangat berguna untuk menangani set data besar dan persyaratan throughput tinggi dari beban kerja machine learning, sehingga memungkinkan pelatihan dan inferensi yang efisien.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi Managed Lustre.

Langkah berikutnya