Panduan ini membantu Anda menilai persyaratan penyimpanan pada workload cloud Anda, memahami opsi penyimpanan yang tersedia di Google Cloud, dan merancang strategi penyimpanan yang memberikan nilai teknis dan bisnis secara optimal.
Untuk mengetahui informasi tentang cara memilih layanan penyimpanan untuk workload AI dan ML, lihat Ringkasan layanan penyimpanan untuk workload AI dan ML di AI Hypercomputer.
Ringkasan proses desain
Sebagai arsitek cloud, saat merencanakan penyimpanan untuk workload cloud, Anda harus mempertimbangkan terlebih dahulu karakteristik fungsional workload, batasan keamanan, persyaratan ketahanan, ekspektasi performa, dan tujuan biaya. Selanjutnya, Anda harus meninjau layanan dan fitur penyimpanan yang tersedia di Google Cloud. Kemudian, berdasarkan persyaratan dan opsi yang tersedia, Anda memilih layanan dan fitur penyimpanan yang diperlukan. Diagram berikut menunjukkan proses desain tiga fase ini:
Menentukan persyaratan Anda
Gunakan kuesioner di bagian ini untuk menentukan persyaratan penyimpanan utama untuk workload yang ingin Anda deploy di Google Cloud.
Panduan untuk menentukan persyaratan penyimpanan
Saat menjawab kuesioner, pertimbangkan panduan berikut:
Menentukan persyaratan secara terperinci
Misalnya, jika aplikasi Anda memerlukan penyimpanan file berbasis Network File System (NFS), identifikasi versi NFS yang diperlukan.
Pertimbangkan persyaratan pada masa mendatang
Misalnya, deployment Anda saat ini mungkin melayani pengguna di negara-negara Asia, tetapi Anda mungkin berencana untuk memperluas bisnis ke benua lain. Dalam hal ini, pertimbangkan semua persyaratan peraturan terkait penyimpanan di wilayah bisnis baru.
Pertimbangkan peluang dan persyaratan khusus cloud
Manfaatkan peluang khusus cloud.
Misalnya, untuk mengoptimalkan biaya penyimpanan data yang disimpan di Cloud Storage, Anda dapat mengontrol durasi penyimpanan menggunakan kebijakan retensi data dan konfigurasi siklus proses.
Pertimbangkan persyaratan khusus cloud.
Misalnya, data lokal mungkin berada di satu pusat data, dan Anda mungkin perlu mereplikasi data yang dimigrasikan di dua lokasiGoogle Cloud untuk redundansi.
Kuesioner
Kuesioner berikut bukan daftar periksa lengkap untuk perencanaan. Gunakan paket tersebut sebagai titik awal untuk menganalisis semua persyaratan penyimpanan workload yang ingin Anda deploy ke Google Cloudsecara sistematis.
Mengevaluasi karakteristik beban kerja Anda
Jenis data apa yang perlu Anda simpan?
Contoh
- Konten situs statis
- Pencadangan dan pengarsipan untuk pemulihan dari bencana
- Log audit untuk kepatuhan
- Objek data besar yang didownload pengguna secara langsung
- Data transaksional
- Data tidak terstruktur dan heterogen
Berapa kapasitas yang Anda butuhkan? Pertimbangkan persyaratan Anda saat ini dan di masa mendatang.
Haruskah kapasitas diskalakan secara otomatis sesuai penggunaan?
Apa saja persyaratan aksesnya? Misalnya, apakah data tersebut harus dapat diakses dari luar Google Cloud?
Apa pola baca-tulis yang diharapkan?
Contoh
- Sering menulis dan membaca
- Sering menulis, tetapi sesekali membaca
- Menulis dan membaca sesekali
- Menulis sesekali, tetapi sering membaca
Apakah workload memerlukan akses berbasis file, misalnya menggunakan NFS?
Akankah beberapa klien dapat membaca atau menulis data secara bersamaan?
Mengidentifikasi batasan keamanan
Apa saja persyaratan enkripsi data Anda? Misalnya, apakah Anda perlu menggunakan kunci yang Anda kontrol?
Apakah ada persyaratan residensi data?
Menentukan persyaratan ketahanan data
- Apakah workload Anda memerlukan cache latensi rendah atau ruang awal?
- Apakah Anda perlu mereplikasi data di cloud untuk redundansi?
- Apakah Anda membutuhkan konsistensi baca-tulis yang ketat untuk dataset yang direplikasi?
Menetapkan ekspektasi performa
Berapa tarif I/O yang diperlukan?
Apa tingkat throughput baca dan tulis yang dibutuhkan aplikasi Anda?
Lingkungan apa yang memerlukan penyimpanan? Untuk workload tertentu, Anda mungkin memerlukan penyimpanan berperforma tinggi untuk lingkungan produksi, tetapi dapat memilih opsi berperforma lebih rendah untuk lingkungan non-produksi.
Meninjau opsi penyimpanan
Google Cloud menawarkan layanan penyimpanan untuk semua format penyimpanan utama: blok, file, dan objek. Tinjau dan evaluasi fitur, opsi desain, dan keuntungan relatif dari layanan yang tersedia untuk setiap format penyimpanan.
Ringkasan
Block storage
Data yang Anda simpan di block storage dibagi menjadi beberapa potongan, masing-masing disimpan sebagai blok terpisah dengan alamat yang unik. Aplikasi mengakses data dengan merujuk ke alamat blok yang sesuai. Block storage dioptimalkan untuk workload dengan IOPS tinggi, seperti pemrosesan transaksi. Ini serupa dengan jaringan area penyimpanan lokal (SAN) dan sistem penyimpanan terpasang langsung (DAS).
Opsi block storage di Google Cloud adalah bagian dari layanan Compute Engine.
| Opsi | Ringkasan |
|---|---|
| Persistent Disk | Hard disk drive (HDD) dan solid state drive (SSD) khusus untuk aplikasi perusahaan dan database yang di-deploy ke VM Compute Engine dan cluster Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Penyimpanan jaringan yang cepat dan redundan untuk VM Compute Engine dan cluster GKE, dengan kapasitas yang dapat ditingkatkan secara dinamis dan performa yang dapat dikonfigurasi. |
| SSD Lokal | Block storage efemeral yang terpasang secara lokal untuk aplikasi berperforma tinggi. |
Penyimpanan file
Data diatur dan direpresentasikan dalam hierarki file yang disimpan dalam folder, mirip dengan Network Attached Storage (NAS) lokal. Sistem file dapat dipasang pada klien menggunakan protokol seperti NFS dan Server Message Block (SMB). Aplikasi mengakses data menggunakan nama file dan jalur direktori yang relevan.
Google Cloud menyediakan berbagai solusi terkelola sepenuhnya untuk penyimpanan file.
| Solusi | Ringkasan |
|---|---|
| Filestore |
Penyimpanan berbasis file menggunakan server file NFS untuk VM Compute Engine dan cluster GKE. |
| Google Cloud Managed Lustre |
Sistem file paralel berlatensi rendah untuk AI, komputasi berperforma tinggi (HPC), dan aplikasi dengan data yang intensif. |
| Google Cloud NetApp Volumes | Penyimpanan berbasis file menggunakan protokol NFS, SMB, atau penyimpanan blok. |
Penyimpanan objek
Data disimpan sebagai objek dalam hierarki datar bucket. Setiap objek diberi ID unik secara global. Objek dapat memiliki metadata yang ditetapkan sistem dan ditentukan pengguna, untuk membantu Anda mengatur dan mengelola data. Aplikasi mengakses data dengan mereferensikan ID objek, menggunakan REST API atau library klien.
Cloud Storage menyediakan penyimpanan objek yang murah, sangat tahan lama, dan sangat skalabel untuk beragam jenis data. Data yang Anda simpan di Cloud Storage dapat diakses dari mana saja, di dalam dan di luar Google Cloud. Redundansi opsional di seluruh region memberikan ketersediaan dan keandalan tinggi. Anda dapat memilih kelas penyimpanan yang sesuai dengan persyaratan retensi data dan frekuensi akses Anda.
Analisis komparatif
Tabel berikut mencantumkan kemampuan utama layanan penyimpanan di Google Cloud.
| Persistent Disk | Hyperdisk | SSD Lokal | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| Batas kapasitas |
64 TiB per disk dan 257 TiB per VM. Spesifikasi terbaru: Dokumentasi Persistent Disk |
64 TiB per disk, 512 TiB per VM, dan 5 PiB per kumpulan penyimpanan. Exapools adalah kumpulan Hyperdisk dengan kapasitas yang lebih tinggi. Spesifikasi terbaru: Dokumentasi Hyperdisk |
375 GiB per disk dan 12.000 GiB per VM. Disk Titanium SSD mendukung hingga 6 TiB per disk dan 84.000 GiB per VM. Spesifikasi terbaru: Dokumentasi SSD lokal |
100 TiB per instance, bergantung pada tingkat layanan. | 80,1 PiB per instance, bergantung pada tingkat performa . |
20 PiB per kumpulan penyimpanan dan 20 PiB per volume. Spesifikasi terbaru: Dokumentasi NetApp Volumes |
5 TiB per objek, tanpa batas per bucket (kecuali Rapid Bucket). Spesifikasi terbaru: Dokumentasi Cloud Storage |
|
Penskalaan |
|
|
Tidak skalabel | Meningkatkan dan menurunkan skala (tingkat Zonal dan Regional) | Peningkatan skala | Peningkatan dan penurunan skala | Penskalaan otomatis berdasarkan penggunaan |
| Berbagi |
Didukung | Didukung | Tidak dapat dibagikan | Dapat dipasang di beberapa VM Compute Engine, klien jarak jauh, dan cluster GKE | Dapat dipasang di beberapa VM Compute Engine dan cluster GKE | Dapat dipasang di beberapa VM Compute Engine, klien jarak jauh, dan cluster GKE |
|
| Opsi kunci enkripsi |
|
|
Google-owned and Google-managed encryption keys |
|
|
|
|
| Persistensi |
Masa pakai disk | Masa pakai disk | Sementara (data akan hilang saat VM dihentikan atau dihapus) | Masa pakai instance Filestore | Masa aktif instance Managed Lustre | Masa aktif volume | Masa pakai bucket |
| Ketersediaan |
|
|
Zonal | Zonal |
|
| |
| Performa |
Penskalaan linear dengan ukuran disk dan jumlah CPU | Penyimpanan persisten dengan penskalaan dinamis | Penyimpanan awal berperforma tinggi | Zonal dan Regional: performa kustom | Menskalakan berdasarkan tingkat performa yang dipilih. | Performa yang skalabel Ekspektasi bergantung pada tingkat layanan. |
|
| Pengelolaan |
Memformat dan memasang secara manual | Memformat dan memasang secara manual | Memformat, garis, dan memasang secara manual | Terkelola sepenuhnya | Terkelola sepenuhnya | Terkelola sepenuhnya | Terkelola sepenuhnya |
Tabel berikut mencantumkan jenis beban kerja yang sesuai untuk setiap opsi penyimpanan Google Cloud:
| Opsi penyimpanan | Jenis beban kerja |
|---|---|
| Hyperdisk atau Persistent Disk |
|
| SSD Lokal |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
Memilih opsi penyimpanan
Ada dua bagian untuk memilih opsi penyimpanan:
- Menentukan layanan penyimpanan yang Anda butuhkan.
- Memilih fitur dan opsi desain yang diperlukan dalam layanan tertentu.
Contoh fitur dan opsi desain layanan khusus
Persistent Disk
- Region dan zona deployment
- Replikasi regional
- Jenis, ukuran, dan IOPS disk (untuk Persistent Disk Ekstrem)
- Kunci enkripsi: Google-owned and Google-managed encryption keys, atau dikelola pelanggan
- Jadwal snapshot
Hyperdisk
- Region dan zona deployment
- Jenis, ukuran, dan IOPS atau throughput yang disediakan untuk disk
- Kunci enkripsi: Google-owned and Google-managed encryption keys, atau dikelola pelanggan
- Replikasi: sinkron atau asinkron
- Jadwal snapshot
Filestore
- Region dan zona deployment
- Tingkat instance
- Kapasitas
- Rentang IP: dialokasikan secara otomatis atau khusus
- Kontrol akses
Managed Lustre
- Zona deployment
- Tingkat kapasitas dan performa
- Kunci enkripsi: Google-owned and Google-managed encryption keys, atau dikelola pelanggan
NetApp Volumes
- Region deployment
- Tingkat layanan untuk penyimpanan gabungan
- Kapasitas volume dan gabungan
- Protokol volume
- Aturan ekspor volume
Cloud Storage
- Lokasi: multi-region, dual-region, satu region, satu zona
- Kelas penyimpanan: Standard, Nearline, Coldline, Archive, atau Rapid
- Kontrol akses: seragam atau terperinci
- Kunci enkripsi: Google-owned and Google-managed encryption keys, dikelola pelanggan, atau disediakan pelanggan
- Kebijakan retensi
Rekomendasi penyimpanan
Gunakan rekomendasi berikut sebagai titik awal untuk memilih layanan dan fitur penyimpanan yang sesuai kebutuhan Anda. Untuk panduan khusus workload AI dan ML, lihat Ringkasan layanan penyimpanan untuk workload AI dan ML di AI Hypercomputer.
Untuk aplikasi AI, ML, dan HPC yang memerlukan sistem file paralel, gunakan Managed Lustre.
Untuk aplikasi yang memerlukan akses berbasis file, pilih layanan penyimpanan file yang sesuai berdasarkan persyaratan Anda terkait protokol akses, ketersediaan, dan performa.
Protokol akses Rekomendasi NFS - Jika Anda memerlukan ketersediaan regional dan performa tinggi yang dapat dikonfigurasi, gunakan Filestore Regional atau NetApp Volumes Flex Unified.
- Jika ketersediaan zona memadai:
- Untuk mengonfigurasi performa secara terpisah dari kapasitas, gunakan Filestore Zonal atau NetApp Volumes Flex Unified.
- Untuk performa yang diskalakan dengan kapasitas, gunakan Filestore Zonal atau NetApp Volumes Standard, Premium, atau Extreme.
Untuk mengetahui informasi selengkapnya, lihat Tingkat layanan Filestore dan Tingkat layanan NetApp Volumes.
SMB Gunakan NetApp Volumes. Untuk workload yang memerlukan penyimpanan utama dengan performa tinggi, gunakan Hyperdisk, SSD Lokal, atau Persistent Disk, bergantung pada kebutuhan Anda.
Persyaratan Rekomendasi Scratch disk atau cache cepat Gunakan disk SSD Lokal (sementara). Block storage dengan performa dan kapasitas yang dapat diskalakan secara independen Gunakan Hyperdisk, yang merupakan block storage tahan lama yang direkomendasikan Google dan diperlukan untuk rangkaian mesin terbaru. Pilih jenis disk yang sesuai berdasarkan persyaratan Anda:
- Workload tujuan umum:
hyperdisk-balanced - Workload I/O tinggi, seperti database berperforma tinggi:
hyperdisk-extreme - Analisis penyebaran skala, drive data untuk aplikasi sensitif biaya, dan penyimpanan
yang jarang diakses:
hyperdisk-throughput - Workload ML yang memerlukan throughput tinggi ke beberapa VM dalam mode hanya baca:
hyperdisk-mldalam mode hanya baca - Beberapa VM dengan akses tulis serentak ke disk yang sama:
hyperdisk-balanced-high-availability(di dua zona dalam region), atauhyperdisk-balancedatauhyperdisk-extreme(dalam satu zona) dalam mode multi-penulis
Untuk mengetahui informasi selengkapnya, lihat Tentang Hyperdisk.
Block storage dengan kapasitas yang dapat diskalakan untuk VM generasi sebelumnya Gunakan Persistent Disk. Pilih jenis disk yang sesuai berdasarkan persyaratan Anda:
- IOPS Berurutan:
pd-standard - Workload intensif IOPS:
pd-extremeataupd-ssd - Keseimbangan antara performa dan biaya:
pd-balanced
Untuk mengetahui informasi selengkapnya, lihat Tentang Persistent Disk.
- Bergantung pada persyaratan redundansi Anda, pilih antara disk zona
dan regional.
Persyaratan Rekomendasi Redundansi di satu zona dalam satu region Gunakan Hyperdisk atau Persistent Disk zonal. Redundansi di beberapa zona dalam satu region Gunakan Hyperdisk Balanced High Availability atau Persistent Disk regional.
- Workload tujuan umum:
Untuk penyimpanan berskala besar dan tersedia secara global, gunakan Cloud Storage.
Bergantung pada frekuensi akses data dan durasi penyimpanan, pilih kelas Cloud Storage yang sesuai.
Persyaratan Rekomendasi Frekuensi akses bervariasi, atau periode retensi data tidak diketahui atau tidak dapat diprediksi. Gunakan fitur Autoclass untuk mentransisikan objek dalam bucket secara otomatis ke kelas penyimpanan yang sesuai berdasarkan pola akses setiap objek. Penyimpanan zonal untuk workload yang memerlukan latensi sub-milidetik dan throughput tinggi, seperti pelatihan, checkpointing, inferensi, dan analisis AI dan ML. Gunakan Bucket Cepat dengan kelas penyimpanan Cepat. Penyimpanan untuk data yang sering diakses, termasuk untuk analisis throughput tinggi, data lake, situs, video streaming, dan aplikasi seluler. Gunakan kelas penyimpanan Standard.
Untuk meng-cache data yang sering diakses dan menayangkannya dari lokasi yang dekat dengan klien, gunakan Cloud CDN.
Untuk workload yang banyak membaca dengan perubahan data yang jarang dan sering membaca (seperti pelatihan ML, inferensi, dan analisis), Anda dapat meningkatkan performa baca dan mengurangi biaya transfer data dengan menggunakan Cache Cepat.
Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 30 hari (misalnya, cadangan dan konten multimedia longtail). Gunakan kelas penyimpanan Nearline. Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 90 hari (misalnya, pemulihan dari bencana). Gunakan kelas penyimpanan Coldline. Penyimpanan berbiaya paling rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 365 hari, termasuk arsip peraturan. Gunakan kelas penyimpanan Archive. Untuk analisis komparatif yang mendetail, lihat class Cloud Storage.
Opsi transfer data
Setelah memilih layanan penyimpanan Google Cloud yang sesuai, untuk men-deploy dan menjalankan workload, Anda perlu mentransfer data Anda ke layanan tersebut Google Cloud. Data yang perlu Anda transfer mungkin ada di infrastruktur lokal atau di platform cloud lainnya.
Anda dapat menggunakan metode berikut untuk mentransfer data ke Google Cloud:
- Mentransfer data secara online menggunakan Storage Transfer Service: Mengotomatiskan transfer data dalam jumlah besar antara sistem penyimpanan objek dan file, termasuk Cloud Storage, Amazon S3, layanan penyimpanan Azure, dan sumber data lokal.
- Mentransfer data secara offline menggunakan Transfer Appliance: Mentransfer dan memuat data dalam jumlah besar secara offline ke Google Cloud dalam situasi saat konektivitas dan bandwidth jaringan tidak tersedia, terbatas, atau mahal.
- Mengupload data ke Cloud Storage: Upload data secara online ke bucket Cloud Storage menggunakan Google Cloud konsol, Google Cloud CLI, Cloud Storage API, atau library klien.
Saat memilih metode transfer data, pertimbangkan faktor-faktor seperti ukuran data, batasan waktu, ketersediaan bandwidth, sasaran biaya, serta persyaratan keamanan dan kepatuhan. Untuk mengetahui informasi tentang perencanaan dan penerapan transfer data ke Google Cloud, lihat Opsi transfer data.
Langkah berikutnya
- Perkirakan biaya penyimpanan menggunakan Google Cloud Kalkulator Harga.
- Pelajari praktik terbaik untuk membangun opologi cloud yang dioptimalkan untuk keamanan, ketahanan, biaya, dan performa.
- Untuk mengetahui lebih banyak tentang arsitektur referensi, diagram, dan praktik terbaik lainnya, jelajahi Pusat Arsitektur Cloud.
Kontributor
Penulis: Kumar Dhanagopal | Cross-Product Solution Developer
Kontributor lain:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand | Technical Director, Office of the CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Technical Writer
- Jason Wu | Director, Product Management
- Jeff Allen | Solutions Architect
- Samantha He | Technical Writer
- Sean Derrington | Group Product Manager, Storage