Ringkasan Cloud Storage

Halaman ini menjelaskan cara kerja Cloud Storage dan kasus penggunaan yang didukungnya.

Cara kerja Cloud Storage

Cloud Storage adalah layanan penyimpanan terkelola dan skalabel yang ditawarkan oleh Google Cloud yang memungkinkan Anda menyimpan data sebagai objek dalam container yang disebut bucket.

Semua bucket terkait dengan project, dan Anda mengelompokkan project Anda di bawah organisasi. Setelah membuat project, Anda dapat membuat bucket, mengupload objek ke bucket, dan mendownload objek dari bucket. Anda juga dapat memberikan izin agar data dapat diakses akun utama yang Anda tentukan atau dapat diakses oleh semua orang di internet publik. Kemampuan direktori memungkinkan Anda menggunakan Cloud Storage dengan cara yang lebih mirip dengan hard drive atau Network Attached Storage (NAS): folder memungkinkan Anda mengatur objek dalam struktur direktori, dan folder terkelola memungkinkan Anda menyederhanakan kontrol akses ke objek Anda.

Setiap project, bucket, objek, folder, dan folder terkelola adalah resource di Google Cloud, begitu juga dengan instance Compute Engine.

Hierarki Google Cloud

Berikut cara struktur Cloud Storage dapat diterapkan pada kasus dunia nyata:

  • Organisasi: Perusahaan Anda, yang bernama Example Inc., membuat Google Cloud organisasi bernama exampleinc.org.

  • Project: Example Inc. sedang membuat beberapa aplikasi, dan masing-masing terkait dengan sebuah project. Setiap project memiliki kumpulan Cloud Storage API sendiri, serta resource lainnya.

  • Bucket: Setiap project dapat berisi beberapa bucket, yang merupakan container untuk menyimpan objek Anda. Misalnya, Anda dapat membuat bucket photos untuk semua file gambar yang dihasilkan aplikasi Anda dan bucket videos terpisah. Cloud Storage menawarkan berbagai kelas penyimpanan dan lokasi untuk bucket Anda, sehingga Anda dapat memilih ketahanan dan ketersediaan data yang sesuai dengan kebutuhan workload Anda.

    Bucket berfungsi sebagai fondasi data utama dalam ekosistem yang lebih luas Google Cloud. Anda dapat menghubungkan bucket sebagai backend penyimpanan untuk layanan lain Google Cloud , seperti AI Hypercomputer, Vertex AI, dan Google Kubernetes Engine.

  • Objek: Bucket berisi objek, seperti gambar bernama puppy.png. Object adalah bagian data yang tidak dapat diubah dan terdiri dari file dalam format apa pun. Setiap bucket pada dasarnya dapat berisi objek individual tanpa batas.

  • Folder: Bucket dengan namespace hierarkis yang diaktifkan dapat berisi folder. Folder memungkinkan sistem file yang sebenarnya untuk menyimpan objek, bukan sistem file simulasi. Anda dapat mengganti nama folder dan semua objek di dalamnya secara atomik dalam satu operasi.

  • Folder terkelola: Setiap bucket juga dapat berisi folder terkelola, yang memberikan atau mencabut akses tambahan di luar set izin IAM yang ditetapkan pada bucket. Folder terkelola tidak menggunakan struktur pohon direktori yang sebenarnya; melainkan, folder terkelola adalah overlay resource yang hanya digunakan untuk pemeriksaan izin.

Nama resource

Setiap resource memiliki nama unik yang mengidentifikasinya, seperti nama file. Bucket memiliki nama resource dalam bentuk projects/_/buckets/BUCKET_NAME, dengan BUCKET_NAME sebagai ID bucket. Objek memiliki nama resource dalam bentuk projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, dengan OBJECT_NAME yang merupakan ID objek.

#NUMBER yang ditambahkan ke akhir nama resource menunjukkan pembuatan objek tertentu. #0 adalah ID khusus untuk versi terbaru suatu objek. #0 berguna untuk ditambahkan saat nama objek diakhiri dengan string yang akan ditafsirkan sebagai nomor pembuatan.

Alat untuk Cloud Storage

Anda dapat berinteraksi dengan Cloud Storage menggunakan alat berikut:

  • Google Cloud konsol: Google Cloud Konsol menyediakan antarmuka visual Agar Anda dapat mengelola data di browser.

  • Google Cloud CLI: Dengan gcloud CLI, Anda dapat berinteraksi dengan Cloud Storage melalui terminal menggunakan gcloud storage perintah.

  • Library klien: Dengan library klien Cloud Storage, Anda dapat mengelola data menggunakan salah satu bahasa pilihan, termasuk C++ , C#, Go, Java, Node.js, PHP, Python, dan Ruby.

  • REST API: Kelola data Anda menggunakan JSON atau XML API.

  • Terraform: Terraform adalah alat Infrastructure as code (IaC) yang dapat Anda gunakan untuk menyediakan infrastruktur untuk Cloud Storage. Untuk mengetahui informasi selengkapnya, lihat Menyediakan resource dengan Cloud Storage.

  • gRPC: gRPC memungkinkan Anda berinteraksi dengan Cloud Storage. gRPC adalah framework RPC universal open source berperforma tinggi yang dikembangkan oleh Google yang dapat Anda gunakan untuk menentukan layanan menggunakan Protocol Buffers.

  • Cloud Storage FUSE: Dengan Cloud Storage FUSE, Anda dapat memasang bucket Cloud Storage ke sistem file lokal Anda. Ini memungkinkan aplikasi Anda membaca dari bucket atau menulis ke bucket dengan menggunakan semantik sistem file standar.

  • Library Python GCSFS: GCSFS adalah library Python yang menyediakan antarmuka sistem file Pythonic ke Cloud Storage.

Kasus penggunaan dan fitur utama

Cloud Storage menyediakan penyimpanan objek yang tahan lama dan tersedia secara global yang dapat disesuaikan dengan berbagai workload perusahaan, mulai dari pelatihan Kecerdasan Buatan (AI) dan Machine Learning (ML) berperforma tinggi hingga pengarsipan peraturan.

Menyimpan dan mengakses data untuk AI/ML dan analisis data

Percepat pipeline AI/ML dan insight analisis Anda dengan akses data throughput tinggi dan latensi rendah yang dirancang untuk pemrosesan skala besar.

Kemampuan Kemampuan, produk, atau fitur
Cloud Storage Rapid Penyimpanan berperforma tinggi yang ditempatkan bersama dengan komputasi untuk akses sub-milidetik dan throughput gabungan multi-TB/dtk. Mencakup:
  • Rapid Bucket: Penyimpanan objek zonal di kelas penyimpanan Rapid storage yang dirancang untuk workload analisis dan AI/ML yang menggunakan banyak data.
  • Rapid Cache: Cache baca zonal yang didukung SSD dan terkelola sepenuhnya yang secara otomatis menskalakan kapasitas dan bandwidth untuk mempercepat performa baca.
Namespace hierarkis Mengatur data ke dalam struktur direktori logis dengan operasi folder atomik dan batas QPS awal hingga 8x lebih tinggi daripada bucket tanpa namespace hierarkis. Namespace hierarkis hanya dapat diaktifkan pada saat pembuatan bucket dan tidak dapat diaktifkan pada bucket yang ada.
Cloud Storage FUSE Memasang bucket ke sistem file lokal Anda, yang memungkinkan aplikasi Anda membaca dari bucket atau menulis ke bucket dengan menggunakan semantik sistem file standar.

Untuk mengetahui detail selengkapnya tentang cara mengoptimalkan performa, lihat Mengoptimalkan penyimpanan untuk AI/ML dan analisis data.

Mengamankan data dan kepatuhan Anda

Lindungi aset Anda dan penuhi standar peraturan global dengan enkripsi bawaan, kontrol akses, dan kebijakan retensi data yang tidak dapat diubah.

Lapisan keamanan Kemampuan, produk, atau fitur
Kontrol akses Terapkan akses dengan hak istimewa terendah dan batasi traffic ke jaringan tepercaya networks. Produk dan fitur mencakup:
  • Identity and Access Management: Memberikan otorisasi kepada pengguna, grup, atau akun layanan tertentu untuk melakukan tindakan pada resource Cloud Storage melalui kontrol akses berbasis peran.
  • Akses level bucket yang seragam: Menyatukan kontrol akses untuk resource Cloud Storage Anda dengan menonaktifkan Daftar Kontrol Akses (ACL) level objek dan hanya menggunakan kebijakan IAM level bucket.
  • Pemfilteran IP bucket: Membatasi akses ke bucket berdasarkan alamat IP sumber permintaan dan mengamankan data Anda dari akses tidak sah dari alamat IP atau Virtual Private Cloud (VPC) tertentu.
Enkripsi data Enkripsi data saat dalam penyimpanan dan saat transit. Produk dan fitur mencakup:
  • GoogleKunci yang dikelola Google: Enkripsi data Cloud Storage Anda saat dalam penyimpanan secara otomatis secara default menggunakan kunci sisi server yang dimiliki dan dikelola oleh GoogleGoogle.
  • CMEK (Cloud KMS): Kontrol jadwal rotasi, izin akses, dan siklus proses kunci enkripsi Anda untuk melindungi resource Cloud Storage Anda.
  • CSEK: Amankan data Cloud Storage Anda saat dalam penyimpanan dengan menyediakan kunci kriptografi Anda sendiri dengan setiap permintaan API individual, bukan Google menyimpan atau memulihkan materi kunci Anda.
Retensi dan imutabilitas data Mencegah penghapusan yang tidak disengaja dan membantu memenuhi kepatuhan data. Produk dan fitur mencakup:
  • Kunci Bucket: Mengatur berapa lama objek di bucket harus dipertahankan dengan menentukan kebijakan retensi untuk bucket guna menerapkan aturan retensi data peraturan dan kepatuhan.
  • Retensi Objek: Mengatur masa aktif setiap objek dengan menerapkan tanggal dan waktu pertahankan hingga yang tidak dapat diubah ke objek tertentu, sehingga mencegah objek tersebut dihapus atau diganti hingga durasi tersebut berakhir.
  • Pembuatan Versi Objek: Mempertahankan salinan historis data Anda dengan mengarsipkan objek aktif yang ditimpa atau dihapus secara otomatis sebagai versi lama, sehingga Anda dapat memulihkan status objek sebelumnya kapan saja.
  • Hapus sementara: Mencegah kehilangan data permanen akibat penghapusan yang tidak disengaja atau berbahaya dengan mempertahankan objek dan bucket yang baru dihapus. Secara default, Cloud Storage mengaktifkan penghapusan sementara untuk semua bucket dengan periode retensi tujuh hari.

Pencadangan, pemulihan dari bencana, dan kelangsungan bisnis

Lindungi bisnis Anda dari kehilangan data, peristiwa bencana, dan gangguan regional dengan ketersediaan multi-region dan replikasi lintas region yang cepat.

Kemampuan, produk, atau fitur Deskripsi
Dual-region dan multi-region Mereplikasi data secara otomatis di seluruh region yang terpisah secara geografis Google Cloud untuk ketersediaan 99,99%.
Replikasi turbo Mereplikasi 100% objek yang baru ditulis antara pasangan dual-region dalam waktu 15 menit.
Pembuatan Versi Objek dan hapus sementara Mempertahankan iterasi sebelumnya dan objek yang baru dihapus untuk rollback setelah penimpaan yang tidak disengaja atau peristiwa ransomware.

Pengoptimalan biaya dan pengelolaan siklus proses data

Kurangi pengeluaran penyimpanan di seluruh siklus proses data dengan mencocokkan frekuensi akses ke tingkat penyimpanan yang hemat biaya.

Kelas penyimpanan, produk, atau fitur Deskripsi
Kelas penyimpanan Pilih antara Standard Storage, Nearline Storage, Coldline Storage, Archive Storage, dan Rapid storage berdasarkan frekuensi akses data.
Autoclass Secara otomatis mentransisikan objek antar-kelas penyimpanan berdasarkan pola akses objek.
Object Lifecycle Management Menghapus atau mentransisikan objek menggunakan kebijakan berbasis aturan kustom.

Distribusi konten dan penyajian web

Distribusikan aset digital, download, dan file media secara global dengan latensi rendah dan ketersediaan tinggi.

Kemampuan, produk, atau fitur Deskripsi
Cloud CDN dan Cloud Load Balancing Cache aset statis di Google's lokasi edge global untuk latensi ultra-rendah pengiriman web.
URL bertanda tangan Memberikan akses baca atau tulis dengan batas waktu ke objek pribadi tanpa memerlukan Google kredensial.
Hosting situs statis Menayangkan aset HTML, CSS, JavaScript, dan media statis langsung dari a bucket publik.

Migrasi data dan penyerapan berbasis peristiwa

Sederhanakan pergerakan data eksternal ke Google Cloud dan picu alur kerja pemrosesan otomatis saat objek diupload.

Integrasi Deskripsi
Storage Transfer Service Transfer data online terkelola dan berskala tinggi dari Amazon S3, Microsoft Azure Blob Storage, sumber HTTP, atau penyimpanan lokal.
Transfer Appliance Hardware yang diperkuat yang mengirimkan data offline hingga ratusan petabyte ke Google Cloud.
Eventarc dan Pub/Sub Mengirimkan notifikasi peristiwa real-time saat pembuatan, penghapusan, atau pembaruan metadata objek untuk memicu layanan Cloud Functions atau Cloud Run layanan.

Menganalisis dan mengelola penyimpanan data

Dapatkan insight tentang data yang disimpan dan kelola data tersebut dalam skala besar di seluruh lingkungan Cloud Storage Anda.

Kemampuan, produk, atau fitur Deskripsi
Storage Intelligence Dapatkan visibilitas ke lingkungan penyimpanan Anda untuk membantu mengoptimalkan biaya dan menerapkan kebijakan tata kelola data.
Penasihat Storage Intelligence Pantau data yang disimpan dan terima temuan yang dapat ditindaklanjuti untuk membantu mengoptimalkan biaya, meningkatkan performa, dan memperkuat keamanan.
Pengayaan objek (Pratinjau) Buat metadata terstruktur untuk gambar dan dokumen PDF yang tidak terstruktur menggunakan model machine learning.
Set data Insight Penyimpanan Buat kueri dan analisis indeks metadata bucket dan objek Anda di BigQuery.
Storage batch operations Lakukan operasi massal, seperti menghapus objek, memperbarui metadata, atau menerapkan kebijakan retensi di jutaan atau miliaran objek.
Relokasi bucket Pindahkan bucket yang ada dan datanya ke lokasi baru sambil mempertahankan nama bucket dan metadata objek dengan waktu non-operasional minimal.

Panduan memulai

Untuk mempelajari dasar-dasar penggunaan Cloud Storage, baca panduan berikut:

Mencari produk lain?

Jika Cloud Storage bukan solusi penyimpanan yang tepat untuk Anda, lihat informasi selengkapnya tentang layanan penyimpanan berikut:

  • Google Cloud Managed Lustre: Simpan data Anda dalam sistem file paralel berperforma tinggi dan terkelola sepenuhnya yang dioptimalkan untuk workload AI dan HPC.

  • Google Drive: Menyimpan, mengelola, dan membagikan file pribadi Anda.

  • Cloud Storage for Firebase: Mengelola data untuk aplikasi seluler Anda.

  • Persistent Disk: Tambahkan block storage ke virtual machine Compute Engine Anda.

  • Filestore: Tambahkan penyimpanan file untuk akses multi-penulis ke cluster GKE Anda.

  • Jelajahi layanan penyimpanan lainnya yang ditawarkan oleh Google.

Langkah berikutnya