Bucket Cepat

Halaman ini menjelaskan Rapid Bucket, kapabilitas yang memungkinkan Anda menyimpan objek dalam Rapid storage dengan menetapkan zona sebagai lokasi bucket. Pendekatan ini memungkinkan Anda menempatkan penyimpanan data bersama dengan resource komputasi, yang memberikan latensi yang jauh lebih rendah dan throughput yang lebih tinggi dibandingkan dengan kelas penyimpanan lainnya di Cloud Storage. Workload di zona dan region lain juga dapat mengakses bucket, dengan performa yang relatif terhadap jarak jaringan.

Untuk membuat bucket zona menggunakan Bucket Cepat, lihat Membuat bucket zona. Anda dapat melihat daftar lokasi yang didukung di Zona. Untuk membaca dan menambahkan objek di bucket zonal, lihat menggunakan objek di bucket zonal.

Agar Rapid Bucket dapat diaktifkan di bucket, bucket tersebut juga harus mengaktifkan namespace hierarkis dan akses level bucket yang seragam.

Kemampuan dan manfaat

Rapid Bucket dibuat untuk menghilangkan hambatan penyimpanan dan ideal untuk digunakan pada aplikasi yang paling banyak menggunakan data, seperti AI/ML dan analisis data. Rapid Bucket mendukung latensi sub-milidetik, throughput gabungan hingga 15 TB/dtk, dan 20 juta kueri per detik (QPS). Latensi ultra-rendah memungkinkan pengambilan data secara instan dan mendukung aplikasi inferensi real-time untuk melakukan inferensi dalam skala besar. Throughput yang besar dan QPS yang tinggi membantu memastikan cluster GPU mahal Anda sepenuhnya dimanfaatkan, sehingga secara signifikan mengurangi waktu pelatihan model.

Selain memberikan latensi rendah dan throughput tinggi, bucket zonal memungkinkan Anda melakukan hal berikut:

  • Menambahkan ke objek di bucket zonal tanpa melakukan penulisan ulang objek penuh

  • Membuka objek dan mempertahankan aliran saat Anda melakukan operasi, sehingga Anda dapat mempercepat pembacaan dan penulisan berikutnya

Kasus penggunaan

Bucket Cepat paling cocok untuk workload AI/ML atau workload intensif data lainnya. Beberapa contoh workload tersebut adalah pembuatan checkpoint model, evaluasi, dan penayangan, serta antrean pesan dan logging. Layanan ini juga dapat digunakan untuk data streaming atau untuk menyediakan penyimpanan bagi database.

Untuk memanfaatkan sepenuhnya latensi rendah dan throughput tinggi yang disediakan oleh Rapid Bucket, pastikan untuk mengaktifkan konektivitas langsung gRPC.

Terminologi Rapid Bucket

Dokumentasi Cloud Storage menggunakan istilah berikut:

  • Rapid Bucket: Produk yang memungkinkan bucket dibuat dengan lokasi zona dan kelas penyimpanan Rapid storage.

  • Rapid storage: Kelas penyimpanan yang menawarkan performa akses data dan operasi I/O tertinggi di Cloud Storage. Saat menggunakan Rapid Bucket, Anda membuat bucket yang menggunakan Rapid storage. Untuk mengetahui informasi selengkapnya tentang Rapid storage, lihat Kelas penyimpanan.

  • Bucket zonal: Bucket yang berada di zona. Objek dalam bucket zonal selalu disimpan di Rapid storage dan dapat ditambahkan.

Akses ke objek dalam bucket zona

Untuk mendapatkan manfaat performa bucket zonal, pastikan untuk membuka objek untuk streaming dan mempertahankan streaming saat Anda melakukan operasi pada objek. Saat membuat dan mempertahankan aliran, Anda dapat melakukan operasi baca atau tulis berikutnya ke objek dengan latensi yang sangat rendah. Misalnya, saat membaca file Parquet, Anda dapat melakukan pembacaan awal metadata file (footer) dan pembacaan baris tertentu berikutnya dalam satu permintaan. Pendekatan ini lebih efisien daripada menggunakan permintaan terpisah untuk setiap langkah.

Setelah dibuat, aliran objek tetap terbuka secara default saat Anda mengakses objek bucket zonal menggunakan Cloud Storage FUSE atau library klien Cloud Storage.

Anda dapat membuka beberapa aliran baca ke objek dari sejumlah host. Tidak ada batasan jumlah aliran baca yang dapat Anda buat ke objek.

Menambahkan objek

Anda dapat menambahkan data ke objek dalam bucket zona. Saat Anda menambahkan objek, semantik berikut berlaku:

  • Objek yang dapat ditambahkan muncul di namespace bucket segera setelah Anda mulai menulisnya dan dapat dibaca saat masih ditulis.

  • Tidak ada batasan jumlah penambahan yang dapat Anda lakukan pada objek atau jumlah byte yang dapat Anda tambahkan dalam satu waktu. Anda dapat melakukan penambahan hingga objek mencapai ukuran maksimumnya, yaitu 5 TiB.

  • Ukuran objek akan bertambah secara real time saat penambahan baru ditulis atau dihapus secara permanen. Saat membuat aliran baca, Anda harus mengantisipasi penundaan minimal dalam pembaruan ukuran objek.

  • Objek yang dapat ditambahkan hanya dapat memiliki satu penulis dalam satu waktu. Jika aliran tulis baru dibuat untuk objek yang sudah memiliki aliran tulis, error akan ditampilkan dari Cloud Storage ke aliran asli, dan aliran asli tidak akan diizinkan lagi untuk menulis. Penulis baru dapat melanjutkan penambahan dari offset yang terakhir dipertahankan tanpa penambahan lain yang disisipkan ke objek.

Menyelesaikan objek

Setelah objek diselesaikan, Anda tidak dapat lagi menambahkan ke objek tersebut, tetapi Anda masih dapat mengganti objek dengan versi baru. Metadata objek yang telah diselesaikan masih dapat diubah; misalnya, tag baru dapat ditambahkan dan objek dapat diganti namanya.

Memasang bucket zona

Anda dapat memasang dan mengakses bucket zonal menggunakan Cloud Storage FUSE atau driver CSI Cloud Storage FUSE. Pastikan untuk menggunakan Cloud Storage FUSE versi 3.7.2 atau yang lebih baru. Untuk menggunakan driver CSI Cloud Storage FUSE, versi Google Kubernetes Engine Anda harus 1.35.0-gke.3047001 atau yang lebih baru.

Alat yang didukung

Anda dapat menggunakan bucket zona dengan sebagian besar alat untuk Cloud Storage. Namun, batasan berikut berlaku:

  • Anda tidak dapat menulis ke bucket zona menggunakan API library klien standar yang ditujukan untuk bucket non-zona. Untuk menulis ke bucket zona, Anda harus mengubah kode untuk menggunakan API yang didukung untuk bucket zona. Untuk mempelajari API yang harus Anda gunakan, lihat contoh kode untuk library klien Anda di Menggunakan objek dalam bucket zonal.

  • Saat menggunakan gRPC, Anda hanya dapat menulis ke bucket zona menggunakan API BidiWriteObject. Objek yang dapat ditambahkan hanya didukung oleh panggilan RPC BidiWriteObject dalam mode yang dapat ditambahkan. Metode penulisan gRPC lainnya (seperti penulisan sekali kirim atau dapat dilanjutkan) dan panggilan RPC lainnya (seperti WriteObject) tidak mendukung objek yang dapat ditambahkan.

  • Anda tidak dapat menulis ke bucket zona menggunakan JSON API.

  • Bucket Cepat didukung oleh library Python GCSFS versi 2026.3.0 dan yang lebih baru.

  • Batasan Google Cloud CLI:

    • Versi minimum Google Cloud CLI yang didukung: Versi minimum gcloud CLI yang mendukung bucket zonal adalah 553.0.0. Versi sebelumnya tidak kompatibel dengan bucket zona. Sebaiknya gunakan gcloud CLI versi terbaru untuk mendapatkan fitur dan perbaikan bug terbaru. Download objek irisan dan pengoptimalan performa untuk bucket zona memerlukan gcloud CLI versi 583.0.0 atau yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Menyesuaikan performa gcloud CLI untuk bucket zona.

    • Visibilitas upload yang belum selesai: Tidak seperti bucket di kelas penyimpanan lain, tempat objek hanya muncul di namespace setelah upload selesai, objek yang diupload sebagian di bucket zonal akan langsung terlihat. Jika perintah upload Google Cloud CLI gagal atau terganggu, Anda mungkin melihat objek yang tidak lengkap di bucket Anda. Anda tetap dapat melanjutkan upload ini dengan menjalankan kembali perintah.

    • Penimpaan objek: Perilaku Google Cloud CLI standar berlaku untuk bucket zonal: saat Anda menimpa objek, jika file atau objek dengan nama yang sama ada di tujuan, perintah Google Cloud CLI cp, mv, dan rsync akan menimpanya secara default. Untuk mencegah penimpaan, gunakan flag --no-clobber. Saat menggunakan Google Cloud CLI, penambahan data ke objek yang ada tidak didukung; seluruh sumber harus diupload ulang.

    • Penyelesaian objek: Objek yang diupload ke bucket zonal menggunakan Google Cloud CLI terkadang mengalami penundaan singkat sebelum metadata objek disinkronkan sepenuhnya. Karena Cloud Storage menggunakan model konsistensi tertunda, upaya mendownload objek segera setelah diupload dapat menyebabkan error ketidakcocokan hash jika metadata belum diperbarui.

      Jika download gagal dengan error ketidakcocokan hash segera setelah upload, coba lagi perintahnya. Download berhasil sepenuhnya atau gagal secara eksplisit; download sebagian atau rusak tidak akan terjadi secara diam-diam.

  • Performa validasi checksum: Bucket zona hanya mengandalkan CRC32C untuk validasi data, sehingga sistem dapat melakukan checksum per chunk dan untuk seluruh upload atau download. Secara default, Google Cloud CLI menggunakan library Python google-crc32c, yang sudah diinstal sebelumnya dengan Google Cloud CLI. Namun, jika Anda menggunakan penginstalan Python yang tidak dipaketkan, Anda harus menginstal library google-crc32c secara eksplisit dari PyPI. Jika tidak, Google Cloud CLI akan kembali ke biner gcloud-crc32c, yang dapat menyebabkan performa yang lebih lambat untuk komputasi CRC per-chunk.

Ketidaksesuaian

Bucket zona tidak kompatibel dengan produk dan layanan berikut:

  • Upload dan pengelolaan data

    • Rapid Cache

    • Autoclass

    • Kunci Bucket

    • Objek gabungan

    • Upload multibagian XML

    • Penangguhan objek

    • Tindakan Object Lifecycle Management SetStorageClass

    • Kunci Retensi Objek

    • Relokasi bucket

    • Upload yang dapat dilanjutkan

    • Penulisan ulang objek

    • Pemohon Membayar

  • Metadata

    • Objek dalam bucket zona tidak memiliki hash MD5.

    • Properti metadata yang terkait dengan fitur dan produk yang tidak didukung tidak muncul dalam representasi resource bucket zonal atau objek yang dapat ditambahkan, atau tidak dapat ditulis. Contoh:

      • Properti metadata softDeleteTime dan hardDeleteTime tidak muncul dalam representasi resource Objects karena penghapusan sementara tidak didukung untuk objek di bucket zonal.

      • Metadata storageClass objek dalam bucket zonal selalu memiliki nilai RAPID dan tidak dapat ditulis ulang karena bucket zonal harus selalu menggunakan kelas penyimpanan Rapid storage.

  • Kontrol akses

    • Daftar kontrol akses (ACL) tingkat objek

    • Konfigurasi CORS

    • Kunci enkripsi yang disediakan pelanggan (CSEK)

    • Kunci HMAC

  • Perlindungan data dan pemulihan dari bencana

    • Pembuatan Versi Objek

    • Hapus untuk sementara

    • Replikasi lintas bucket

  • Layanan Google Cloud lainnya

    • BigQuery

Kuota

Setiap zona per project memiliki kuota kapasitas penyimpanan default. Setiap zona per project juga memiliki kuota traffic keluar default dari Cloud Storage ke layananGoogle . Untuk melihat kuota ini, lihat Kuota dan batas.

Untuk mempelajari cara memantau penggunaan egress data dan meminta lebih banyak bandwidth, lihat Pemantauan penggunaan bandwidth.

Harga

Penggunaan Bucket Cepat menimbulkan biaya untuk penyimpanan data, operasi, dan jaringan. Untuk mengetahui informasi selengkapnya, lihat Harga.

Praktik terbaik

Untuk mengoptimalkan performa dan pemanfaatan resource saat menggunakan bucket zonal, pertimbangkan praktik terbaik berikut:

  • Mengoptimalkan pembacaan objek: Saat membaca objek dari bucket zona menggunakan gcloud CLI, CLI akan otomatis menerapkan konfigurasi konkurensi dan pengirisan default. Untuk menyetel lebih lanjut setelan ini untuk workload tertentu, lihat Menyetel performa gcloud CLI untuk bucket zonal.

  • Handle file Cloud Storage FUSE: Untuk membantu mengoptimalkan performa saat menggunakan bucket zonal dengan Cloud Storage FUSE, pertahankan handle file yang terbuka ke objek di bucket zonal yang terpasang dan gunakan untuk beberapa operasi. Praktik ini meningkatkan performa karena Cloud Storage FUSE menghindari perjalanan pulang pergi jaringan yang tidak perlu untuk pembacaan berulang.

  • Mengoptimalkan latensi tulis paralel: Jika Anda mempertahankan logika tulis paralel gRPC sendiri, pertimbangkan untuk menggunakan kumpulan penulis yang telah dibuka sebelumnya dengan objek yang belum difinalisasi untuk memindahkan penyiapan streaming dari jalur tulis. Kumpulan penulis yang telah dibuka membuka aliran objek dan membuat objek yang dapat ditambahkan baru dan kosong di bucket sebelum aplikasi Anda membutuhkannya. Untuk mengetahui informasi selengkapnya, lihat Mengoptimalkan latensi penulisan.

Langkah berikutnya