Bucket Cepat

Halaman ini menjelaskan Rapid Bucket, kemampuan yang memungkinkan Anda menyimpan objek di kelas penyimpanan Rapid dengan menetapkan zona sebagai lokasi bucket. Pendekatan ini memungkinkan Anda menempatkan penyimpanan data bersama dengan resource komputasi, yang memberikan latensi yang jauh lebih rendah dan throughput yang lebih tinggi dibandingkan dengan kelas penyimpanan lainnya di Cloud Storage. Workload di zona dan region lain juga dapat mengakses bucket, dengan performa yang relatif terhadap jarak jaringan.

Untuk membuat bucket zona menggunakan Bucket Cepat, lihat Membuat bucket zona. Anda dapat melihat daftar lokasi yang didukung di Zona. Untuk membaca dan menambahkan ke objek di bucket zona, lihat menggunakan objek di bucket zona.

Agar Rapid Bucket dapat diaktifkan di bucket, bucket juga harus mengaktifkan namespace hierarkis dan akses level bucket yang seragam.

Kemampuan dan manfaat

Rapid Bucket dibuat untuk menghilangkan hambatan penyimpanan dan ideal untuk digunakan pada aplikasi yang paling banyak menggunakan data, seperti AI/ML dan analisis data. Rapid Bucket mendukung latensi sub-milidetik, throughput gabungan hingga 15 TB/dtk, dan 20 juta kueri per detik (QPS). Latensi ultra-rendah memungkinkan pengambilan data secara instan dan mendukung aplikasi inferensi real-time untuk melakukan inferensi dalam skala besar. Throughput yang besar dan QPS yang tinggi membantu menjaga cluster GPU Anda yang mahal tetap jenuh, sehingga secara drastis mengurangi waktu pelatihan model.

Selain memberikan latensi rendah dan throughput tinggi, bucket zonal memungkinkan Anda melakukan hal berikut:

  • Menambahkan ke objek di bucket zonal tanpa melakukan penulisan ulang objek penuh

  • Membuka objek dan mempertahankan aliran data saat Anda melakukan operasi, sehingga Anda dapat mempercepat pembacaan dan penulisan berikutnya

Kasus penggunaan

Bucket Cepat paling cocok untuk workload AI/ML atau workload intensif data lainnya. Beberapa contoh workload tersebut adalah checkpointing, evaluasi, dan inferensi model, serta antrean logging dan pesan. Layanan ini juga dapat digunakan untuk streaming data atau menyediakan penyimpanan untuk database.

Untuk memanfaatkan sepenuhnya latensi rendah dan throughput tinggi yang disediakan oleh Rapid Bucket, pastikan untuk mengaktifkan konektivitas langsung gRPC.

Terminologi Rapid Bucket

Dokumentasi Cloud Storage menggunakan istilah berikut:

  • Rapid Bucket: Produk yang memungkinkan bucket dibuat dengan lokasi zona dan kelas penyimpanan Rapid storage.

  • Rapid storage: Kelas penyimpanan yang menawarkan akses data dan performa operasi I/O tertinggi di Cloud Storage. Saat menggunakan Rapid Bucket, Anda membuat bucket yang menggunakan Rapid storage. Untuk mengetahui informasi selengkapnya tentang Rapid storage, lihat Kelas penyimpanan.

  • Bucket zonal: Bucket yang berada di zona. Objek dalam bucket zonal selalu disimpan di Rapid storage dan dapat ditambahkan.

Akses ke objek dalam bucket zona

Untuk mendapatkan manfaat performa bucket zona, pastikan untuk membuka objek untuk streaming dan mempertahankan streaming saat Anda melakukan operasi pada objek. Saat membuat dan mengelola streaming, Anda dapat melakukan operasi baca atau tulis berikutnya ke objek dengan latensi yang sangat rendah. Misalnya, saat membaca file Parquet, Anda dapat melakukan pembacaan awal metadata file (footer) dan pembacaan baris tertentu berikutnya dalam satu permintaan. Pendekatan ini lebih efisien daripada menggunakan permintaan terpisah untuk setiap langkah.

Setelah dibuat, aliran objek akan tetap terbuka secara default saat Anda mengakses objek bucket zona menggunakan Cloud Storage FUSE atau library klien Cloud Storage.

Anda dapat membuka beberapa aliran baca ke objek dari sejumlah host. Tidak ada batasan jumlah aliran data baca yang dapat Anda buat ke suatu objek.

Menambahkan objek

Anda dapat menambahkan data ke objek dalam bucket zona. Saat Anda menambahkan ke objek, semantik berikut berlaku:

  • Objek yang dapat ditambahkan akan muncul di namespace bucket segera setelah Anda mulai menulisnya dan dapat dibaca saat masih ditulis.

  • Tidak ada batasan jumlah penambahan yang dapat Anda lakukan pada objek atau jumlah byte yang dapat Anda tambahkan dalam satu waktu. Anda dapat menambahkan hingga objek mencapai ukuran maksimum 5 TiB.

  • Ukuran objek akan bertambah secara real time saat penambahan baru ditulis atau dihapus secara permanen. Saat membuat aliran baca, Anda harus mengantisipasi penundaan minimal dalam pembaruan ukuran objek.

  • Objek yang dapat ditambahkan hanya dapat memiliki satu penulis dalam satu waktu. Jika aliran tulis baru dibuat untuk objek yang sudah memiliki aliran tulis, error akan ditampilkan dari Cloud Storage ke aliran asli, dan aliran asli tidak akan diizinkan lagi untuk menulis. Penulis baru dapat melanjutkan penambahan dari offset yang terakhir dipertahankan tanpa penambahan lain yang disisipkan ke objek.

Menyelesaikan objek

Setelah objek diselesaikan, Anda tidak dapat lagi menambahkannya, tetapi Anda masih dapat menimpa objek dengan versi baru. Metadata objek yang telah diselesaikan masih dapat diubah; misalnya, tag baru dapat ditambahkan dan objek dapat diganti namanya.

Memasang bucket zona

Anda dapat memasang dan mengakses bucket zonal menggunakan Cloud Storage FUSE atau driver CSI Cloud Storage FUSE. Pastikan untuk menggunakan Cloud Storage FUSE versi 3.7.2 atau yang lebih baru. Untuk menggunakan driver CSI Cloud Storage FUSE, versi Google Kubernetes Engine Anda harus 1.35.0-gke.3047001 atau yang lebih baru.

Alat yang didukung

Anda dapat menggunakan bucket zona dengan menggunakan sebagian besar alat untuk Cloud Storage. Namun, batasan berikut berlaku:

  • Anda tidak dapat menulis ke bucket zona menggunakan API library klien standar yang ditujukan untuk bucket non-zona. Untuk menulis ke bucket zona, Anda harus mengubah kode untuk menggunakan API yang didukung untuk bucket zona. Untuk mempelajari API yang harus Anda gunakan, lihat contoh kode untuk library klien Anda di Menggunakan objek di bucket zona.

  • Anda dapat membaca objek di bucket zona menggunakan JSON API, XML API, atau gRPC, termasuk metode baca gRPC non-bidireksional seperti ReadObject.

  • Dukungan untuk penulisan ke bucket zona bervariasi menurut API:

    • gRPC: Saat menggunakan gRPC, Anda hanya dapat menulis ke bucket zona menggunakan API BidiWriteObject. Objek yang dapat ditambahkan hanya didukung oleh panggilan RPC BidiWriteObject dalam mode yang dapat ditambahkan. Metode penulisan gRPC non-bidireksional, seperti WriteObject, tidak didukung untuk bucket zonal.

    • XML API: Anda dapat menulis ke bucket zona menggunakan XML API, kecuali untuk upload multibagian XML.

    • JSON API: Anda tidak dapat menulis ke bucket zona menggunakan JSON API.

  • Bucket Cepat didukung oleh library Python GCSFS versi 2026.3.0 dan yang lebih baru.

  • Batasan Google Cloud CLI:

    • Versi minimum Google Cloud CLI yang didukung: Versi minimum gcloud CLI yang mendukung bucket zonal adalah 553.0.0. Versi sebelumnya tidak kompatibel dengan bucket zona. Sebaiknya gunakan gcloud CLI versi terbaru untuk mendapatkan fitur dan perbaikan bug terbaru. Download objek irisan dan pengoptimalan performa untuk bucket zona memerlukan gcloud CLI versi 583.0.0 atau yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Menyesuaikan performa gcloud CLI untuk bucket zona.

    • Visibilitas upload yang tidak lengkap: Tidak seperti bucket di kelas penyimpanan lain, yang objeknya hanya muncul di namespace setelah upload selesai, objek yang diupload sebagian di bucket zona akan langsung terlihat. Jika perintah upload Google Cloud CLI gagal atau terganggu, Anda mungkin melihat objek yang tidak lengkap di bucket Anda. Anda tetap dapat melanjutkan upload ini dengan menjalankan kembali perintah.

    • Penimpaan objek: Perilaku Google Cloud CLI standar berlaku untuk bucket zona: saat Anda menimpa objek, jika file atau objek dengan nama yang sama ada di tujuan, perintah cp, mv, dan rsync Google Cloud CLI akan menimpanya secara default. Untuk mencegah penimpaan, gunakan flag --no-clobber. Saat menggunakan Google Cloud CLI, penambahan data ke objek yang ada tidak didukung; seluruh sumber harus diupload ulang.

    • Finalisasi objek: Objek yang diupload ke bucket zona menggunakan Google Cloud CLI terkadang mungkin mengalami penundaan singkat sebelum metadata objek disinkronkan sepenuhnya. Karena Cloud Storage menggunakan model konsistensi tertunda, upaya untuk mendownload objek segera setelah upload dapat menyebabkan error ketidakcocokan hash jika metadata belum diperbarui.

      Jika download gagal dengan error ketidakcocokan hash tidak lama setelah upload, coba lagi perintah tersebut. Download akan berhasil sepenuhnya atau gagal secara eksplisit; download sebagian atau yang rusak tidak akan terjadi secara diam-diam.

  • Performa validasi checksum: Bucket zona mengandalkan CRC32C secara eksklusif untuk validasi data, sehingga sistem dapat melakukan checksum per potongan dan untuk seluruh upload atau download. Secara default, Google Cloud CLI menggunakan library Python google-crc32c, yang telah diinstal sebelumnya dengan Google Cloud CLI. Namun, jika Anda menggunakan penginstalan Python yang tidak dipaketkan, Anda harus menginstal library google-crc32c secara eksplisit dari PyPI. Jika tidak, Google Cloud CLI akan kembali ke biner gcloud-crc32c, yang dapat menyebabkan performa lebih lambat untuk komputasi CRC per potongan.

Ketidaksesuaian

Bucket zona tidak kompatibel dengan produk dan layanan berikut:

  • Upload dan pengelolaan data

    • Rapid Cache

    • Autoclass

    • Kunci Bucket

    • Objek gabungan

    • Upload multibagian XML

    • Penangguhan objek

    • Tindakan SetStorageClass Object Lifecycle Management

    • Kunci Retensi Objek

    • Relokasi bucket

    • Upload yang dapat dilanjutkan

    • Penulisan ulang objek

    • Pemohon Membayar

  • Metadata

    • Objek dalam bucket zona tidak memiliki hash MD5.

    • Properti metadata yang terkait dengan fitur dan produk yang tidak didukung tidak muncul dalam representasi resource bucket zonal atau objek yang dapat ditambahkan, atau tidak dapat ditulis. Contoh:

      • Properti metadata softDeleteTime dan hardDeleteTime tidak muncul dalam representasi resource Objects karena penghapusan sementara tidak didukung untuk objek di bucket zonal.

      • Metadata storageClass objek dalam bucket zonal selalu memiliki nilai RAPID dan tidak dapat ditulis ulang karena bucket zonal harus selalu menggunakan kelas penyimpanan Rapid storage.

  • Kontrol akses

    • Daftar kontrol akses (ACL) level objek

    • Konfigurasi CORS

    • Kunci enkripsi yang disediakan pelanggan (CSEK)

    • Kunci HMAC

  • Perlindungan data dan disaster recovery

    • Pembuatan Versi Objek

    • Hapus untuk sementara

    • Replikasi lintas bucket

  • Layanan Google Cloud lainnya

    • BigQuery

Kuota

Setiap zona per project memiliki kuota kapasitas penyimpanan default. Setiap zona per project juga memiliki kuota traffic keluar default dari Cloud Storage ke layananGoogle . Untuk melihat kuota ini, lihat Kuota dan batas.

Untuk mempelajari cara memantau penggunaan egress data dan meminta lebih banyak bandwidth, lihat Pemantauan penggunaan bandwidth.

Harga

Penggunaan Rapid Bucket akan dikenai biaya untuk penyimpanan data, operasi, dan jaringan. Untuk mengetahui informasi selengkapnya, lihat Harga.

Praktik terbaik

Untuk mengoptimalkan performa dan pemanfaatan resource saat menggunakan bucket zona, pertimbangkan praktik terbaik berikut:

  • Mengoptimalkan pembacaan objek: Saat membaca objek dari bucket zona menggunakan gcloud CLI, CLI akan otomatis menerapkan konfigurasi konkurensi dan pengirisan default. Untuk menyetel lebih lanjut setelan ini untuk workload tertentu, lihat Menyetel performa gcloud CLI untuk bucket zonal.

  • Penanganan file Cloud Storage FUSE: Untuk membantu mengoptimalkan performa saat menggunakan bucket zona dengan Cloud Storage FUSE, pertahankan penanganan file terbuka ke objek di bucket zona yang terpasang dan gunakan untuk beberapa operasi. Praktik ini meningkatkan performa karena Cloud Storage FUSE menghindari perjalanan bolak-balik jaringan yang tidak perlu untuk pembacaan berulang.

  • Mengoptimalkan latensi tulis paralel: Jika Anda mempertahankan logika tulis paralel gRPC sendiri, pertimbangkan untuk menggunakan kumpulan penulis yang telah dibuka sebelumnya dengan objek yang belum difinalisasi untuk memindahkan penyiapan streaming dari jalur tulis. Kumpulan penulis yang telah dibuka membuka aliran objek dan membuat objek yang dapat ditambahkan baru dan kosong di bucket sebelum aplikasi Anda membutuhkannya. Untuk mengetahui informasi selengkapnya, lihat Mengoptimalkan latensi penulisan.

Langkah berikutnya