Namespace hierarkis

Namespace hierarkis adalah kemampuan yang ditawarkan oleh Cloud Storage yang memungkinkan Anda mengatur objek ke dalam folder dan menyimpan data dalam struktur sistem file yang logis, sehingga mempermudah penyederhanaan tugas pengelolaan data. Namespace hierarkis menyediakan semantik direktori berperforma tinggi dan operasi folder atomik yang diperlukan untuk mempercepat workload AI/ML dan analisis yang intensif data.

Halaman ini memberikan ringkasan ruang nama hierarkis dan kasus penggunaannya, termasuk kapabilitas, manfaat, dan batasannya.

Cara kerjanya

Untuk menggunakan folder dalam bucket, Anda harus mengaktifkan ruang nama hierarkis saat membuat bucket. Setelan namespace hierarkis bucket Anda tidak dapat diubah setelah bucket dibuat. Untuk mengetahui informasi tentang cara mengaktifkan namespace hierarkis untuk bucket, lihat Membuat dan mengelola bucket dengan namespace hierarkis yang diaktifkan.

Diagram berikut menunjukkan contoh bucket dengan namespace hierarkis yang diaktifkan, tempat objek disusun dalam struktur hierarkis folder. Folder dalam bucket dengan namespace hierarkis yang diaktifkan dapat berisi objek dan folder turunan.

Gambar 1. Hierarki bucket dengan folder dan objek.
Gambar 1. Hierarki bucket dengan folder dan objek.

Kemampuan dan manfaat

Namespace hierarkis memberikan kemampuan dan manfaat berikut:

  • Kueri per detik (QPS) awal yang lebih tinggi: Bucket dengan namespace hierarkis yang diaktifkan menawarkan batas QPS awal yang lebih tinggi hingga 8 kali lipat untuk membaca dan menulis objek dibandingkan dengan bucket tanpa namespace hierarkis yang diaktifkan. QPS awal yang lebih tinggi mempermudah penskalaan beban kerja yang intensif data dan memberikan throughput yang lebih baik. Untuk informasi tentang metode pengoptimalan performa saat menggunakan folder di bucket dengan namespace hierarkis yang diaktifkan, lihat Pengelolaan folder.

  • Kemampuan untuk menggunakan folder: Folder berfungsi sebagai penampung untuk objek dan folder turunan, sehingga memungkinkan struktur direktori yang sebenarnya dalam bucket Cloud Storage. Menyimpan data Anda dalam struktur folder akan meningkatkan performa, memastikan konsistensi, dan menyederhanakan pengelolaan workload yang intensif data dan berorientasi file.

    Operasi folder memberikan kemampuan pengelolaan dan keandalan, termasuk pembuatan, pencantuman, penghapusan, dan penggantian nama atomik.

    • Mengganti nama folder: Operasi penggantian nama folder membantu Anda mengganti nama jalur folder dan folder yang mendasarinya secara atomik tanpa menghapus objek apa pun. Teknik ini efisien dan menghemat waktu, terutama untuk folder besar dengan beberapa objek.

    • Mencantumkan folder: Operasi mencantumkan folder mencantumkan semua folder dalam bucket atau di bawah folder tertentu, sehingga membantu Anda mengelola dan memahami struktur data tersimpan.

Kapan Anda harus menggunakan ruang nama hierarkis?

Anda harus mempertimbangkan untuk mengaktifkan namespace hierarkis saat bekerja dengan aplikasi yang mengharapkan hierarki dan semantik sistem file. Namespace hierarkis bermanfaat untuk tugas intensif data seperti analisis dan workload AI/ML. Berikut beberapa skenario umum yang mengharuskan Anda mempertimbangkan penggunaan namespace hierarkis:

  • Pemrosesan berbasis Hadoop: Workload Hadoop dan Spark biasanya mengharapkan struktur penyimpanan sistem file dan penamaan berbasis waktu untuk file dan folder. Namespace hierarkis terintegrasi dengan konektor Cloud Storage untuk memberikan throughput yang lebih baik dan penggantian nama folder atomik, sehingga meningkatkan integritas dan konsistensi data untuk banyak pipeline pemrosesan data.

  • Pemrosesan workload berorientasi file: Workload seperti pemrosesan analisis batch, layanan keuangan, atau komputasi berperforma tinggi disusun ke dalam partisi berdasarkan hierarki folder dan file. Namespace hierarkis membantu mengelola lingkungan ini dengan API khusus untuk pengelolaan folder. Selain itu, namespace hierarkis menyederhanakan pengelolaan folder yang berisi folder dan objek lain. Dengan satu perintah API, Anda dapat mengganti nama folder beserta semua isinya dengan cepat, sehingga menghemat waktu dan sumber daya yang berharga.

  • Pemrosesan AI/ML: Alat AI/ML seperti TensorFlow, Pandas, dan PyTorch memerlukan kontrol akses dan semantik sistem file. Namespace hierarkis, terutama jika dikombinasikan dengan Cloud Storage FUSE, memberikan peningkatan throughput dan akses data yang efisien. Hasilnya, ruang nama hierarkis meningkatkan performa dan keandalan iterasi model ML.

Sebelum mengaktifkan namespace hierarkis untuk bucket, Anda harus mempertimbangkan batasan namespace hierarkis. Untuk mengetahui informasi tentang batasan namespace hierarkis, lihat Batasan.

Manfaat namespace hierarkis

Saat mengaktifkan Namespace hierarkis untuk bucket, Anda dapat melakukan hal berikut:

  • Mengoptimalkan organisasi: Anda dapat mengatur data ke dalam struktur folder hierarkis yang membantu Anda mengelola dan menemukan file atau set data.

  • Membangun ekosistem sistem file: Ruang nama hierarkis memperkenalkan fitur sistem file seperti folder, penggantian nama folder, dan listingan folder, yang bermanfaat untuk aplikasi berorientasi file, termasuk ekosistem Hadoop dan workload AI/ML.

  • Peningkatan performa: Dengan menskalakan workload yang intensif data untuk menangani throughput yang lebih tinggi, Anda dapat meningkatkan performa aplikasi secara keseluruhan.

Dukungan platform

Bucket dengan namespace hierarkis mendukung kemampuan platform Cloud Storage berikut:

  • Semua API objek Cloud Storage dan fitur Cloud Storage yang banyak digunakan. Untuk mengetahui detail tentang fitur yang tidak didukung, lihat Batasan.

  • Transfer data dari bucket standar ke bucket dengan namespace hierarkis menggunakan Storage Transfer Service.

  • Integrasi dengan produk berikut:

Kompatibilitas dengan operasi dan fitur Cloud Storage

Bucket dengan namespace hierarkis yang diaktifkan berinteraksi dengan operasi Cloud Storage secara berbeda dengan bucket tanpa namespace hierarkis.

Interaksi dengan operasi objek

Bucket dengan namespace hierarkis yang diaktifkan menangani operasi objek dengan cara berikut:

  • Operasi seperti Upload, Rewrite, dan Compose akan otomatis membuat folder induk yang tidak ada, selama Anda memiliki izin yang diperlukan. Oleh karena itu, Anda tidak perlu membuat folder terlebih dahulu sebelum mengupload objek.
  • Meskipun folder dapat dibuat secara otomatis selama operasi objek, Anda harus menghapusnya secara eksplisit menggunakan operasi DeleteFolder.
  • Saat menggunakan operasi ListObjects dengan parameter delimiter, bucket menampilkan setiap folder turunan sebagai prefix. Namun, folder kosong dikecualikan secara default. Untuk menyertakan folder kosong, mirip dengan listingan sistem file umum, Anda harus menetapkan parameter includeFoldersAsPrefixes. Untuk informasi tentang metode pengoptimalan performa saat mencantumkan objek dalam bucket dengan namespace hierarkis yang diaktifkan, lihat Mencantumkan objek.

Interaksi dengan operasi bucket

Bagian berikut menjelaskan cara penanganan operasi bucket saat namespace hierarkis diaktifkan.

  • Anda dapat mencantumkan semua bucket dengan namespace hierarkis yang diaktifkan, terlepas dari tata letak penyimpanannya. Tata letak penyimpanan bucket menjelaskan cara objek disusun dalam bucket, baik dalam namespace datar maupun namespace hierarkis. Untuk mengetahui petunjuk tentang cara melihat tata letak penyimpanan bucket, lihat Mendapatkan tata letak penyimpanan bucket. Untuk mencantumkan semua bucket, ikuti petunjuk yang dijelaskan dalam Mencantumkan bucket.

  • Anda dapat menghapus bucket dengan namespace hierarkis yang diaktifkan selama bucket kosong. Bucket kosong tidak berisi objek atau folder terkelola. Bucket kosong dapat berisi folder kosong (tanpa objek di dalamnya).

Interaksi dengan operasi Object Lifecycle Management

Object Lifecycle Management memungkinkan Anda mengotomatiskan tindakan pada objek berdasarkan kondisi, seperti usia atau awalan. Namun, aturan Pengelolaan Siklus Proses Objek dapat berperilaku berbeda di bucket dengan namespace hierarkis dan di bucket dengan namespace datar karena operasi RenameFolder:

  • Aturan Object Lifecycle Management untuk bucket dengan namespace datar: Operasi penggantian nama melibatkan penggantian nama setiap objek menggunakan alat dengan menyalin setiap objek ke lokasi tujuan dan menghapus objek asli dari lokasi sumber. Akibatnya, objek baru dibuat dengan waktu pembuatan baru di lokasi tujuan. Jika aturan Pengelolaan Siklus Proses Objek berbasis usia diterapkan untuk lokasi tujuan, aturan tersebut tidak akan langsung diterapkan ke objek baru karena waktu pembuatannya direset.

  • Aturan Object Lifecycle Management untuk bucket dengan namespace hierarkis yang diaktifkan: Mengganti nama folder beroperasi di tingkat folder, tanpa harus mengganti nama setiap objek. Akibatnya, waktu pembuatan objek dipertahankan, yang berarti aturan Object Lifecycle Management berbasis usia diterapkan ke objek yang diubah namanya secara langsung jika memenuhi kriteria usia.

Kontrol akses untuk folder dengan folder terkelola terkait

Di Cloud Storage, folder adalah direktori sebenarnya yang menyimpan data Anda, sedangkan folder terkelola adalah resource terpisah dan khusus yang digunakan untuk menerapkan izin IAM ke direktori. Untuk mengontrol akses ke folder dan resource di dalamnya, Anda membuat folder terkelola terkait dan menetapkan kebijakan IAM pada folder terkelola terkait. Folder terkelola terkait adalah folder terkelola yang memiliki nama dan jalur yang sama dengan folder sebenarnya Anda.

Folder terkelola terkait berfungsi sebagai lapisan administratif di atas direktori yang dibuat oleh folder, yang berarti bahwa folder dan folder terkelola terkait terhubung secara tak terpisahkan. Misalnya, jika Anda menghapus folder yang memiliki folder terkelola terkait, folder terkelola terkait juga akan dihapus bersama dengan kebijakan IAM-nya. Untuk mengetahui detail tentang cara operasi folder memengaruhi folder terkelola terkait, lihat Interaksi antara folder dan folder terkelola terkait.

Penamaan untuk folder dengan folder terkelola terkait

Aturan penamaan folder dan aturan penamaan folder terkelola berlaku saat membuat folder dengan folder terkelola terkait. Nama folder dapat disusun bertingkat hingga 50 tingkat, tetapi nama folder terkelola hanya dapat disusun bertingkat hingga 15 tingkat. Ukuran maksimum untuk nama folder terkelola adalah 512 byte saat dienkode UTF-8. Artinya, jika Anda berencana membuat folder dan folder terkelola terkait untuknya, folder tersebut hanya dapat memiliki 15 folder turunan bertumpuk, dan ukuran nama maksimumnya adalah 512 byte saat dienkode UTF-8.

Harga

Untuk mengetahui informasi harga, lihat harga Cloud Storage.

Batasan

Berikut adalah batasan namespace hierarkis:

  • Anda harus memilih apakah akan menggunakan namespace hierarkis atau tidak saat membuat bucket; setelan namespace hierarkis bucket tidak dapat diubah setelah bucket dibuat.

  • Untuk mengaktifkan namespace hierarkis, bucket juga harus mengaktifkan akses level bucket yang seragam.

  • Di bucket dengan namespace hierarkis yang diaktifkan, ukuran maksimum nama objek adalah 1.024 byte saat dienkode UTF-8, dengan setiap segmen nama folder dan segmen nama dasar memiliki batas 512 byte saat dienkode UTF-8. Di bucket namespace datar, nama objek tidak berisi segmen nama folder dan memiliki batas 1.024 byte jika berenkode UTF-8. Untuk mengetahui informasi selengkapnya tentang batas nama objek, lihat Tentang objek.

  • Nama folder dapat disusun bertingkat hingga 50 tingkat (atau 15 tingkat jika folder memiliki folder terkelola terkait).

  • Kemampuan Cloud Storage berikut tidak didukung untuk bucket yang menggunakan namespace hierarkis:

    • Kunci Bucket
    • Relokasi bucket dengan periode nonaktif penulisan
    • Replikasi lintas bucket
    • Penangguhan objek
    • Daftar kontrol akses (ACL) tingkat objek
    • Kunci Retensi Objek
    • Pembuatan Versi Objek

Langkah berikutnya

Coba sendiri

Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa Cloud Storage dalam skenario dunia nyata. Pelanggan baru juga akan mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Coba Cloud Storage gratis