Namespace hierarkis

Namespace hierarkis adalah kemampuan yang ditawarkan oleh Cloud Storage yang memungkinkan Anda mengatur objek ke dalam folder dan menyimpan data dalam struktur sistem file logis, sehingga mempermudah tugas pengelolaan data. Namespace hierarkis menyediakan semantik direktori berperforma tinggi dan operasi folder atomik yang diperlukan untuk mempercepat workload analisis dan AI/ML yang intensif data.

Halaman ini memberikan ringkasan tentang namespace hierarkis, termasuk fitur utama, kasus penggunaan umum, manfaat, dan batasan.

Cara kerjanya

Untuk menggunakan folder dalam bucket, Anda harus mengaktifkan namespace hierarkis saat membuat bucket. Setelan namespace hierarkis bucket tidak dapat diubah setelah bucket dibuat. Untuk mengetahui informasi tentang cara mengaktifkan namespace hierarkis untuk bucket, lihat Membuat dan mengelola bucket dengan namespace hierarkis diaktifkan.

Diagram berikut menunjukkan contoh bucket dengan namespace hierarkis diaktifkan tempat objek diatur dalam struktur hierarkis folder. Folder dalam bucket dengan namespace hierarkis diaktifkan dapat berisi objek dan folder turunan.

Gambar 1. Hierarki bucket dengan folder dan objek.
Gambar 1. Hierarki bucket dengan folder dan objek.

Fitur utama

Namespace hierarkis menyediakan fitur berikut:

  • Kueri awal per detik (QPS) yang lebih tinggi: Bucket dengan namespace hierarkis diaktifkan menawarkan batas QPS awal hingga 8 kali lebih tinggi untuk membaca dan menulis objek dibandingkan dengan bucket tanpa namespace hierarkis diaktifkan. QPS awal yang lebih tinggi memudahkan penskalaan workload intensif data dan memberikan peningkatan throughput. Untuk mengetahui informasi tentang metode pengoptimalan performa saat menggunakan folder dalam bucket dengan namespace hierarkis diaktifkan, lihat Pengelolaan folder.

  • Folder: Folder berfungsi sebagai penampung untuk objek dan folder lainnya, dengan dukungan untuk operasi seperti membuat, menghapus, dan mendapatkan folder. Menyimpan data dalam struktur folder meningkatkan performa, memastikan konsistensi, dan menyederhanakan pengelolaan workload intensif data dan berorientasi file.

  • Operasi folder: Operasi folder menyediakan kemampuan pengelolaan dan keandalan, termasuk membuat, menghapus, mencantumkan, dan mengganti nama folder.

    • Mengganti nama folder: Operasi ganti nama folder membantu Anda mengganti nama jalur folder dan folder yang mendasarinya secara atomik tanpa menghapus objek apa pun. Teknik ini efisien dan menghemat waktu, terutama untuk folder besar dengan beberapa objek.

    • Mencantumkan folder: Operasi daftar folder mencantumkan semua folder dalam bucket atau di bawah folder tertentu, sehingga membantu Anda mengelola dan memahami struktur data tersimpan.

Kapan Anda harus menggunakan namespace hierarkis?

Anda harus mempertimbangkan untuk mengaktifkan namespace hierarkis saat menggunakan aplikasi yang mengharapkan hierarki dan semantik sistem file. Namespace hierarkis bermanfaat untuk tugas intensif data seperti workload analisis dan AI/ML. Berikut beberapa skenario umum saat Anda harus mempertimbangkan untuk menggunakan namespace hierarkis:

  • Pemrosesan berbasis Hadoop: Workload Hadoop dan Spark secara tradisional mengharapkan struktur penyimpanan sistem file dan penamaan berbasis waktu untuk file dan folder. Namespace hierarkis terintegrasi dengan konektor Cloud Storage untuk memberikan peningkatan throughput dan penggantian nama folder atomik, sehingga meningkatkan integritas dan konsistensi data untuk banyak pipeline pemrosesan data.

  • Pemrosesan workload berorientasi file: Workload seperti pemrosesan analisis batch, layanan keuangan, atau komputasi berperforma tinggi disusun ke dalam partisi berdasarkan hierarki folder dan file. Namespace hierarkis membantu mengelola lingkungan ini dengan API khusus untuk pengelolaan folder. Selain itu, namespace hierarkis menyederhanakan pengelolaan folder yang berisi folder dan objek lainnya. Dengan satu perintah API, Anda dapat dengan cepat mengganti nama folder beserta semua kontennya, sehingga menghemat waktu dan resource yang berharga.

  • Pemrosesan AI/ML: Alat AI/ML seperti TensorFlow, Pandas, dan PyTorch mengharapkan kontrol akses dan semantik sistem file. Namespace hierarkis, terutama jika dikombinasikan dengan Cloud Storage FUSE, memberikan peningkatan throughput dan akses data yang efisien. Alhasil, namespace hierarkis meningkatkan performa dan keandalan iterasi model ML.

Sebelum mengaktifkan namespace hierarkis untuk bucket, Anda harus mempertimbangkan batasan namespace hierarkis. Untuk mengetahui informasi tentang batasan namespace hierarkis, lihat Batasan.

Manfaat namespace hierarkis

Saat mengaktifkan namespace Hierarkis untuk bucket, Anda dapat melakukan hal berikut:

  • Mengoptimalkan organisasi: Anda dapat mengatur data ke dalam struktur folder hierarkis, yang membantu Anda mengelola dan menemukan file atau set data.

  • Membuat ekosistem sistem file: Namespace hierarkis memperkenalkan fitur sistem file seperti folder, penggantian nama folder, dan daftar folder, yang bermanfaat untuk aplikasi berorientasi file, termasuk ekosistem Hadoop dan workload AI/ML.

  • Peningkatan performa: Dengan menskalakan workload intensif data untuk menangani throughput yang lebih tinggi, Anda dapat meningkatkan performa keseluruhan aplikasi.

Dukungan platform

Bucket dengan namespace hierarkis mendukung kemampuan platform Cloud Storage berikut:

  • Semua Cloud Storage object API dan fitur Cloud Storage yang banyak digunakan. Untuk mengetahui detail tentang fitur yang tidak didukung, lihat Batasan.

  • Transfer data dari bucket standar ke bucket dengan namespace hierarkis menggunakan Storage Transfer Service.

  • Integrasi dengan produk berikut:

Kompatibilitas dengan operasi dan fitur Cloud Storage

Bucket dengan namespace hierarkis diaktifkan memiliki interaksi berikut dengan operasi Cloud Storage lainnya:

Cara menangani operasi objek

Bucket dengan namespace hierarkis diaktifkan menangani objek operasi dengan cara berikut:

  • Operasi seperti Upload, Rewrite, dan Compose secara otomatis membuat folder induk yang tidak ada, selama Anda memiliki izin yang diperlukan. Alhasil, Anda tidak perlu membuat folder terlebih dahulu sebelum mengupload objek.
  • Meskipun folder dapat dibuat secara otomatis selama operasi objek, Anda harus menghapusnya secara eksplisit menggunakan operasi DeleteFolder.
  • Saat menggunakan operasi ListObjects dengan parameter delimiter, bucket akan menampilkan setiap folder turunan sebagai prefix. Namun, folder kosong akan dikecualikan secara default. Untuk menyertakan folder kosong, mirip dengan listingan sistem file biasa, Anda harus menetapkan parameter includeFoldersAsPrefixes. Untuk mengetahui informasi tentang metode pengoptimalan performa saat mencantumkan objek dalam bucket dengan namespace hierarkis diaktifkan, lihat Mencantumkan objek.

Cara menangani folder terkelola

Bucket dengan namespace hierarkis diaktifkan menawarkan kontrol akses terperinci saat digunakan dengan folder terkelola. Dalam bucket dengan namespace hierarkis diaktifkan, folder adalah direktori sebenarnya yang menyimpan data Anda, sedangkan folder terkelola adalah resource khusus yang digunakan untuk menerapkan izin IAM terperinci ke direktori tersebut. Untuk mengelola akses ke folder, Anda harus membuat folder terkelola dengan nama yang sama seperti folder, lalu menerapkan kebijakan IAM ke folder tersebut.

Folder terkelola ditangani dengan cara berikut dalam bucket dengan namespace hierarkis diaktifkan.

  • Membuat folder terkelola akan otomatis membuat folder induk yang tidak ada, termasuk folder dengan nama yang sama. Misalnya, Anda memiliki bucket kosong dengan namespace hierarkis diaktifkan yang disebut example-ai-datasets. Jika Anda membuat folder terkelola dalam example-ai-datasets yang disebut 2025/training-data/, Cloud Storage akan otomatis membuat folder induk folder 2025/ dan folder target training-data/.
  • Folder terkelola tidak dapat ada tanpa folder terkait.
  • Menghapus folder akan otomatis menghapus folder terkelola terkait.
  • Mengganti nama folder akan otomatis mengganti nama folder terkelola terkait.
  • Bucket dengan namespace hierarkis harus mengikuti aturan penamaan folder terkelola dan aturan penamaan folder. Meskipun nama folder dapat disusun bertingkat hingga 50 tingkat, nama folder terkelola hanya dapat disusun bertingkat hingga 15 tingkat. Ukuran nama folder terkelola maksimum dibatasi oleh ukuran nama folder maksimum, yaitu 512 byte saat dienkode UTF-8.

Cara menangani operasi bucket

Bagian berikut menjelaskan cara menangani operasi bucket saat namespace hierarkis diaktifkan.

  • Anda dapat mencantumkan semua bucket dengan namespace hierarkis diaktifkan, terlepas dari tata letak penyimpanannya. Tata letak penyimpanan bucket menjelaskan cara objek diatur dalam bucket, baik dalam namespace datar maupun namespace hierarkis. Untuk mengetahui petunjuk tentang cara melihat tata letak penyimpanan bucket, lihat Mendapatkan tata letak penyimpanan bucket. Untuk mencantumkan semua bucket, ikuti petunjuk yang dijelaskan dalam Mencantumkan bucket.

  • Anda dapat menghapus bucket dengan namespace hierarkis diaktifkan selama bucket kosong. Bucket kosong tidak berisi objek atau folder terkelola. Bucket kosong dapat berisi folder kosong (tanpa objek di dalamnya).

Cara menangani aturan Object Lifecycle Management

Object Lifecycle Management memungkinkan Anda mengotomatiskan tindakan pada objek berdasarkan kondisi, seperti usia atau awalan. Namun, aturan Object Lifecycle Management dapat berperilaku berbeda dalam bucket dengan namespace hierarkis dan dalam bucket dengan namespace datar karena operasi RenameFolder:

  • Aturan Object Lifecycle Management untuk bucket dengan namespace datar: Operasi penggantian nama melibatkan penggantian nama setiap objek menggunakan alat dengan menyalin setiap objek ke lokasi tujuan dan menghapus objek asli dari lokasi sumber. Alhasil, objek baru dibuat dengan waktu pembuatan baru di lokasi tujuan. Jika aturan Object Lifecycle Management berbasis usia diterapkan untuk lokasi tujuan, aturan tersebut tidak akan langsung berlaku untuk objek baru karena waktu pembuatannya direset.

  • Aturan Object Lifecycle Management untuk bucket dengan namespace hierarkis diaktifkan: Penggantian nama folder beroperasi di tingkat folder, tanpa harus mengganti nama setiap objek. Alhasil, waktu pembuatan objek dipertahankan, yang berarti aturan Object Lifecycle Management berbasis usia langsung diterapkan ke objek yang diganti namanya jika memenuhi kriteria usia.

Harga

Untuk mengetahui informasi harga, lihat Harga Cloud Storage.

Batasan

Berikut adalah batasan namespace hierarkis:

  • Anda harus memilih apakah akan menggunakan namespace hierarkis atau tidak saat membuat bucket; setelan namespace hierarkis bucket tidak dapat diubah setelah bucket dibuat.

  • Untuk mengaktifkan namespace hierarkis, bucket juga harus mengaktifkan akses level bucket yang seragam.

  • Kemampuan Cloud Storage berikut tidak didukung untuk bucket yang menggunakan namespace hierarkis:

    • Kunci Bucket
    • Relokasi bucket
    • Replikasi lintas bucket
    • Penangguhan objek
    • Kunci Retensi Objek
    • Pembuatan Versi Objek

Langkah berikutnya

Coba sendiri

Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa Cloud Storage dalam skenario dunia nyata. Pelanggan baru juga akan mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Coba Cloud Storage gratis