Storage batch operations

Storage batch operation memungkinkan Anda mengotomatiskan tugas massal, seperti menghapus objek atau mengupdate metadata, di miliaran objek dalam lingkungan serverless. Otomatisasi ini membantu Anda menghindari penulisan dan pemeliharaan skrip kustom, terutama dalam penyiapan perusahaan besar dengan data yang tersebar di ribuan bucket.

Untuk mempelajari cara membuat tugas storage batch operation, lihat Membuat dan mengelola tugas storage batch operation. Untuk perubahan pada setiap objek, Anda tidak perlu membuat tugas operasi batch. Sebagai gantinya, lihat panduan tugas standar seperti menghapus objek atau melihat dan mengedit metadata objek.

Ringkasan

Gunakan storage batch operation untuk mengelola file dalam jumlah besar di seluruh project Anda. Untuk memulai, buat konfigurasi tugas. Konfigurasi menentukan transformasi yang akan diterapkan ke objek tertentu. Transformasi ini mencakup penempatan penangguhan objek, penghapusan objek, pembaruan metadata dan konteks objek, penulisan ulang objek, dan patching kontrol akses.

Saat mengirimkan tugas operasi batch, Anda dapat memantau statusnya untuk memverifikasi kapan tugas tersebut menerapkan semua transformasi yang ditentukan.

Manfaat

Berikut adalah manfaat storage batch operations:

  • Skalabilitas: Lakukan transformasi pada jutaan objek dengan satu tugas storage batch operation.
  • Eksekusi serverless: Menjalankan tugas batch di lingkungan serverless, sehingga tidak perlu mengelola infrastruktur.
  • Otomatisasi: Mengotomatiskan tugas yang kompleks dan berulang untuk meningkatkan efisiensi operasional.
  • Waktu pengembangan yang lebih singkat: Hindari menulis dan mengelola skrip kustom yang kompleks.
  • Integrasi set data Insight Penyimpanan: Pilih objek secara langsung dengan menentukan kondisi yang cocok dengan kolom di set data Insight Penyimpanan Anda. Pemilihan langsung ini menghilangkan kebutuhan untuk menyusun manifes CSV secara manual atau menjalankan kueri untuk mengekspor set data Anda dari BigQuery.
  • Performa: Selesaikan operasi yang sensitif terhadap waktu dengan menjalankan beberapa tugas batch serentak. Misalnya, Anda dapat memproses hingga satu miliar objek dalam waktu tiga jam.
  • Percobaan ulang otomatis: Mencoba ulang operasi yang gagal secara otomatis.
  • Pemantauan tugas: Lacak progres secara mendetail untuk memantau status dan penyelesaian semua tugas.

Kasus penggunaan

Storage batch operations mengotomatiskan dan menyederhanakan pengelolaan penyimpanan di seluruh organisasi. Skenario umum berikut menjelaskan cara resource membantu melindungi, mengatur, dan mengelola resource Anda:

  • Membantu melindungi data Anda: Kelola postur keamanan Anda dalam skala besar. Misalnya, Anda dapat merotasi kunci enkripsi pada jutaan objek, menerapkan atau menghapus penangguhan objek untuk menerapkan keabadian, dan menerapkan patch Daftar Kontrol Akses (ACL) secara massal untuk menghapus akses baca publik ke data pribadi.

  • Mempertahankan kepatuhan: Membantu memenuhi peraturan retensi data. Gunakan penangguhan objek yang ditargetkan untuk menerapkan aturan retensi, menetapkan batas waktu habis masa berlaku tertentu, dan menghapus objek dalam periode tertentu untuk memenuhi kebijakan penghapusan.

  • Mentransformasi data dalam skala besar: Melakukan update massal pada properti objek. Misalnya, Anda dapat memperbarui metadata objek kustom atau tetap, dan memberi tag pada file untuk sistem downstream dengan memperbarui atau menghapus konteks kustom objek.

  • Mengelola biaya penyimpanan: Membantu mengoptimalkan pengeluaran Cloud Storage Anda. Misalnya, Anda dapat menghapus objek aktif yang tidak diperlukan secara massal, menghapus permanen data yang sudah tidak berlaku dengan menghapus versi objek lama secara permanen, dan memindahkan objek Standard Storage ke kelas penyimpanan yang lebih jarang diakses, seperti Archive Storage, dalam skala besar.

Konfigurasi tugas

Untuk membuat tugas operasi batch penyimpanan, tetapkan konfigurasi tugas berikut. Konfigurasi tugas adalah parameter yang mengontrol cara tugas memproses objek.

  • Job name: Nama unik untuk mengidentifikasi tugas storage batch operation. Gunakan nama ini untuk melacak, memantau, dan mereferensikan tugas. Nama tugas berupa alfanumerik, misalnya, job-01.

  • Deskripsi tugas (Opsional): Deskripsi singkat tentang tujuan tugas. Deskripsi ini membantu Anda memahami dan mendokumentasikan fungsi tugas. Misalnya, Deletes all objects in a bucket.

  • Daftar bucket: Daftar yang dipisahkan koma untuk satu atau beberapa nama bucket yang berisi objek yang ingin Anda proses. Anda dapat menentukan hingga 1.000 bucket dari project mana pun, asalkan setiap bucket terdaftar dalam paket storage intelligence.

  • Pemilihan objek: Kriteria pemilihan yang menentukan objek yang akan diproses. Anda dapat menentukan kriteria menggunakan salah satu opsi berikut:

    • Filter set data: Gunakan Common Expression Language (CEL) untuk memfilter objek berdasarkan kolom metadata di set data Insight Penyimpanan Anda. Anda dapat menjalankan tugas batch pada objek di beberapa bucket dalam sebuah project. Saat Anda menggunakan filter set data untuk pemilihan objek, storage batch operation akan menargetkan objek yang aktif dan terbaru pada snapshot set data yang dipilih. Akibatnya, tugas hanya menyertakan objek yang memiliki nilai NULL untuk softDeleteTime dan timeDeleted pada saat snapshot. Untuk mengetahui detailnya, lihat Membuat tugas menggunakan filter lanjutan.

    • Manifes: Buat manifes dan tentukan lokasinya saat Anda membuat tugas storage batch operation. Manifes adalah file CSV yang diupload ke Google Cloud yang berisi daftar objek yang akan diproses. Setiap baris dalam manifes harus menyertakan bucket dan name objek. Anda dapat menentukan generation objek secara opsional. Jika Anda menghapus nilai generation, tugas akan memproses versi aktif objek.

      File manifes harus menyertakan baris header dengan format berikut:

      bucket,name,generation

      Berikut adalah contoh manifes:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_2,object_3,generation_3

      Anda juga dapat membuat manifes menggunakan set data Insight Penyimpanan. Untuk mengetahui detailnya, lihat Membuat manifes menggunakan set data Insight Penyimpanan.

    • Awalan objek: Tentukan daftar awalan untuk memfilter objek dalam bucket. Tugas hanya memproses objek yang cocok dengan awalan ini. Jika Anda membiarkan daftar awalan kosong, tugas akan memproses semua objek dalam bucket.

  • Jenis pekerjaan: Storage batch operations mendukung jenis pekerjaan berikut, yang menjalankan satu pekerjaan per operasi batch.

    • Penghapusan objek: Hapus objek dalam bucket untuk membantu mengoptimalkan biaya, mengelola siklus proses data, dan mematuhi kebijakan penghapusan data.

    • Update metadata: Anda dapat mengubah metadata objek berikut:

      • Metadata kustom: Anda dapat memperbarui key-value pair yang ditentukan pengguna yang terkait dengan objek.

      • Metadata tetap: Anda dapat memperbarui Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, dan konfigurasi retensi. Untuk mengubah penangguhan objek, gunakan jenis pekerjaan update penangguhan objek.

    • Pembaruan penangguhan objek: Anda dapat mengaktifkan atau menonaktifkan penangguhan objek. Penangguhan objek mencegah objek dihapus atau diubah. Pembekuan ini penting untuk kepatuhan dan retensi data.

    • Pembaruan kunci enkripsi objek: Anda dapat mengelola kunci enkripsi yang dikelola pelanggan untuk satu atau beberapa objek. Kemampuan ini mencakup penerapan atau pengubahan kunci enkripsi menggunakan metode penulisan ulang objek.

    • Pembaruan konteks objek: Mengelola konteks objek yang terkait dengan objek. Anda dapat menghapus semua konteks objek yang ada atau membuat pembaruan tertentu, seperti menghapus kunci atau menyisipkan dan memperbarui key-value pair.

    • Pembaruan kelas penyimpanan objek: Anda dapat mengubah kelas penyimpanan objek secara massal untuk membantu mengoptimalkan biaya.

    • Pembaruan daftar kontrol akses (ACL) objek: Anda dapat melakukan patch pada ACL objek untuk menambahkan, memperbarui, atau menghapus pemberian akses untuk entity seperti allUsers dan allAuthenticatedUsers.

  • Uji coba (Opsional): Gunakan mode uji coba untuk mencegah kesalahan konfigurasi berskala besar yang tidak disengaja. Uji coba menyimulasikan operasi tanpa melakukan transformasi. Simulasi ini membantu Anda memvalidasi konfigurasi tugas sebelum menjalankan tugas yang sebenarnya. Hasil uji coba memberikan pratinjau detail berikut sebelum Anda menjalankan tugas:

    • Jumlah objek yang terpengaruh oleh tugas.

    • Potensi error.

    • Ukuran total objek yang terpengaruh, jika Anda memfilter menurut awalan objek.

Harga

Untuk memperkirakan biaya tugas atau uji coba, lihat harga Cloud Storage.

Anda dapat menggunakan uji coba untuk memvalidasi konfigurasi tanpa menimbulkan biaya operasi, meskipun uji coba mungkin menimbulkan biaya listingan objek.

Batasan

Storage batch operations memiliki batasan berikut:

  • Tugas storage batch operations memiliki masa aktif maksimum 14 hari. Setiap tugas yang sedang berjalan dan tidak selesai dalam waktu 14 hari sejak dibuat akan otomatis dibatalkan.

  • Anda dapat menyertakan maksimum 1.000 awalan objek dalam satu tugas.

  • Menjalankan lebih dari 10 tugas serentak di bucket yang sama akan menurunkan performa setiap tugas.

  • Anda dapat menjalankan satu tugas batch di maksimum 1.000 bucket dalam sebuah project.

  • Filter bucket dan filter objek masing-masing dibatasi hingga maksimum 150 karakter.

  • Storage batch operations otomatis memilih waktu snapshot set data Insight Penyimpanan berdasarkan manifes global. Pilihan ini mencocokkan semua bucket yang ditargetkan ke waktu snapshot yang sama untuk penemuan objek. Waktu snapshot global yang dipilih ditampilkan dalam respons API. Jika waktu snapshot lebih lama dari dua hari, pembuatan tugas akan gagal. Untuk mengetahui informasi tentang cara mengatasi kegagalan ini, lihat Memecahkan masalah Storage batch operations.

  • Storage batch operations tidak didukung pada bucket yang mengaktifkan Requester Pays.

  • Saat Anda menggunakan set data Insight Penyimpanan untuk pemilihan objek, storage batch operation menargetkan objek yang aktif dan terbaru pada snapshot set data yang dipilih.

Langkah berikutnya