Storage batch operations

Dokumen ini menjelaskan cara menggunakan operasi batch penyimpanan untuk melakukan tindakan pada miliaran objek dalam skala besar di lingkungan serverless. Penyiapan perusahaan besar dapat memiliki objek yang tersebar di ribuan bucket. Operasi batch penyimpanan mengotomatiskan operasi skala besar pada objek. Otomatisasi ini mengurangi waktu pengembangan yang diperlukan untuk menulis dan memelihara skrip untuk setiap permintaan.

Untuk mempelajari cara membuat tugas operasi batch penyimpanan, lihat Membuat dan mengelola tugas operasi batch penyimpanan.

Ringkasan

Gunakan operasi batch penyimpanan untuk mengelola sejumlah besar file di seluruh project Anda. Untuk memulai, buat konfigurasi tugas. Konfigurasi menentukan transformasi mana yang akan diterapkan ke objek tertentu. Transformasi ini mencakup penempatan penangguhan objek, penghapusan objek, pembaruan metadata dan konteks objek, penulisan ulang objek, dan penerapan patch kontrol akses.

Saat mengirimkan tugas operasi batch, Anda dapat memantau statusnya untuk memverifikasi kapan tugas menerapkan semua transformasi yang ditentukan.

Manfaat

Berikut adalah manfaat operasi batch penyimpanan:

  • Skalabilitas: Lakukan transformasi pada jutaan objek dengan satu tugas operasi batch penyimpanan.
  • Eksekusi serverless: Jalankan tugas batch di lingkungan serverless, sehingga tidak perlu mengelola infrastruktur.
  • Otomatisasi: Otomatiskan tugas yang kompleks dan berulang untuk meningkatkan efisiensi operasional.
  • Waktu pengembangan yang lebih singkat: Hindari penulisan dan pemeliharaan skrip kustom yang rumit.
  • Integrasi set data Insight Penyimpanan: Pilih objek secara langsung dengan menentukan kondisi yang cocok dengan kolom di set data Insight Penyimpanan Anda. Pemilihan langsung ini menghilangkan kebutuhan untuk menyusun manifest CSV secara manual atau menjalankan kueri untuk mengekspor set data Anda dari BigQuery.
  • Performa: Selesaikan operasi yang mendesak dengan menjalankan beberapa tugas batch serentak. Misalnya, Anda dapat memproses hingga satu miliar objek dalam waktu tiga jam.
  • Percobaan ulang otomatis: Mencoba ulang operasi yang gagal secara otomatis.
  • Pemantauan tugas: Lacak progres secara mendetail untuk memantau status dan penyelesaian semua tugas.

Kasus penggunaan

Operasi batch penyimpanan mengotomatiskan dan menyederhanakan pengelolaan penyimpanan di seluruh organisasi. Skenario umum berikut menjelaskan cara label membantu melindungi, mengatur, dan mengelola resource Anda:

  • Membantu melindungi data Anda: Kelola postur keamanan Anda dalam skala besar. Misalnya, Anda dapat mengganti kunci enkripsi pada jutaan objek, menerapkan atau menghapus penangguhan objek untuk menerapkan keabadian, dan melakukan patch pada Daftar Kontrol Akses (ACL) secara massal untuk menghapus akses baca publik ke data pribadi.

  • Mempertahankan kepatuhan: Membantu memenuhi peraturan retensi data. Gunakan penangguhan objek yang ditargetkan untuk menerapkan aturan retensi, menetapkan jangka waktu habis masa berlaku tertentu, dan menghapus objek dalam jangka waktu tertentu untuk memenuhi kebijakan penghapusan total.

  • Mentransformasi data dalam skala besar: Lakukan pembaruan massal pada properti objek. Misalnya, Anda dapat memperbarui metadata objek kustom atau tetap, dan memberi tag pada file untuk sistem hilir dengan memperbarui atau menghapus konteks kustom objek.

  • Mengelola biaya penyimpanan: Membantu mengoptimalkan pengeluaran Cloud Storage Anda. Misalnya, Anda dapat menghapus objek aktif yang tidak diperlukan secara massal, menghapus data usang secara permanen dengan menghapus versi objek lama, dan memindahkan objek Standard Storage ke kelas penyimpanan yang lebih jarang diakses, seperti Archive Storage, dalam skala besar.

Konfigurasi tugas

Untuk membuat tugas operasi batch penyimpanan, tetapkan konfigurasi tugas berikut. Konfigurasi tugas adalah parameter yang mengontrol cara tugas memproses objek.

  • Nama tugas: Nama unik untuk mengidentifikasi tugas operasi batch penyimpanan. Gunakan nama ini untuk melacak, memantau, dan mereferensikan tugas. Nama tugas berupa alfanumerik, misalnya, job-01.

  • Deskripsi pekerjaan (Opsional): Deskripsi singkat tentang tujuan pekerjaan. Deskripsi ini membantu Anda memahami dan mendokumentasikan tugas yang dilakukan dalam pekerjaan tersebut. Misalnya, Deletes all objects in a bucket.

  • Daftar bucket: Daftar nama bucket yang dipisahkan koma yang berisi objek yang ingin Anda proses. Anda dapat menentukan hingga 1.000 bucket dari project mana pun, asalkan setiap bucket terdaftar dalam paket analisis penyimpanan.

  • Pemilihan objek: Kriteria pemilihan yang menentukan objek mana yang akan diproses. Anda dapat menentukan kriteria menggunakan salah satu opsi berikut:

    • Filter set data: Gunakan Common Expression Language (CEL) untuk memfilter objek berdasarkan kolom metadata di set data Insight Penyimpanan Anda. Anda dapat menjalankan tugas batch pada objek di beberapa bucket dalam suatu project. Saat Anda menggunakan filter set data untuk pemilihan objek, operasi batch penyimpanan menargetkan objek yang aktif dan terbaru pada saat snapshot set data yang dipilih. Akibatnya, tugas hanya menyertakan objek yang memiliki nilai NULL untuk softDeleteTime dan timeDeleted pada saat snapshot. Untuk mengetahui detailnya, lihat Membuat tugas menggunakan filter lanjutan.

    • Manifes: Buat manifes dan tentukan lokasinya saat Anda membuat tugas operasi batch penyimpanan. Manifes adalah file CSV yang diupload ke Google Cloud yang berisi daftar objek yang akan diproses. Setiap baris dalam manifes harus menyertakan bucket dan name objek. Anda dapat menentukan generation objek secara opsional. Jika Anda menghapus nilai generation, tugas akan memproses versi aktif objek.

      File manifes harus menyertakan baris header dengan format berikut:

      bucket,name,generation

      Berikut adalah contoh manifes:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_2,object_3,generation_3

      Anda juga dapat membuat manifes menggunakan set data Insight Penyimpanan. Untuk mengetahui detailnya, lihat Membuat manifes menggunakan set data Insight Penyimpanan.

    • Awalan objek: Tentukan daftar awalan untuk memfilter objek dalam bucket. Pekerjaan hanya memproses objek yang cocok dengan awalan ini. Jika Anda membiarkan daftar awalan kosong, tugas akan memproses semua objek dalam bucket.

  • Jenis pekerjaan: Operasi batch penyimpanan mendukung jenis pekerjaan berikut, yang menjalankan satu pekerjaan per operasi batch.

    • Penghapusan objek: Hapus objek dalam bucket untuk membantu mengoptimalkan biaya, mengelola siklus proses data, dan mematuhi kebijakan penghapusan data.

    • Pembaruan metadata: Anda dapat mengubah metadata objek berikut:

      • Metadata kustom: Anda dapat memperbarui pasangan nilai kunci yang ditentukan pengguna yang terkait dengan objek.

      • Metadata tetap: Anda dapat memperbarui Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, dan konfigurasi retensi. Untuk mengubah penangguhan objek, gunakan jenis pekerjaan pembaruan penangguhan objek.

    • Pembaruan penangguhan objek: Anda dapat mengaktifkan atau menonaktifkan penangguhan objek. Penangguhan objek mencegah objek dihapus atau diubah. Penangguhan ini sangat penting untuk kepatuhan dan retensi data.

    • Pembaruan kunci enkripsi objek: Anda dapat mengelola kunci enkripsi yang dikelola pelanggan untuk satu atau beberapa objek. Kemampuan ini mencakup penerapan atau pengubahan kunci enkripsi menggunakan metode tulis ulang objek.

    • Pembaruan konteks objek: Mengelola konteks objek yang terkait dengan objek. Anda dapat menghapus semua konteks objek yang ada atau melakukan update tertentu, seperti menghapus kunci atau menyisipkan dan mengupdate key-value pair.

    • Pembaruan kelas penyimpanan objek: Anda dapat mengubah kelas penyimpanan objek secara massal untuk membantu mengoptimalkan biaya.

    • Pembaruan daftar kontrol akses (ACL) objek: Anda dapat memperbaiki ACL objek untuk menambahkan, memperbarui, atau menghapus pemberian akses untuk entitas seperti allUsers dan allAuthenticatedUsers.

  • Uji coba (Opsional): Gunakan mode uji coba untuk mencegah kesalahan konfigurasi skala besar yang tidak disengaja. Uji coba mensimulasikan operasi tanpa melakukan transformasi. Simulasi ini membantu Anda memvalidasi konfigurasi tugas sebelum menjalankan tugas yang sebenarnya. Hasil uji coba memberikan pratinjau detail berikut sebelum Anda menjalankan tugas:

    • Jumlah objek yang terpengaruh oleh tugas.

    • Potensi error.

    • Ukuran total objek yang terpengaruh, jika Anda memfilter menurut awalan objek.

Harga

Untuk memperkirakan biaya tugas atau uji coba, lihat harga Cloud Storage.

Anda dapat menggunakan uji coba untuk memvalidasi konfigurasi tanpa menimbulkan biaya operasi, meskipun uji coba dapat menimbulkan biaya listingan objek.

Batasan

Operasi batch penyimpanan memiliki batasan berikut:

  • Tugas operasi batch penyimpanan memiliki masa aktif maksimum 14 hari. Setiap tugas yang sedang berjalan dan tidak selesai dalam waktu 14 hari sejak dibuat akan dibatalkan secara otomatis.

  • Anda dapat menyertakan maksimum 1.000 awalan objek dalam satu tugas.

  • Menjalankan lebih dari 10 tugas serentak di bucket yang sama akan menurunkan performa setiap tugas.

  • Anda dapat menjalankan satu tugas batch di maksimum 1.000 bucket dalam satu project.

  • Filter bucket dan filter objek masing-masing dibatasi hingga maksimum 150 karakter.

  • Operasi batch penyimpanan otomatis memilih waktu snapshot set data Insight Penyimpanan berdasarkan manifes global. Pilihan ini mencocokkan semua bucket yang ditargetkan dengan waktu snapshot yang sama untuk penemuan objek. Waktu snapshot global yang dipilih ditampilkan dalam respons API. Jika waktu snapshot lebih lama dari dua hari, pembuatan tugas akan gagal. Untuk mengetahui informasi tentang cara mengatasi kegagalan ini, lihat Memecahkan masalah operasi batch Storage.

  • Operasi batch penyimpanan tidak didukung di bucket yang mengaktifkan Requester Pays.

  • Saat Anda menggunakan set data Insight Penyimpanan untuk pemilihan objek, operasi batch penyimpanan menargetkan objek yang aktif dan terbaru pada saat snapshot set data yang dipilih.

Langkah berikutnya