Memecahkan masalah Storage Intelligence

Dokumen ini menjelaskan cara memecahkan masalah umum terkait Storage Intelligence, laporan inventaris Storage Insights, kumpulan data Storage Insights, dan operasi batch penyimpanan.

Error konfigurasi Storage Intelligence

Bagian berikut menjelaskan error yang mungkin Anda alami saat mengonfigurasi atau mengelola Storage Intelligence untuk resource.

400: Nama bucket tidak valid

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan The specified bucket is not valid.

Solusi: Permintaan tidak valid. Pastikan permintaan memenuhi persyaratan berikut:

  • Gunakan locations/global. Storage Intelligence tidak mendukung lokasi lainnya.
  • Pastikan nama bucket atau ekspresi reguler di bucket_id_regexes valid.

Berikut adalah contoh permintaan yang valid:

curl -X PATCH \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -d '{
      "edition_config": "STANDARD",
      "filter": {
        "included_cloud_storage_buckets": {
          "bucket_id_regexes": [
            "my-bucket-name",
            "prod-data-.*"
          ]
        }
      }
    }' \
    "https://storage.googleapis.com/v2/projects/PROJECT_ID/locations/global/intelligenceConfig?updateMask=edition_config,filter"

400: Argumen tidak valid - mask pembaruan kosong

Masalah: Saat Anda mengirim permintaan konfigurasi atau update, permintaan menampilkan 400 Bad Request dengan pesan Empty UPDATE_MASK in the request.

Solusi: Berikan UPDATE_MASK yang tidak kosong dalam permintaan Anda. UPDATE_MASK menentukan daftar kolom FieldMask yang dipisahkan koma dalam resource IntelligenceConfig yang akan diperbarui (seperti updateMask=edition_config atau updateMask=edition_config,filter).

400: Jalur mask pembaruan tidak valid

Masalah: Saat memperbarui konfigurasi, permintaan menampilkan 400 Bad Request dengan pesan Invalid UPDATE_MASK paths.

Solusi: Pastikan setiap nama kolom di UPDATE_MASK cocok dengan kolom yang valid di resource IntelligenceConfig.

400: Kolom tidak dapat diedit

Masalah: Saat memperbarui konfigurasi, permintaan menampilkan 400 Bad Request dengan pesan Invalid UPDATE_MASK: UPDATE_TIME field is not editable.

Solusi: Hapus kolom sistem yang tidak dapat diedit (seperti UPDATE_TIME) dari UPDATE_MASK. Hanya tentukan kolom yang dapat diubah yang ditentukan dalam IntelligenceConfig.

400: Nilai tidak valid

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan Invalid value at storage_intelligence.edition_config.

Solusi: Setel edition_config ke nilai yang didukung: INHERIT, STANDARD, atau DISABLED.

400: Filter tidak kosong

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan Non-empty filter cannot be specified for INHERIT or DISABLED edition configuration.

Solusi: Hapus filter bucket dari permintaan. Filter bucket tidak didukung jika edition_config ditetapkan ke INHERIT atau DISABLED.

400: Nilai bucket atau lokasi kosong dalam filter

Masalah: Permintaan menampilkan 400 Bad Request dengan pesan Empty location or bucket values in filter.

Solusi: Pastikan location maupun bucket bukan string kosong di filter bucket Anda.

Masalah umum Insight Penyimpanan

Bagian ini menjelaskan cara menyelesaikan masalah umum terkait laporan inventaris dan set data.

Beberapa laporan inventaris dibuat setiap hari

Masalah: Konfigurasi laporan inventaris menghasilkan beberapa file laporan setiap hari.

Solusi: Cloud Storage memecah laporan inventaris untuk bucket dengan lebih dari 1.000.000 objek, dengan menghasilkan satu pecahan per 1.000.000 objek. Misalnya, bucket dengan 3.500.000 objek akan menghasilkan empat shard laporan dan file manifes yang mencantumkan setiap shard.

Laporan inventaris tidak muncul di bucket tujuan

Masalah: Laporan inventaris tidak muncul di bucket tujuan.

Solusi: Jika laporan tidak dikirim ke bucket tujuan, verifikasi hal-hal berikut:

  • Pastikan tanggal mulai yang dikonfigurasi telah berlalu. Untuk mengetahui informasi selengkapnya, lihat Membuat konfigurasi laporan inventaris.

  • Lihat histori laporan inventaris Anda untuk memeriksa kegagalan dan penyebab utamanya. Untuk melihat histori laporan inventaris, selesaikan langkah-langkah berikut:

    1. Di konsol Google Cloud , buka halaman Buckets Cloud Storage.

      Buka Buckets

    2. Dalam daftar bucket, klik nama bucket sumber yang berisi konfigurasi laporan inventaris.

    3. Di halaman Detail bucket, klik tab Laporan inventaris.

    4. Di daftar konfigurasi laporan inventaris, klik UUID konfigurasi laporan inventaris yang membuat laporan yang ingin Anda periksa.

    5. Periksa kegagalan di bagian Histori laporan inventaris. Anda dapat menahan pointer di atas Bantuan () untuk mendapatkan detail tentang penyebab terjadinya kegagalan.

  • Pastikan agen layanan level project diberi peran IAM yang diperlukan untuk membaca dan menulis laporan inventaris. Untuk mengetahui informasi selengkapnya, lihat Memberikan peran yang diperlukan ke agen layanan.

Penundaan laporan inventaris

Masalah: Pembuatan laporan inventaris tertunda.

Solusi: Waktu pembuatan laporan bervariasi. Keterlambatan hingga 24 jam adalah hal yang normal.

Set data tidak terisi

Masalah: Tabel set data Insight Penyimpanan tetap kosong.

Solusi: Di set data BigQuery tertaut, periksa error_attributes_view kode error. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah error set data.

Nilai null di kolom 'ref' saat mengkueri set data

Masalah: Saat membuat kueri set data Insight Penyimpanan di BigQuery, kolom ref menampilkan null.

Solusi: Untuk objek yang berakhiran /, kolom ref dalam set data adalah null.

Jika kolom ref menampilkan nilai null saat Anda membuat kueri set data Insight Penyimpanan di BigQuery, pastikan Anda telah memberikan izin dan peran koneksi yang diperlukan, termasuk akses ke resource Cloud Storage, seperti yang dijelaskan dalam Menganalisis data dan metadata objek menggunakan BigQuery.

Error validasi tugas operasi batch penyimpanan

Bagian ini menjelaskan error validasi yang terjadi saat mengirimkan permintaan tugas operasi batch ke storagebatchoperations.googleapis.com.

400: ID tugas atau nama resource tidak valid

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan JOB_ID_INVALID atau RESOURCE_NAME_TOO_LONG.

Solusi: Pastikan bahwa ID tugas terdiri dari 1–63 karakter alfanumerik huruf kecil atau tanda hubung ([a-z0-9]([-a-z0-9]*[a-z0-9])?) dan jalur resource lengkap tidak melebihi 1.024 byte. Untuk mengetahui informasi selengkapnya, lihat Nama tugas.

400: Parameter transformasi bertentangan atau tidak ada

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan TRANSFORMATION_NOT_SPECIFIED, REWRITE_OBJECT_MISSING_PARAMETERS, PUT_OBJECT_HOLD_MISSING_PARAMETERS, atau PUT_METADATA_MISSING_PARAMETERS.

Solusi: Tentukan tepat satu jenis transformasi dengan semua parameter yang diperlukan. Jika mengonfigurasi retensi objek, pastikan Penguncian Objek diaktifkan di bucket dan stempel waktu menggunakan format UTC RFC 3339. Untuk mengetahui informasi selengkapnya tentang persyaratan parameter menurut transformasi, lihat Jenis tugas.

400: Awalan objek tumpang-tindih atau duplikat

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan OBJECT_PREFIX_OVERLAP atau DUPLICATE_OBJECT_PREFIX.

Solusi: Hapus awalan duplikat dan pastikan tidak ada awalan di included_object_prefixes yang merupakan awalan dari entri lain dalam daftar. Untuk mengetahui informasi selengkapnya, lihat Awalan objek.

400: Masalah pemformatan dan akses file manifes

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (INVALID_ARGUMENT) dengan alasan MANIFEST_LOCATION_REQUIRED atau MANIFEST_LOCATION_INVALID, atau tugas tidak dapat membaca manifes.

Solusi: Pastikan URI manifes adalah jalur CSV yang valid (gs://<bucket_name>/<path>/<object_name>.csv) dan agen layanan operasi batch Storage memiliki peran roles/storage.objectViewer di bucket manifes. Untuk mengetahui informasi selengkapnya tentang pemformatan CSV dan persyaratan skema, lihat Manifes.

400: Error penemuan set data Insight Penyimpanan

Masalah: Menggunakan set data Insight Penyimpanan untuk penemuan objek menampilkan respons 400 Bad Request (INVALID_ARGUMENT atau FAILED_PRECONDITION) dengan alasan BUCKET_DISCOVERY_SNAPSHOT_TOO_OLD, TARGET_LOCATIONS_REQUIRED_FOR_SNAPSHOT_TIME, atau BUCKET_DISCOVERY_TOO_MANY_BUCKETS.

Solusi: Pastikan snapshot_time berada dalam 48 jam terakhir, tentukan target_locations untuk bucket, dan pastikan kueri penemuan tidak cocok dengan lebih dari 1.000 bucket. Untuk mengetahui informasi selengkapnya, lihat Membuat manifes menggunakan set data Insight Penyimpanan.

400: Transformasi kelas penyimpanan gagal pada bucket yang mengaktifkan Autoclass

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (FAILED_PRECONDITION) dengan alasan AUTOCLASS_STORAGE_CLASS_TRANSFORMATION_UNSUPPORTED.

Solusi: Anda tidak dapat menjalankan transformasi kelas penyimpanan pada bucket dengan Autoclass diaktifkan. Menargetkan bucket tanpa Autoclass atau menghapus transformasi kelas penyimpanan. Untuk mengetahui informasi selengkapnya, lihat Batasan Autoclass.

400: Update ACL objek gagal di bucket dengan akses level bucket seragam

Masalah: Permintaan pembuatan tugas menampilkan respons 400 Bad Request (FAILED_PRECONDITION) dengan alasan UBLA_OBJECT_ACL_UPDATE_UNSUPPORTED.

Solusi: Anda tidak dapat memperbarui ACL objek pada bucket yang mengaktifkan akses level bucket seragam. Kelola akses menggunakan peran IAM di level bucket atau project. Untuk mengetahui informasi selengkapnya, lihat akses tingkat bucket seragam.

Masalah runtime dan eksekusi operasi batch penyimpanan

Bagian ini menjelaskan masalah yang terjadi selama eksekusi asinkron tugas operasi batch.

403: Error izin selama eksekusi

Masalah: Tugas batch gagal selama eksekusi dengan 403 Forbidden (PERMISSION_DENIED).

Solusi: Beri agen layanan operasi batch Storage (service-PROJECT_NUMBER@gcp-sa-storagebatchoperations.iam.gserviceaccount.com) peran IAM yang diperlukan untuk jenis transformasi Anda. Untuk informasi selengkapnya, lihat Memberikan izin ke agen layanan.

Error enkripsi CMEK selama penulisan ulang objek

Masalah: Penulisan ulang objek gagal dengan 400 Bad Request atau 403 Forbidden karena error izin atau status kunci Cloud KMS.

Solusi: Pastikan kunci Cloud KMS adalah Enabled dan berada di region yang sama dengan bucket target, dan agen layanan memiliki peran roles/cloudkms.cryptoKeyEncrypterDecrypter. Untuk mengetahui informasi selengkapnya, lihat Jenis pekerjaan: Menulis ulang objek.

Jumlah kegagalan tinggi di error_summaries

Masalah: Tugas batch selesai dengan counters.failed_object_count bukan nol dan kode error di error_summaries (seperti 404 NOT_FOUND, 412 FAILED_PRECONDITION, atau 403 PERMISSION_DENIED).

Solusi: Jalankan gcloud storage batch-operations jobs describe dengan tanda --location (misalnya, gcloud storage batch-operations jobs describe JOB_ID --location=LOCATION) untuk melihat perincian error gabungan, dan periksa Cloud Logging untuk log error per objek. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan detail tugas.

Tugas operasi batch penyimpanan gagal karena snapshot yang sudah berusia lebih dari dua hari

Masalah: Saat Anda membuat tugas operasi batch penyimpanan berbasis filter CEL, pembuatan tugas gagal. Pesan error menyatakan bahwa waktu snapshot sudah lebih dari dua hari.

Solusi: Untuk mencegah tindakan pada status objek yang sudah tidak berlaku, operasi batch penyimpanan akan otomatis gagal membuat tugas. Kegagalan ini terjadi jika snapshot yang dipilih lebih lama dari dua hari. Pilih salah satu metode berikut untuk mengatasi masalah ini:

  • Menggunakan file manifes: Buat kueri set data Anda secara manual di BigQuery. Ekspor hasil ke file manifes CSV, lalu upload file tersebut ke bucket Cloud Storage. Kemudian, Anda dapat membuat tugas operasi batch menggunakan metode manifes untuk menghindari batas dua hari.
  • Periksa konfigurasi set data: Pastikan konfigurasi set data Anda aktif dan tidak dijeda. Pastikan snapshot set data berhasil dijalankan. Untuk mengetahui informasi tentang cara memverifikasi konfigurasi, lihat Melihat konfigurasi set data.
  • Gunakan penggantian waktu snapshot dan lokasi target: Tentukan tanda --target-snapshot-time untuk melewati kegagalan keusangan dua hari dengan memilih snapshot secara eksplisit dalam format RFC 3339. Tentukan flag --target-locations untuk membatasi operasi ke lokasi tempat snapshot berada. Anda dapat menggunakan penggantian ini untuk mengatasi penundaan sinkronisasi yang mencegah snapshot global otomatis diperbarui. Oleh karena itu, Anda dapat menargetkan snapshot regional yang lebih baru secara manual. Untuk sintaksis perintah, lihat Membuat tugas menggunakan filter lanjutan.

Tugas operasi batch penyimpanan berbasis filter CEL gagal pada project yang baru berlangganan

Masalah: Menjalankan tugas operasi batch penyimpanan berbasis filter CEL pada project yang baru saja berlangganan gagal karena sistem tidak dapat menemukan snapshot yang valid.

Solusi: Setelah mengaktifkan langganan Storage Intelligence, Anda harus menunggu 24 jam sebelum menjalankan tugas operasi batch penyimpanan berbasis filter CEL. Penundaan ini memungkinkan sistem melakukan snapshot metadata awal dan menetapkan waktu snapshot awal.

Tugas operasi batch penyimpanan berbasis filter CEL gagal karena error izin atau memunculkan error runtime

Masalah: Tugas operasi batch penyimpanan berbasis filter CEL gagal selama eksekusi atau menampilkan error izin runtime.

Solusi: Operasi batch penyimpanan menggunakan kredensial pengguna Anda untuk memproses objek. Tugas akan gagal jika Anda tidak memiliki izin penulis atau pembaca IAM yang diperlukan pada bucket dan objek yang ditargetkan. Masalah ini terjadi saat filter CEL Anda memilih resource yang tidak dapat Anda akses. Pastikan akun Anda memiliki peran Storage Admin (roles/storage.admin), Storage Object Admin (roles/storage.objectAdmin), atau peran yang setara untuk semua bucket dan objek dalam cakupan tugas. Untuk mengetahui petunjuk tentang cara memberikan peran, lihat Menggunakan izin IAM.

Pemantauan dan analisis log

Untuk mengetahui informasi selengkapnya tentang memeriksa kegagalan eksekusi per objek dan payload error di Cloud Logging, lihat Melihat log operasi batch penyimpanan.

Langkah berikutnya