Set data Storage Insights

Dokumen ini menjelaskan cara set data Insight Penyimpanan membantu Anda mengelola lingkungan Cloud Storage dengan memberikan visibilitas dan insight ke dalam data Anda.

Set data Insight Penyimpanan membuat indeks metadata dan aktivitas yang dapat dikueri untuk bucket dan objek Cloud Storage Anda di seluruh organisasi, folder, project, atau bucket tertentu. Untuk membuat kueri indeks metadata dan aktivitas, Anda harus menautkan set data ke BigQuery. Kemudian, Anda dapat menggunakan set data BigQuery yang ditautkan untuk menganalisis, membuat kueri, dan memvisualisasikan data. Tautkan set data ke BigQuery untuk mengaktifkan kueri indeks metadata dan aktivitas.

Set data Insight Penyimpanan adalah fitur eksklusif yang tersedia dengan langganan Storage Intelligence. Google Cloud menawarkan uji coba pengantar 30 hari untuk Storage Intelligence. Anda dapat mengaktifkan uji coba untuk mendapatkan insight tentang penggunaan Cloud Storage dan mengambil tindakan. Untuk mengetahui informasi selengkapnya tentang uji coba, lihat Uji coba pengantar 30 hari untuk Storage Intelligence.

Ringkasan

Set data Insight Penyimpanan memberikan snapshot bergulir metadata, data aktivitas, error, dan peristiwa untuk semua project, bucket, dan objek dalam cakupan yang ditentukan. Set data mengumpulkan dan mengindeks informasi untuk memberikan tampilan data Anda. Tampilan ini memungkinkan Anda memantau resource Cloud Storage dan mengelola aset penyimpanan Anda.

Set data tersedia sebagai set data tertaut BigQuery, dengan sekumpulan tabel yang memiliki skema berikut:

  • Metadata: snapshot metadata untuk project, bucket, dan objek. Untuk mengetahui detail tentang skema metadata, lihat Skema set data metadata.

  • Data aktivitas: catatan mutasi dan error untuk objek dan insight aktivitas gabungan untuk bucket dan project Anda. Untuk mengetahui detail tentang skema data aktivitas, lihat Skema set data data aktivitas.

  • Error dan peristiwa: informasi tentang peristiwa dan error pemrosesan snapshot. Untuk mengetahui detail tentang skema error dan peristiwa, lihat Skema set data peristiwa dan error.

Kasus penggunaan untuk set data Insight Penyimpanan

Set data Insight Penyimpanan memberikan tampilan untuk mendapatkan insight di seluruh organisasi dan terperinci tentang data Anda. Bagian berikut menjelaskan kasus penggunaan untuk set data.

Memahami aset penyimpanan Anda

Anda bisa mendapatkan insight tentang data Anda dengan melihat metadata project, bucket, dan objek. Tampilan metadata membantu Anda melakukan tugas berikut:

  • Mendeteksi anomali, seperti data di wilayah yang tidak terduga.
  • Mengidentifikasi peluang pengoptimalan, seperti menemukan file sementara atau duplikat.
  • Kueri untuk mendapatkan insight tertentu, seperti objek yang dibuat dalam 24 jam terakhir atau jumlah total file PDF.
  • Lihat perincian objek yang ingin Anda tindak lanjuti dengan mengekstrak daftar awalan dari serangkaian objek berdasarkan hasil kueri.

Menjalankan operasi batch menggunakan filter set data

Dengan mengintegrasikan set data Insight Penyimpanan dengan storage batch operation, Anda dapat melakukan tindakan skala besar pada objek yang diidentifikasi dalam set data Anda. Integrasi ini memungkinkan Anda memilih subset data tertentu di beberapa project bucket dan menerapkan transformasi berdasarkan kolom dalam set data. Pendekatan ini menghilangkan kebutuhan akan file manifes manual.

Pemilihan objek langsung

Gunakan flag filter Common Expression Language (CEL) (--bucket-filters dan --object-filters) langsung di Google Cloud CLI untuk memilih dan memproses objek dalam skala besar. Dengan pilihan langsung ini, Anda dapat mengevaluasi kolom set data dan menjalankan tindakan batch di seluruh project. Metode ini menghilangkan kebutuhan untuk membuat file CSV manifes secara manual. Anda tidak perlu membuat kueri set data di BigQuery, mengekspor hasil penelusuran, dan mengupload manifes ke bucket. Cakupan seluruh project ini memungkinkan Anda menjalankan satu tugas batch di hingga 1.000 bucket.

Misalnya, Anda dapat menentukan kriteria filter langsung di Google Cloud CLI:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Untuk mengetahui informasi tentang kolom dan operator yang tersedia yang dapat Anda gunakan dalam filter ini, lihat Referensi filter CEL.

Menganalisis pola aktivitas

Dengan menggunakan tampilan aktivitas bucket, tampilan aktivitas project, dan tampilan peristiwa objek, Anda dapat melakukan hal berikut:

  • Menganalisis pola operasional dan mengidentifikasi bucket yang tidak aktif.

  • Pantau operasi pada objek Anda untuk melihat perubahan aset penyimpanan Anda dari waktu ke waktu.

  • Petakan project, bucket, dan awalan yang paling aktif.

Memahami aktivitas bucket regional

Tampilan aktivitas regional bucket menampilkan kolom seperti byte permintaan dan respons, yang menunjukkan region yang sering berinteraksi dengan bucket Anda. Menganalisis aktivitas bucket regional untuk menentukan apakah pemindahan bucket diperlukan:

  • Lihat total keluar dan masuk untuk bucket di suatu region guna mengidentifikasi bucket yang mungkin lebih cocok untuk kelas regional, bukan multi-region.

  • Menilai total traffic data di dalam dan di seluruh region.

Menilai status keamanan

Anda dapat menggunakan metadata bucket dan objek untuk mengidentifikasi objek yang diekspos secara publik, jenis enkripsi aktif, dan jadwal waktu habis masa berlaku untuk retensi data. Bagian berikut menjelaskan cara set data Insight Penyimpanan membantu Anda menilai potensi kerentanan keamanan.

Mengidentifikasi objek yang dapat diakses secara publik

Anda dapat menggunakan set data Insight Penyimpanan untuk mengidentifikasi objek yang dapat diakses secara publik. Status akses publik objek Anda membantu Anda mengelola data penyimpanan dan memitigasi risiko pemindahan data yang tidak sah dengan memungkinkan Anda mengidentifikasi objek yang terekspos ke internet publik.

Skema metadata objek memberikan status akses publik, metrik terkomputasi yang membantu menyederhanakan analisis keamanan. Untuk menentukan status akses publik objek, set data Insight Penyimpanan memvalidasi semua konfigurasi berikut:

Untuk membantu Anda mengidentifikasi konfigurasi tertentu yang memberikan akses publik, set data Insight Penyimpanan menyertakan informasi saat objek dapat dibaca atau ditulis oleh publik. Untuk objek yang dapat dibaca oleh publik, informasi ini menunjukkan apakah izin berasal dari tingkat objek, bucket, atau folder terkelola. Untuk objek yang dapat ditulis secara publik, objek ini memberikan detail tentang apakah akses diberikan oleh ACL objek, ACL bucket, atau kebijakan IAM.

Anda dapat membuat kueri status akses publik objek menggunakan BigQuery, lalu memantau objek tersebut menggunakan dasbor Looker untuk mencantumkan semua objek yang dapat dibaca atau ditulis secara publik. Untuk mengetahui informasi selengkapnya tentang kolom status akses publik, lihat securityInsights dalam skema metadata objek.

Mengaudit konfigurasi enkripsi

Anda dapat menggunakan tampilan metadata bucket dan objek untuk mengaudit konfigurasi enkripsi. Tampilan ini mencakup informasi enkripsi di tingkat bucket dan objek, dengan kolom seperti encryption dalam metadata bucket dan encryptionType dalam metadata objek. Anda dapat menggunakan informasi ini untuk melakukan hal berikut:

  • Pastikan bucket telah dikonfigurasi dengan enkripsi default dengan memeriksa encryption.defaultEncryptionType dan encryption.defaultKmsKeyName.
  • Validasi kepatuhan terhadap kebijakan penerapan enkripsi dengan memeriksa encryptionType untuk melihat apakah objek menggunakan kunci enkripsi yang dikelola Google, dikelola pelanggan, atau disediakan pelanggan.
  • Identifikasi semua objek yang dienkripsi dengan kunci Cloud Key Management Service tertentu atau kunci enkripsi yang disediakan pelanggan.

Memantau kebijakan retensi data

Anda dapat menggunakan tampilan metadata bucket dan objek untuk memantau kebijakan retensi data. Tampilan ini mencakup kolom seperti retentionExpirationTime dalam metadata objek dan softDeletePolicy dalam metadata bucket. Anda dapat menggunakan kolom ini untuk melakukan hal berikut:

  • Melacak objek yang mendekati masa berlaku retensi.
  • Identifikasi bucket dengan penghapusan sementara diaktifkan dan pantau durasi retensinya.
  • Identifikasi objek dalam status dihapus sementara dengan memeriksa softDeleteTime.

Mempercepat pemecahan masalah

Tampilan object_events_view berisi informasi error yang dapat membantu pemecahan masalah. Anda dapat menggunakan tampilan ini untuk memeriksa operasi yang menyebabkan error, mengidentifikasi alasan error, serta mendeteksi project dan bucket dengan rasio error yang tinggi. Misalnya, Anda dapat memecahkan masalah error 429 dengan mengidentifikasi bucket, project, dan penyebab utamanya yang terpengaruh, seperti kuota resource atau batas bandwidth.

Menganalisis data dan metadata objek menggunakan BigQuery

Anda dapat menganalisis data di set data Insight Penyimpanan menggunakan fungsi ObjectRef BigQuery. Misalnya, Anda dapat membuat kueri untuk membantu mendeteksi informasi sensitif dalam dokumen atau untuk membuat deskripsi gambar.

Untuk menganalisis konten objek, gunakan kolom ref dari tabel metadata objek dengan fungsi ObjectRef. Untuk mengetahui detailnya, lihat Menganalisis data dan metadata objek menggunakan BigQuery.

Manfaat set data Insight Penyimpanan

Set data Insight Penyimpanan menyediakan metadata dan informasi aktivitas tentang aset penyimpanan Anda dalam format yang dapat dikueri di BigQuery. Berikut adalah manfaat menggunakan set data Insight Penyimpanan:

  • Analisis aset penyimpanan Anda dalam cakupan yang dapat disesuaikan untuk mendapatkan insight di seluruh organisasi, atau tentukan folder, project, atau bucket untuk dianalisis.

  • Dengan data yang tersedia di BigQuery, gunakan kueri SQL dan bahasa alami dengan Gemini untuk menganalisis data Anda. Untuk mengetahui detailnya, lihat Menganalisis data dengan bantuan Gemini.

  • Anda dapat memvisualisasikan data dengan terhubung ke dasbor Looker. Anda dapat menggunakan dasbor Storage Intelligence sebagai template yang memberikan contoh insight yang dapat Anda peroleh dari set data. Anda dapat menggunakan template untuk terhubung ke set data atau menambahkan diagram kustom. Untuk informasi tentang cara menggunakan template, lihat Petunjuk koneksi dasbor Storage Intelligence.

Cara kerja set data Insight Penyimpanan

Untuk menggunakan set data Insight Penyimpanan, konfigurasikan set data terlebih dahulu dalam project. Tentukan organisasi, folder, atau project yang datanya ingin Anda lacak. Setelah pembuatan, berikan izin yang diperlukan kepada agen layanan untuk membuat set data. Selanjutnya, Anda dapat menautkan set data ke BigQuery untuk membuat kueri. Setelah dikonfigurasi, layanan ini secara otomatis mengumpulkan dan menyerap snapshot harian metadata objek, metadata bucket, operasi, dan error ke dalam instance BigQuery milik Cloud Storage. Data dipertahankan sesuai dengan periode retensi data yang dikonfigurasi dan disimpan dengan cara yang dioptimalkan untuk meminimalkan biaya penyimpanan dan analisis.

Dalam konfigurasi set data, Anda menentukan data yang dikumpulkan, tempat data tersebut disimpan, dan cara pengelolaannya.

Tabel berikut menjelaskan properti utama yang harus Anda tentukan saat mengonfigurasi set data:

Properti Deskripsi Detail dan batas
Cakupan set data Menentukan resource (organisasi, project, atau folder) yang berisi bucket dan objek yang ingin Anda sertakan dalam set data. Anda dapat menentukan project atau folder satu per satu atau menggunakan file CSV. Setiap konfigurasi hanya mengizinkan satu cakupan set data. Anda dapat menentukan hingga 10,000 project atau folder.
Filter bucket Filter yang digunakan untuk menyertakan atau mengecualikan bucket tertentu dari set data.Anda dapat memfilter menurut nama bucket menggunakan ekspresi reguler atau memfilter menurut lokasi bucket.
Periode retensi untuk set data Jumlah hari set data merekam dan mempertahankan metadata dan data aktivitas, termasuk tanggal pembuatan set data. Untuk tabel data aktivitas, Anda dapat mengganti periode retensi data dengan menggunakan properti Periode retensi untuk data aktivitas. Periode retensi data ini adalah periode bergulir dan dapat berlangsung hingga 90 hari. Kumpulan data diperbarui dengan metadata baru setiap 24 jam. Sistem akan otomatis menghapus data yang direkam di luar periode retensi. Misalnya, jika Anda membuat set data pada 1 Oktober 2023, dengan periode retensi yang ditetapkan ke 30 hari. Pada 30 Oktober, set data mencerminkan data selama 30 hari terakhir (1 Oktober hingga 30 Oktober). Pada 31 Oktober, set data mencerminkan data dari 2 Oktober hingga 31 Oktober. Anda dapat mengubah periode retensi kapan saja. Secara default, periode retensi berlaku untuk tabel metadata dan juga untuk tabel data aktivitas jika periode retensi untuk data aktivitas tidak ditentukan.
Periode retensi untuk data aktivitas Jumlah hari saat set data merekam dan menyimpan data aktivitas. Jika ditentukan, nilai ini akan menggantikan Periode retensi untuk set data. Periode retensi dapat mencapai 365 days. Periode retensi data aktivitas berlaku untuk tabel data aktivitas.
Location Lokasi BigQuery yang digunakan untuk menyimpan set data dan data terkaitnya. Harus berupa lokasi yang didukung oleh BigQuery seperti us-central1. Sebaiknya pilih lokasi tabel BigQuery Anda jika Anda memiliki tabel BigQuery yang sudah ada.
Jenis agen layanan Menentukan cakupan agen layanan yang membaca dan menulis data untuk konfigurasi set data. Ini dapat berupa agen layanan cakupan konfigurasi atau agen layanan cakupan project Agen layanan cakupan project dapat mengakses dan menulis set data untuk semua konfigurasi set data dalam project. Misalnya, jika Anda memiliki beberapa konfigurasi set data dalam project, Anda hanya perlu memberikan izin yang diperlukan kepada agen layanan yang tercakup dalam project satu kali. Hal ini memungkinkannya membaca dan menulis set data untuk semua konfigurasi set data dalam project. Jika konfigurasi set data dihapus, agen layanan cakupan project tidak akan dihapus.

Agen layanan cakupan konfigurasi hanya dapat mengakses dan menulis set data yang dihasilkan oleh konfigurasi set data tertentu. Oleh karena itu, jika Anda memiliki beberapa konfigurasi set data, Anda harus memberikan izin yang diperlukan kepada setiap agen layanan yang tercakup dalam konfigurasi. Jika konfigurasi set data dihapus, agen layanan cakupan konfigurasi akan dihapus.

Setelah menentukan properti konfigurasi dan memberikan izin yang diperlukan kepada agen layanan, tautkan set data ke BigQuery untuk melakukan kueri.

Untuk mengetahui detail tentang properti yang Anda tetapkan saat membuat atau memperbarui konfigurasi set data, lihat resource DatasetConfigs di dokumentasi JSON API.

Setelah konfigurasi, layanan ini akan otomatis mengumpulkan dan menyerap data ke instance BigQuery milik Cloud Storage. Linimasa untuk pengisian data dalam set data adalah sebagai berikut:

  • Pemuatan set data awal dan data aktivitas untuk bucket atau objek yang baru ditambahkan mungkin memerlukan waktu 24 hingga 48 jam untuk muncul sebagai set data tertaut di BigQuery.

  • Data aktivitas biasanya disertakan dalam waktu empat jam setelah aktivitas (terkadang latensi bisa lebih tinggi).

  • Snapshot metadata (untuk project, bucket, dan objek) diperbarui setiap 24 jam.

Pertimbangan

Pertimbangkan hal berikut untuk konfigurasi set data:

  • Saat Anda mengganti nama folder dalam bucket dengan namespace hierarkis yang diaktifkan, nama objek dalam bucket tersebut akan diperbarui. Saat set data tertaut mengambil snapshot objek ini, snapshot tersebut dianggap sebagai entri baru.

  • Checksum CRC32C dan hash MD5 tidak tersedia di tabel object metadata untuk objek yang dienkripsi dengan kunci enkripsi yang dikelola pelanggan (CMEK).

  • Set data hanya didukung di lokasi BigQuery berikut:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • Batasan berikut berlaku saat menentukan status akses publik untuk objek menggunakan set data Insight Penyimpanan:

    • Status akses publik tidak tersedia untuk objek dalam folder terkelola.

    • Set data Insight Penyimpanan tidak mempertimbangkan konfigurasi Kontrol Layanan VPC atau pemfilteran IP bucket saat menentukan status akses publik objek.

Langkah berikutnya