Mem-parsing ulang data historis (Pemutaran Ulang Log)

Didukung di:

Panduan ini ditujukan untuk engineer keamanan dan engineer deteksi yang ingin mem-parsing ulang data log historis di Google Security Operations menggunakan Pemutaran Ulang Log. Dokumen ini menjelaskan cara memvalidasi konfigurasi parser aktif dan meminta tugas Pemutaran Ulang Log backend melalui Google Cloud Dukungan untuk mengisi ulang pemetaan kolom Model Data Terpadu (UDM) yang diperbarui di seluruh telemetri historis hingga 180 hari. Dengan mengikuti metode ini, Anda dapat menerapkan parser bawaan yang diupdate, parser kustom, atau ekstensi parser ke log mentah yang disimpan saat petunjuk pemetaan baru diterapkan ke log yang baru di-ingest saja. Penyelesaian yang berhasil meningkatkan cakupan aturan deteksi dan perburuan ancaman historis tanpa memerlukan penyerapan ulang log manual dari endpoint sumber.

Kasus penggunaan umum

Mengurai ulang log historis mengatasi skenario operasional berikut:

Normalisasi kolom berlaku surut

  • Tujuan: Mengisi ulang kolom UDM yang baru dipetakan di seluruh log historis setelah Anda mengaktifkan update parser bawaan, parser kustom, atau ekstensi parser.
  • Nilai: Mempertahankan kemampuan penelusuran yang konsisten di seluruh data historis dan aktif tanpa memerlukan penyerapan ulang manual dari endpoint sumber.

Perburuan ancaman di Logs Explorer

  • Tujuan: Kueri log historis menggunakan atribut UDM yang baru dipetakan untuk menyelidiki aktivitas penyerang di masa lalu.
  • Nilai: Mempercepat respons insiden dengan menampilkan indikator kompromi (IOC) historis yang sebelumnya tidak dipetakan dalam teks log mentah.

Evaluasi aturan deteksi historis

  • Tujuan: Mengevaluasi aturan deteksi YARA-L terhadap data log sebelumnya yang memerlukan kolom UDM yang dinormalisasi tertentu.
  • Nilai: Mencegah negatif palsu saat mengevaluasi logika deteksi yang diperbarui terhadap peristiwa historis.

Terminologi utama

  • Pemutaran Ulang Log: Layanan backend di Google SecOps yang memproses ulang log mentah yang disimpan melalui konfigurasi parser aktif untuk menghasilkan rekaman UDM yang diperbarui.
  • Model Data Terpadu (UDM): Skema standar yang digunakan oleh Google SecOps untuk menormalisasi telemetri keamanan untuk penelusuran, dasbor, dan aturan deteksi.
  • Repositori mentah yang tidak dapat diubah: Lapisan penyimpanan pokok yang menyimpan log mentah asli yang tidak dimodifikasi untuk kepatuhan, audit, dan penguraian ulang historis.

Sebelum memulai

Sebelum Anda meminta tugas Pemutaran Ulang Log, pastikan Anda memenuhi persyaratan berikut:

  • Izin: Anda harus memiliki izin berikut:

    • Melihat dan mengelola konfigurasi parser di Google SecOps (seperti peran Chronicle API Editor).
    • Buat kasus dukungan di konsol Google Cloud (seperti peran Tech Support Editor, roles/cloudsupport.techSupportEditor).

  • Pemeriksaan lingkungan: Konfirmasi bahwa Anda memiliki ID instance pelanggan Google SecOps dan ID project Google Cloud terkait.

Batasan

Pemutaran Ulang Log beroperasi dalam batas dukungan berikut:

  • Periode retensi yang didukung: Anda dapat meminta penguraian ulang historis untuk data log historis hingga 180 hari (6 bulan).
  • Parser aktif diperlukan: Pemutaran Ulang Log hanya menerapkan versi parser aktif. Anda tidak dapat menggunakan konfigurasi parser draf, tidak aktif, atau diarsipkan.
  • Spesifikasi cakupan: Penguraian ulang dicakup ke jenis log tertentu dan stempel waktu mulai dan berakhir yang ditentukan dalam format UTC RFC 3339.
  • Penyimpanan mentah yang tidak dapat diubah: Pemutaran Ulang Log hanya meregenerasi data UDM yang dinormalisasi. Log mentah asli tetap tidak berubah di repositori mentah yang tidak dapat diubah.

Meminta tugas Pemutaran Ulang Log

Selesaikan langkah-langkah berikut untuk memvalidasi parser dan mengirimkan permintaan Pemutaran Ulang Log.

Memvalidasi konfigurasi parser aktif

Pastikan parser target atau ekstensi parser aktif dan menormalisasi telemetri langsung sebelum meminta penguraian ulang historis.

  1. Di konsol Google SecOps, buka SIEM Settings > Parsers.

  2. Temukan jenis log target Anda dan verifikasi bahwa parser siap pakai, parser kustom, atau ekstensi parser yang diupdate memiliki status Aktif dan menormalisasi log masuk langsung seperti yang diharapkan.

Kirimkan kasus dukungan

Kirimkan tiket dukungan dengan parameter cakupan yang diperlukan agar Google Cloud Dukungan dapat memulai tugas pemutaran ulang backend.

  1. Buka kasus dukungan menggunakan konsolGoogle Cloud .

  2. Dalam deskripsi kasus dukungan, sertakan detail berikut:

    • ID instance: ID instance pelanggan Google SecOps Anda dan ID project Google Cloud terkait.
    • Jenis log: Label log_type tertentu untuk diuraikan ulang (misalnya, PAN_FIREWALL atau <var>CUSTOM_LOG_TYPE</var>).
    • Periode waktu target: Stempel waktu mulai dan berakhir yang tepat dalam format RFC 3339 UTC (misalnya, 2026-06-01T00:00:00Z hingga 2026-08-31T23:59:59Z), dalam batas 180 hari yang didukung.
    • Detail parser: Versi parser aktif, nama parser kustom, atau ID ekstensi parser yang akan diterapkan (Pemutaran Ulang Log hanya menerapkan versi aktif).
    • Justifikasi bisnis: Ringkasan singkat persyaratan, seperti normalisasi kolom retroaktif atau penyelidikan insiden.

Contoh dan informasi referensi

Gunakan template di bagian ini untuk menyiapkan permintaan dukungan Anda.

Template permintaan kasus dukungan

Salin dan isi template berikut saat mengirimkan deskripsi kasus dukungan Anda:

Request type: Google SecOps Log Replay (historical re-parsing)
Customer instance ID: <YOUR_INSTANCE_ID>
Google Cloud project ID: <YOUR_PROJECT_ID>
Target log_type: <LOG_TYPE_LABEL>
Start timestamp (RFC 3339 UTC): 2026-06-01T00:00:00Z
End timestamp (RFC 3339 UTC): 2026-08-31T23:59:59Z
Active parser or extension ID: <ACTIVE_PARSER_NAME_OR_EXTENSION_ID>
Business justification: Retroactive UDM field normalization for active parser update

Pemecahan masalah

Bagian ini menguraikan ekspektasi performa dan memberikan perbaikan layanan mandiri untuk masalah umum Pemutaran Ulang Log.

Latensi dan batas

Setelah Google Cloud Dukungan memulai tugas Pemutaran Ulang Log, proses akan berjalan secara asinkron di backend. Waktu pemrosesan bergantung pada volume keseluruhan log dalam jangka waktu yang ditentukan. Saat tugas memproses log mentah historis, data UDM yang baru dibuat akan menggantikan data UDM sebelumnya secara bertahap untuk rentang waktu tersebut. Jangan mengirimkan permintaan dukungan duplikat untuk jenis log dan jangka waktu yang sama saat tugas pemutaran ulang sedang berjalan.

Perbaikan error

Gunakan tabel ini untuk mengatasi masalah umum saat meminta atau memvalidasi tugas Pemutaran Ulang Log.

Masalah Deskripsi Perbaiki
Permintaan ditolak karena parser tidak aktif Parser kustom atau ekstensi parser yang diminta berstatus Draf atau Tertunda. Di SIEM Settings > Parsers, aktifkan konfigurasi parser, verifikasi bahwa log langsung di-parsing seperti yang diharapkan, dan kirim ulang kasus dukungan.
Permintaan ditolak karena batas jangka waktu Stempel waktu mulai yang diminta sudah lebih dari 180 hari yang lalu. Sesuaikan stempel waktu mulai dan akhir dalam deskripsi kasus dukungan Anda agar berada dalam periode retensi data 180 hari yang didukung.
Kolom UDM yang diperbarui tidak ada dalam penelusuran Hasil penelusuran UDM untuk jangka waktu target belum menampilkan pemetaan kolom baru. Tunggu hingga tugas pemutaran ulang backend asinkron selesai memproses rentang waktu penuh, dan verifikasi sintaksis kueri Anda di Penelusuran SIEM.

Validasi dan pengujian

Setelah Google Cloud Dukungan mengonfirmasi bahwa tugas Pemutaran Ulang Log telah selesai, verifikasi rekaman UDM yang diperbarui di lingkungan Anda:

  1. Di konsol Google SecOps, buka Investigation > SIEM Search.
  2. Tetapkan pemilih rentang waktu agar sesuai dengan stempel waktu mulai dan akhir historis dari permintaan pemutaran ulang Anda.
  3. Jalankan kueri penelusuran UDM yang menargetkan kolom UDM yang baru dipetakan untuk log_type Anda guna mengonfirmasi bahwa peristiwa historis menampilkan atribut yang dinormalisasi.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.