Mengonfigurasi parser kustom

Didukung di:

Dokumen ini memberikan panduan tentang cara membuat parser kustom untuk kasus saat parser siap pakai tidak tersedia atau saat Anda menginginkan kontrol yang lebih besar. Parser kustom muncul dalam daftar parser, bersama dengan parser bawaan.

Kasus penggunaan umum meliputi:

Batasan dan operasi yang tidak didukung

Saat Anda membuat dan mengelola parser kustom, pertimbangkan batas operasional berikut:

  • Sintaksis parser versus aturan deteksi YARA-L: Parser penyerapan dan ekstensi parser menggunakan sintaksis konfigurasi dan Grok Logstash dengan filter (misalnya, grok, mutate, json, date, dan base64) pada waktu penyerapan untuk mem-parsing log mentah ke dalam Model Data Terpadu (UDM). Parser tidak dapat menggunakan sintaksis YARA-L, blok hasil, atau fungsi generator (seperti yield). YARA-L 2.0 adalah bahasa kueri mesin deteksi yang dievaluasi di hilir pada peristiwa UDM yang dinormalisasi untuk pemberitahuan ancaman dan tidak dapat mengurai log mentah, mengubah kolom UDM, atau menghentikan traffic log yang masuk.
  • Model penyerapan 1:1: Parser kustom Google SecOps beroperasi secara ketat dalam hubungan 1:1. Parser kustom tidak dapat memisahkan, mengulang, atau membagi satu entri log yang berisi beberapa peristiwa sematan (seperti array JSON atau string yang digabungkan) menjadi peristiwa UDM terpisah. Anda harus memisahkan payload multi-peristiwa sebelum penyerapan menggunakan pipeline pengumpulan log seperti BindPlane OP, OpenTelemetry Collector, Fluent Bit, atau fungsi Cloud Run pra-penyerapan.
  • Perilaku filter drop {}: Filter drop {} di parser hanya menekan pembuatan peristiwa UDM. Jika parser menghilangkan log, Google SecOps tidak akan membuat rekaman UDM, dan aturan deteksi tidak dapat mengevaluasi peristiwa tersebut. Namun, Google SecOps menyimpan log mentah asli di repositori mentah yang tidak dapat diubah untuk kepatuhan dan retensi audit. Log mentah tetap dapat ditelusuri melalui Penelusuran Log Mentah. Untuk menghapus log sebelum penyimpanan, konfigurasi pemfilteran di hulu di penerus atau pengumpul Anda.
  • Penguraian hanya ke depan secara default: Saat Anda mengaktifkan parser kustom, parser tersebut hanya berlaku untuk log yang baru diproses sejak waktu aktivasi. Jika ada kebutuhan bisnis penting untuk menerapkan pemetaan parser kustom ke log historis yang ada, Anda dapat meminta tugas Pemutaran Ulang Log backend. Untuk mengetahui informasi selengkapnya, lihat Mem-parsing ulang data historis (Pemutaran Ulang Log).

Membuat parser kustom berdasarkan petunjuk pemetaan

Anda dapat membuat parser kustom dengan menulis kode yang mengonversi log mentah asli menjadi rekaman UDM.

Bacaan tambahan:

Saat membuat parser, usahakan untuk mengisi sebanyak mungkin kolom UDM penting.

  1. Buka Setelan.

  2. Buka SIEM Settings.

  3. Klik Create Parser.

  4. Pilih sumber log yang sesuai dari daftar Sumber Log.

  5. Pilih Mulai dengan Log Raw Saja untuk membuat parser baru sesuai dengan kebutuhan Anda.

  6. Klik Create.

  7. Masukkan kode Anda di Parser Code Terminal. Untuk mengetahui informasi selengkapnya, lihat Membuat petunjuk pemetaan cuplikan kode.

    Catatan: Pastikan logika parser kustom Anda memetakan dan menghasilkan stempel waktu yang valid dan terbaru dengan benar. Jika parser kustom salah memetakan stempel waktu ke tanggal di luar periode retensi standar Anda, data akan berhasil di-ingest, tetapi akan tetap tidak dapat dicari di antarmuka pengguna. Karena fitur penelusuran mengandalkan stempel waktu peristiwa untuk pemfilteran, data yang dipetakan ke tanggal yang salah tidak akan terlihat meskipun berhasil di-ingest.

  8. Opsional: Klik Edit untuk mengedit atau menyalin log mentah yang ada.

  9. Opsional: Klik Muat untuk memuat log mentah terbaru.

  10. Klik Pratinjau untuk melihat output UDM. Pesan error akan ditampilkan jika kode salah.

    Dalam pratinjau, Anda dapat menggunakan plugin filter statedump untuk memvalidasi status internal parser. Untuk mengetahui informasi selengkapnya, lihat Memvalidasi data menggunakan plugin statedump.

  11. Klik Validasi untuk memvalidasi parser kustom.

    Proses validasi mungkin memerlukan waktu beberapa menit, jadi sebaiknya Anda melihat pratinjau parser kustom terlebih dahulu, melakukan perubahan jika diperlukan, lalu memvalidasi parser kustom.

  12. Klik Kirim.

    Parser diaktifkan untuk proses normalisasi setelah 20 menit.

Membuat parser kustom berdasarkan parser yang ada

Gunakan parser yang ada sebagai template untuk membuat parser kustom baru. Metode ini hanya mendukung pendekatan berbasis kode. Untuk memulai, ikuti langkah-langkah berikut:

  1. Dari Menu aplikasi , pilih Setelan > Parser.

  2. Klik Create Parser.

  3. Pilih sumber log yang sesuai dari daftar Sumber Log.

  4. Pilih Mulai dengan Parser Siap Pakai yang Ada untuk menggunakan parser yang ada sebagai dasar untuk membuat parser kustom baru.

  5. Klik Create.

  6. Edit kode Anda di Parser Code Terminal. Untuk mengetahui informasi selengkapnya, lihat Membuat petunjuk pemetaan cuplikan kode.

  7. Opsional: Klik Edit untuk mengedit log mentah.

  8. Opsional: Klik Muat ulang untuk memuat ulang log mentah.

  9. Saat Anda menambahkan kode untuk membuat parser, klik Pratinjau untuk melihat output UDM. Pesan error akan ditampilkan jika kode salah.

    Dalam pratinjau, Anda dapat menggunakan plugin filter statedump untuk memvalidasi status internal parser. Untuk mengetahui informasi selengkapnya, lihat Memvalidasi data menggunakan plugin statedump.

  10. Klik Validasi untuk memvalidasi parser kustom.

    Proses validasi mungkin memerlukan waktu beberapa menit, jadi sebaiknya Anda melihat pratinjau parser kustom terlebih dahulu, melakukan perubahan jika diperlukan, lalu memvalidasi parser kustom.

  11. Klik Kirim.

    Parser diaktifkan untuk proses normalisasi setelah 20 menit.

Menonaktifkan parser kustom

  1. Dari Menu aplikasi , pilih Setelan > Parser.

  2. Klik Menu pada parser yang ingin Anda nonaktifkan, lalu pilih Nonaktifkan dari daftar.

    Dialog Make parser inactive akan muncul.

  3. Klik Nonaktifkan.

Parser kustom dinonaktifkan dan versi parser bawaan saat ini diaktifkan setelah 20 menit. Parser bawaan kini menjadi parser default.

Menghapus parser kustom

  1. Dari Menu aplikasi , pilih Setelan > Parser.

  2. Klik Menu di samping parser kustom yang ingin Anda hapus, lalu pilih Hapus dari daftar. Catatan: Anda tidak dapat menghapus parser bawaan.

    Dialog Hapus parser kustom akan muncul.

  3. Klik Hapus.

Parser kustom dihapus dan versi parser bawaan saat ini diaktifkan setelah 20 menit.

Membuat ekstensi

Ekstensi parser memberikan cara yang fleksibel untuk memperluas kemampuan parser kustom yang ada. Parser ini tidak menggantikan parser kustom. Sebagai gantinya, kolom ini memungkinkan ekstraksi tambahan kolom secara lancar dari log raw asli ke dalam data UDM. Ekstensi parser berbeda dengan parser kustom.

Untuk membuat ekstensi parser, lihat Menggunakan ekstensi parser.

Status validasi

Kolom Validasi menampilkan status pengujian validasi untuk parser kustom atau ekstensi parser.

  • Parser gagal: Validasi parser kustom gagal
  • Validasi Parser lulus: Validasi parser kustom berhasil
  • Dilewati: Parser kustom tidak divalidasi
  • Dilewati untuk Ekstensi: Ekstensi parser tidak divalidasi

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.