Menggunakan penghapusan duplikat di Penelusuran dan Dasbor

Didukung di:

Di Google Security Operations, hasil penelusuran dapat mencakup duplikat saat beberapa sistem mencatat peristiwa yang sama (misalnya, sistem autentikasi dan firewall yang mencatat satu login).

Untuk menampilkan hanya hasil unik, gunakan bagian dedup dalam sintaksis YARA-L Anda. Menambahkan kolom UDM ke bagian ini memastikan bahwa kueri menampilkan satu hasil untuk setiap kombinasi nilai yang berbeda.

Pedoman performa

Operator dedup memproses semua data dalam rentang waktu sebagai satu unit untuk menjaga kebenaran.

  • Rentang optimal: Performa terbaik untuk rentang <= 1 hari.
  • Latensi: Rentang antara 7–30 hari akan meningkatkan latensi secara signifikan dan dapat menyebabkan waktu tunggu kueri habis.

Sebaiknya selalu gunakan rentang waktu terpendek yang sesuai untuk penyelidikan Anda saat menerapkan operator dedup.

Penghapusan duplikat menurut jenis kueri

Perilaku penghapusan duplikat bergantung pada apakah kueri Anda menggunakan agregasi dan berlaku untuk jenis kueri penelusuran dan dasbor berikut.

Kueri penelusuran gabungan

Kueri penelusuran gabungan mencakup bagian match, match, dan outcome, atau aggregated outcome. Penghapusan duplikat terjadi setelah hasil ditentukan.

Untuk kueri ini, tambahkan kolom berikut ke bagian dedup:

  • Kolom dari bagian match
  • *Kolom dari bagian outcome

Kueri penelusuran UDM

Kueri penelusuran UDM mengecualikan bagian match, outcome, atau outcome gabungan. Catatan: Kueri penelusuran UDM dapat menyertakan bagian outcome selama tidak ada agregat dan tidak ada bagian match.

Untuk menghapus duplikat penelusuran UDM, tambahkan kolom ini ke bagian dedup:

  • Semua kolom peristiwa yang tidak berulang, bukan array, dan tidak dikelompokkan.
  • Kolom placeholder dari bagian events.
  • Variabel hasil dari bagian outcome (jika tidak ada gabungan).

Bagian ini menunjukkan sintaksis YARA-L dan dapat dijalankan di Penelusuran.

Contoh: Menelusuri alamat IP unik

Contoh kueri berikut mengidentifikasi koneksi jaringan antara IP internal dan eksternal, yang dideduplikasi oleh IP internal (principal.ip):

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

dedup:
   principal.ip

Contoh: Alamat IP unik dengan volume traffic

Mirip dengan contoh sebelumnya, penelusuran contoh berikut menampilkan peristiwa koneksi jaringan dengan alamat IP unik. Menerapkan dedup ke principal.ip mempersempit hasil ke peristiwa yang terkait dengan IP unik. Bagian outcome menampilkan total byte yang dikirim antara principal.ip dan target.ip, mengurutkan hasil dari volume traffic tertinggi hingga terendah.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.ip

order:
   $total_bytes desc

Contoh: Penghapusan duplikat UDM dasar

Contoh berikut menelusuri tampilan tingkat tinggi dari nama host unik yang diakses di semua jenis log. Menerapkan dedup ke target.hostname mempersempit hasil ke peristiwa yang terkait dengan nama host eksternal unik. Catatan: Format ini efektif untuk kueri yang tidak memerlukan penggabungan.

metadata.log_type != ""

dedup:
    target.hostname

Berikut adalah contoh yang setara tanpa opsi dedup. Biasanya menampilkan lebih banyak peristiwa.

metadata.log_type != "" AND target.hostname != ""

Contoh: Nama host unik

Mirip dengan contoh sebelumnya, penelusuran ini menampilkan peristiwa koneksi jaringan dengan nama host unik. Menerapkan opsi dedup ke principal.hostname mempersempit hasil ke peristiwa yang terkait dengan host unik:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""

match:
   target.hostname, principal.hostname

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.hostname

order:
   $total_bytes desc

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.