Menerapkan gabungan dalam penelusuran dan dasbor
Gabungan membantu mengorelasikan data dari beberapa sumber untuk memberikan lebih banyak konteks untuk investigasi. Dengan menautkan peristiwa, entity, dan data lain yang terkait, Anda dapat menyelidiki skenario serangan yang kompleks dan memvisualisasikan tren.
Dokumen ini menjelaskan cara menggunakan operasi join di kolom Penelusuran dan panel dasbor Google SecOps. Bagian ini membahas jenis gabungan yang didukung, kasus penggunaan, dan praktik terbaik.
Konsep inti penggabungan
Anda dapat membuat gabungan dengan menghubungkan sumber data menggunakan variabel placeholder bersama atau pernyataan kesetaraan eksplisit (misalnya, $e1.hostname = $e2.hostname). Saat menentukan gabungan di bagian match kueri berbasis statistik, Anda harus menggunakan variabel placeholder.
Contoh berikut menunjukkan cara menautkan sumber data menggunakan dua kolom dengan tanda sama dengan (=) dan
variabel placeholder bersama.
Contoh 1: Penggabungan implisit menggunakan variabel placeholder
events: // Assign a value from the first event to the placeholder variable $user $user = $e1.principal.user.userid // The second assignment creates an implicit join, linking $e2 to $e1 // where the user ID is the same. $user = $e2.principal.user.userid match: $user over 1h condition: $e1 and $e2Contoh 2: Penggabungan eksplisit menggunakan kesetaraan dan placeholder
$e1.principal.ip = $ip $e1.metadata.event_type = "USER_LOGIN" $e1.principal.hostname = $host $e2.target.ip = $ip $e2.principal.hostname = "altostrat" $e2.target.hostname = $host match: $ip, $host over 5m
Gabungan dalam penelusuran
Contoh di bagian ini menunjukkan sintaksis yang digunakan di Penelusuran.
Kueri di Penelusuran tidak peka huruf besar/kecil secara default.
Penggabungan peristiwa-peristiwa
Gabungan peristiwa-peristiwa menghubungkan dua peristiwa Universal Data Model (UDM) yang berbeda. Contoh kueri berikut menautkan peristiwa
USER_LOGINdengan peristiwa lain untuk menemukan nama host (altostrat) yang berinteraksi dengan pengguna, berdasarkan alamat IP umum:$e1.principal.ip = $ip $e1.metadata.event_type = "USER_LOGIN" $e2.target.ip = $ip $e2.principal.hostname = "altostrat" match: $ip over 5m
Penggabungan Event-ECG
Gabungan Peristiwa-ECG menghubungkan peristiwa UDM dengan entity dari Entity Context Graph (ECG). Contoh kueri berikut menemukan peristiwa
NETWORK_CONNECTIONdanASSETdari grafik entity yang memiliki nama host yang sama dalam jangka waktu 1 jam:events: $e1.metadata.event_type = "NETWORK_CONNECTION" $g1.graph.metadata.entity_type = "ASSET" $e1.principal.asset.hostname = $g1.graph.entity.asset.hostname $x = $g1.graph.entity.asset.hostname match: $x over 1h condition: $e1 and $g1
Penggabungan datatable-peristiwa
Penggabungan peristiwa tabel data menghubungkan peristiwa UDM dengan entri dalam tabel data kustom. Hal ini berguna untuk memeriksa data peristiwa live terhadap daftar yang ditentukan pengguna, seperti alamat IP berbahaya atau pelaku ancaman yang diketahui. Contoh kueri berikut menggabungkan peristiwa
NETWORK_CONNECTIONdengan tabel data untuk menemukan koneksi yang melibatkan alamat IP tertentu dari daftar tersebut:$ip = %DATATABLE_NAME.COLUMN_NAME $ip = $e1.principal.ip $e1.metadata.event_type = "NETWORK_CONNECTION" match: $ip over 1h
Menggunakan klausa IN dengan tabel data
Anda juga dapat menggunakan klausa in untuk memeriksa apakah nilai kolom ada di kolom Tabel Data. Sintaksis ini didukung di semua sumber data (misalnya, ioc.type in %abc.type) dan menyediakan cara yang mudah untuk memfilter peristiwa berdasarkan daftar referensi tanpa menentukan variabel placeholder eksplisit untuk penggabungan.
Kasus penggunaan umum
Bagian ini mencantumkan beberapa cara umum untuk menggunakan join.
Mendeteksi pencurian dan penggunaan kredensial
Sasaran: Menemukan instance saat pengguna berhasil login, lalu dengan cepat menghapus file sistem penting. Hal ini dapat mengindikasikan pengambilalihan akun atau aktivitas orang dalam yang berbahaya.
Jenis penggabungan: Penggabungan Peristiwa-Peristiwa
Deskripsi: Kueri ini menghubungkan dua peristiwa berbeda yang tidak mencurigakan
jika terjadi secara terpisah, tetapi menjadi sangat mencurigakan jika terjadi bersamaan. Pertama-tama,
peristiwa ini mencari peristiwa USER_LOGIN, lalu peristiwa FILE_DELETION. Keduanya digabungkan
oleh user.userid yang sama dengan rentang waktu yang singkat.
Kueri deteksi pencurian kredensial
// Event 1: A user successfully logs in $e1.metadata.event_type = "USER_LOGIN" $e1.security_result.action = "ALLOW" $e1.principal.user.userid = $user // Event 2: The same user deletes a critical file $e2.metadata.event_type = "FILE_DELETION" $e2.target.file.full_path = /etc\/passwd|C:\\Windows\\System32\\/ $e2.principal.user.userid = $user match: $user over 10m condition: $e1 and $e2
Mengidentifikasi koneksi berisiko dari aset penting
Sasaran: Memperkaya data jaringan langsung dengan informasi aset untuk menemukan koneksi keluar dari server yang seharusnya tidak berkomunikasi dengan domain eksternal berprevalensi rendah (misalnya, server database produksi).
Jenis penggabungan: Penggabungan Peristiwa-ECG
Deskripsi: Satu koneksi jaringan ke domain yang jarang mungkin bukan prioritas tinggi. Namun, kueri ini meningkatkan pentingnya peristiwa tersebut dengan
menggabungkannya dengan Entity Context Graph (ECG). Secara khusus, aturan ini mencari peristiwa NETWORK_CONNECTION yang berasal dari aset yang diberi label "Critical Database Server" dalam grafik entity.
Kueri koneksi berisiko
events: $e.metadata.event_type = "NETWORK_CONNECTION" $e.target.domain.prevalence.day_count <= 5 $asset.graph.metadata.entity_type = "ASSET" $asset.graph.entity.asset.labels.value = "Critical Database Server" $e.principal.asset.hostname = $asset.graph.entity.asset.hostname $host = $e.principal.asset.hostname match: $host over 1h condition: $e and $asset
Mencari IOC pelaku ancaman
Sasaran: Menelusuri Indikator Penyusupan (IoC) secara aktif dengan memeriksa semua kueri DNS aktif terhadap daftar domain yang diketahui digunakan oleh pelaku ancaman tertentu.
Jenis penggabungan: Penggabungan Datatable-Peristiwa
Deskripsi: Tim threat intelligence Anda mengelola tabel data bernama
ThreatActor_Domains yang mencantumkan domain berbahaya. Kueri ini menggabungkan semua
peristiwa NETWORK_DNS_QUERY real-time dengan tabel data ini. Tindakan ini akan langsung menampilkan
setiap instance tempat host di jaringan Anda mencoba me-resolve domain dari
daftar threat intelligence Anda.
Kueri perburuan IOC pelaku ancaman
// Datatable: Get the list of malicious domains $domain = %DATATABLE_NAME.COLUMN_NAME // Event: A DNS query is made $e.metadata.event_type = "NETWORK_DNS" $e.network.dns.questions.name = $domain match: $domain over 5m condition: $e
Gabungan di dasbor
Dasbor mendukung berbagai sumber data dan periode korelasi yang lebih panjang
daripada di Penelusuran. Tidak seperti kueri SQL standar, YARA-L 2.0 tidak menggunakan pernyataan JOIN eksplisit; melainkan menghubungkan sumber data dengan menghubungkan variabel placeholder bersama atau menggunakan kueri multi-tahap.
Kepekaan huruf besar/kecil
Kueri dasbor peka huruf besar/kecil. Untuk melakukan penggabungan atau penelusuran yang tidak peka huruf besar/kecil di dasbor, gunakan pengubah nocase.
Sumber data yang didukung
Di dasbor, Anda dapat menggabungkan data dari kombinasi penggabungan sumber data yang didukung. (Tidak semua kombinasi sumber data dapat digabungkan dalam satu kueri.)
Setiap referensi data dalam kueri dasbor multi-sumber harus menyertakan penentu awalan YARA-L (misalnya, $u1), bukan hanya kolom yang digabungkan. Hal ini memungkinkan sistem mengidentifikasi kepemilikan kolom dengan benar di seluruh sumber data yang tumpang-tindih.
Kombinasi gabungan yang didukung
Gabungan memungkinkan Anda menghubungkan peristiwa UDM, konteks entity, dan tabel data di dasbor bawaan. Untuk mempertahankan performa sistem, tinjau kombinasi yang didukung dan batas teknis di bagian ini sebelum membuat kueri.
- Peristiwa UDM ke peristiwa UDM (multi-peristiwa)
- Konteks peristiwa UDM ke entitas
- Peristiwa UDM ke tabel data
Kasus ke histori kasus: Kombinasi ini sangat dibatasi hanya untuk satu sumber
casedan satu sumbercase_history. Anda tidak dapat menyertakan sumber data lain dalam penggabungan ini.
Untuk mengetahui informasi tentang batasan dan guardrail, lihat Batasan dan batasan teknis.
Contoh: Menggabungkan case dan case_history
Anda dapat menghubungkan metadata kasus dengan aktivitas historisnya dengan menggabungkan ID Kasus yang unik.
Contoh berikut menggabungkan sumber data
casedancase_historyuntuk menghitung jumlah total tindakan historis untuk setiap kasus prioritas tinggi.// 1. Establish the Join using a shared placeholder variable ($case_id) $h.case_history.case_response_platform_info.case_id = $case_id $c.case.response_platform_info.response_platform_id = $case_id // 2. Apply Filters $c.case.priority = "PRIORITY_HIGH" // 3. Group the correlated data by the Case ID match: $case_id // 4. Calculate the selected metrics to display on the dashboard outcome: $case_name = array_distinct($c.case.display_name) $total_historical_actions = count($h.case_history.case_activity)
Kasus penggunaan lanjutan: Menghitung MTTR
Untuk metrik yang lebih kompleks seperti Mean Time to Resolve (MTTR) atau Mean Time to Close (MTTC), Anda dapat menggunakan kueri multitahap. Dengan demikian, Anda dapat menghitung durasi untuk setiap kasus di tahap pertama, lalu menghitung rata-rata durasi tersebut secara global di blok hasil akhir.
Kueri berikut menghitung waktu rata-rata untuk menutup kasus (dalam menit) di semua kasus di "Default Environment".
stage stage1 { // 1. Establish the Join $h.case_history.case_response_platform_info.case_id = $case_id $c.case.response_platform_info.response_platform_id = $case_id // 2. Filter by specific environment $c.case.environment = "Default Environment" // 3. Group by Case ID to process per case match: $case_id // 4. Calculate the Time to Close (TTC) for each case individually outcome: $case_close_time = max(if($h.case_history.case_activity = "CLOSE_CASE", $h.case_history.event_time.seconds, 0)) $status = array_distinct($h.case_history.case_activity) // Subtract the very first event time (creation) from the close time $TTC = $case_close_time - min($h.case_history.event_time.seconds) // 5. Filter to ensure the case has a complete lifecycle condition: arrays.contains($status, "CREATE_CASE") and arrays.contains($status, "CLOSE_CASE") } // 6. Global Aggregation: Calculate the Mean (Average) across all processed cases outcome: $case_count = count($stage1.case_id) $MTTC = (math.round(avg($stage1.TTC) / 60))
Praktik terbaik
Untuk mengoptimalkan performa kueri gabungan dan memastikan kueri tersebut diproses secara efisien, ikuti praktik terbaik berikut untuk memfilter peristiwa dan mengelola cakupan penelusuran.
Menggunakan filter tertentu untuk mengurangi jumlah peristiwa
Kueri gabungan dapat menggunakan banyak resource karena menggabungkan banyak hasil.
Filter yang luas dan umum dapat menyebabkan kueri gagal, terkadang setelah penundaan yang lama, misalnya:
target.ip != ""metadata.event_type = "NETWORK_CONNECTION"(jika jenis peristiwa ini sangat umum di lingkungan Anda)
Sebaiknya gabungkan filter umum dengan filter yang lebih spesifik untuk mengurangi jumlah total peristiwa yang perlu diproses kueri. Filter yang luas seperti
target.ip != ""harus dipasangkan dengan filter yang lebih spesifik untuk meningkatkan performa kueri, misalnya:$e1.metadata.log_type = $log $e1.metadata.event_type = "USER_LOGIN" $e1.target.ip != "" $e2.metadata.log_type = $log $e2.principal.ip = "10.0.0.76" $e2.target.hostname != "altostrat" match: $log over 5m
Jika kueri Anda masih lambat, Anda juga dapat mengurangi keseluruhan rentang waktu kueri (misalnya, dari 30 hari menjadi satu minggu).
Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik YARA-L.
Batas dan batasan teknis
Batasan dan batas berikut berlaku saat menggunakan gabungan di Penelusuran dan dasbor.
Batas jendela dan kueri pencocokan
Periode pencocokan menentukan jangka waktu tertentu untuk peristiwa yang akan dikorelasikan. Rentang waktu ini berbeda dengan Rentang waktu penelusuran yang Anda pilih di antarmuka pengguna.
Batasan dalam penelusuran
Penelusuran dioptimalkan untuk investigasi langsung atau cepat dalam periode yang lebih singkat.
| Batas kueri | Penggunaan |
|---|---|
| Hingga 48 jam (beberapa kueri mungkin mendukung periode yang lebih lama). | Menghubungkan peristiwa dalam investigasi cepat. |
Batas di dasbor
Dasbor mendukung analisis historis jangka panjang.
| Jenis join | Batas kueri | Penggunaan |
|---|---|---|
| UDM-ke-UDM dan UDM-ke-Entity | 31 hari | Kueri telemetri bervolume tinggi. |
| Case-to-CaseHistory | 90 hari | Kueri pelacakan siklus proses. |
| Konfigurasi lain yang didukung | Hingga 365 hari | Penggantian untuk sumber non-UDM atau berbasis metrik (misalnya, metrik penyerapan). |
Batas sumber data dan tabel
Jumlah maksimum sumber data dan tabel yang dapat Anda gabungkan dalam satu kueri bergantung pada apakah Anda menggunakan Penelusuran atau dasbor.
Batasan penelusuran
- Anda dapat menggunakan maksimum dua peristiwa UDM per kueri.
- Anda dapat menggunakan maksimum satu peristiwa ECG per kueri.
- Anda dapat menggunakan maksimum dua Datatable per kueri.
- Anda tidak dapat menggabungkan tabel data langsung ke tabel konteks entity; Anda harus menggunakan peristiwa UDM sebagai jembatan perantara (misalnya, menghubungkan
$event.target.hostnamedengan$datatable.hostnamedan$asset.graph.entity.asset.hostname).
Batasan dasbor
| Jenis join | Tabel peristiwa maksimum (UDM atau tabel data) | Tabel entity maksimum |
|---|---|---|
| Multi-peristiwa (UDM ke UDM) | 2 | T/A |
| UDM ke entity | 2 | 1 |
| UDM ke tabel data | 2 | T/A |
| Kueri multi-tahap | 2 | 1 |
Performa dan pedoman
Sistem memantau kueri gabungan yang kompleks untuk konsumsi resource yang berlebihan. Untuk melindungi performa lingkungan secara keseluruhan, sistem mungkin otomatis menjeda atau mengarantina kueri yang melebihi batas keamanan resource.
Jika kueri gagal atau menampilkan error yang menunjukkan bahwa kueri tersebut melebihi batas resource, coba pengoptimalan berikut:
- Persempit rentang waktu kueri.
- Tambahkan filter yang lebih spesifik untuk mengurangi ukuran set data sebelum penggabungan terjadi.
- Sederhanakan agregasi Anda.
Batasan jenis kueri dan API
- Gabungan didukung di antarmuka pengguna dan
EventService.UDMSearchAPI, tetapi tidak diSearchService.UDMSearchAPI.
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.