Menerapkan gabungan dalam penelusuran dan dasbor

Didukung di:

Gabungan membantu mengorelasikan data dari beberapa sumber untuk memberikan lebih banyak konteks untuk investigasi. Dengan menautkan peristiwa, entity, dan data lain yang terkait, Anda dapat menyelidiki skenario serangan yang kompleks dan memvisualisasikan tren.

Dokumen ini menjelaskan cara menggunakan operasi join di kolom Penelusuran dan panel dasbor Google SecOps. Bagian ini membahas jenis gabungan yang didukung, kasus penggunaan, dan praktik terbaik.

Konsep inti penggabungan

Anda dapat membuat gabungan dengan menghubungkan sumber data menggunakan variabel placeholder bersama atau pernyataan kesetaraan eksplisit (misalnya, $e1.hostname = $e2.hostname). Saat menentukan gabungan di bagian match kueri berbasis statistik, Anda harus menggunakan variabel placeholder.

Contoh berikut menunjukkan cara menautkan sumber data menggunakan dua kolom dengan tanda sama dengan (=) dan variabel placeholder bersama.

  • Contoh 1: Penggabungan implisit menggunakan variabel placeholder

    events:
      // Assign a value from the first event to the placeholder variable $user
      $user = $e1.principal.user.userid
    
      // The second assignment creates an implicit join, linking $e2 to $e1
      // where the user ID is the same.
      $user = $e2.principal.user.userid
    
    match:
      $user over 1h
    
    condition:
      $e1 and $e2
    
  • Contoh 2: Penggabungan eksplisit menggunakan kesetaraan dan placeholder

    $e1.principal.ip = $ip
    $e1.metadata.event_type = "USER_LOGIN"
    $e1.principal.hostname = $host
    
    $e2.target.ip = $ip
    $e2.principal.hostname = "altostrat"
    $e2.target.hostname = $host
    
    match:
      $ip, $host over 5m
    

Contoh di bagian ini menunjukkan sintaksis yang digunakan di Penelusuran.

Kueri di Penelusuran tidak peka huruf besar/kecil secara default.

Penggabungan peristiwa-peristiwa

  • Gabungan peristiwa-peristiwa menghubungkan dua peristiwa Universal Data Model (UDM) yang berbeda. Contoh kueri berikut menautkan peristiwa USER_LOGIN dengan peristiwa lain untuk menemukan nama host (altostrat) yang berinteraksi dengan pengguna, berdasarkan alamat IP umum:

    $e1.principal.ip = $ip
    $e1.metadata.event_type = "USER_LOGIN"
    
    $e2.target.ip = $ip
    $e2.principal.hostname = "altostrat"
    
    match:
      $ip over 5m
    

Penggabungan Event-ECG

  • Gabungan Peristiwa-ECG menghubungkan peristiwa UDM dengan entity dari Entity Context Graph (ECG). Contoh kueri berikut menemukan peristiwa NETWORK_CONNECTION dan ASSET dari grafik entity yang memiliki nama host yang sama dalam jangka waktu 1 jam:

    events:
      $e1.metadata.event_type = "NETWORK_CONNECTION"
      $g1.graph.metadata.entity_type = "ASSET"
      $e1.principal.asset.hostname = $g1.graph.entity.asset.hostname
      $x = $g1.graph.entity.asset.hostname
    
    match:
      $x over 1h
    
    condition:
      $e1 and $g1
    

Penggabungan datatable-peristiwa

  • Penggabungan peristiwa tabel data menghubungkan peristiwa UDM dengan entri dalam tabel data kustom. Hal ini berguna untuk memeriksa data peristiwa live terhadap daftar yang ditentukan pengguna, seperti alamat IP berbahaya atau pelaku ancaman yang diketahui. Contoh kueri berikut menggabungkan peristiwa NETWORK_CONNECTION dengan tabel data untuk menemukan koneksi yang melibatkan alamat IP tertentu dari daftar tersebut:

    $ip = %DATATABLE_NAME.COLUMN_NAME
    $ip = $e1.principal.ip
    $e1.metadata.event_type = "NETWORK_CONNECTION"
    
    match:
      $ip over 1h
    

Menggunakan klausa IN dengan tabel data

Anda juga dapat menggunakan klausa in untuk memeriksa apakah nilai kolom ada di kolom Tabel Data. Sintaksis ini didukung di semua sumber data (misalnya, ioc.type in %abc.type) dan menyediakan cara yang mudah untuk memfilter peristiwa berdasarkan daftar referensi tanpa menentukan variabel placeholder eksplisit untuk penggabungan.

Kasus penggunaan umum

Bagian ini mencantumkan beberapa cara umum untuk menggunakan join.

Mendeteksi pencurian dan penggunaan kredensial

Sasaran: Menemukan instance saat pengguna berhasil login, lalu dengan cepat menghapus file sistem penting. Hal ini dapat mengindikasikan pengambilalihan akun atau aktivitas orang dalam yang berbahaya.

Jenis penggabungan: Penggabungan Peristiwa-Peristiwa

Deskripsi: Kueri ini menghubungkan dua peristiwa berbeda yang tidak mencurigakan jika terjadi secara terpisah, tetapi menjadi sangat mencurigakan jika terjadi bersamaan. Pertama-tama, peristiwa ini mencari peristiwa USER_LOGIN, lalu peristiwa FILE_DELETION. Keduanya digabungkan oleh user.userid yang sama dengan rentang waktu yang singkat.

  • Kueri deteksi pencurian kredensial

    // Event 1: A user successfully logs in
    $e1.metadata.event_type = "USER_LOGIN"
    $e1.security_result.action = "ALLOW"
    $e1.principal.user.userid = $user
    
    // Event 2: The same user deletes a critical file
    $e2.metadata.event_type = "FILE_DELETION"
    $e2.target.file.full_path = /etc\/passwd|C:\\Windows\\System32\\/
    $e2.principal.user.userid = $user
    
    match:
      $user over 10m
    
    condition:
      $e1 and $e2
    

Mengidentifikasi koneksi berisiko dari aset penting

Sasaran: Memperkaya data jaringan langsung dengan informasi aset untuk menemukan koneksi keluar dari server yang seharusnya tidak berkomunikasi dengan domain eksternal berprevalensi rendah (misalnya, server database produksi).

Jenis penggabungan: Penggabungan Peristiwa-ECG

Deskripsi: Satu koneksi jaringan ke domain yang jarang mungkin bukan prioritas tinggi. Namun, kueri ini meningkatkan pentingnya peristiwa tersebut dengan menggabungkannya dengan Entity Context Graph (ECG). Secara khusus, aturan ini mencari peristiwa NETWORK_CONNECTION yang berasal dari aset yang diberi label "Critical Database Server" dalam grafik entity.

  • Kueri koneksi berisiko

    events:
      $e.metadata.event_type = "NETWORK_CONNECTION"
      $e.target.domain.prevalence.day_count <= 5
    
      $asset.graph.metadata.entity_type = "ASSET"
      $asset.graph.entity.asset.labels.value = "Critical Database Server"
    
      $e.principal.asset.hostname = $asset.graph.entity.asset.hostname
      $host = $e.principal.asset.hostname
    
    match:
      $host over 1h
    
    condition:
      $e and $asset
    

Mencari IOC pelaku ancaman

Sasaran: Menelusuri Indikator Penyusupan (IoC) secara aktif dengan memeriksa semua kueri DNS aktif terhadap daftar domain yang diketahui digunakan oleh pelaku ancaman tertentu.

Jenis penggabungan: Penggabungan Datatable-Peristiwa

Deskripsi: Tim threat intelligence Anda mengelola tabel data bernama ThreatActor_Domains yang mencantumkan domain berbahaya. Kueri ini menggabungkan semua peristiwa NETWORK_DNS_QUERY real-time dengan tabel data ini. Tindakan ini akan langsung menampilkan setiap instance tempat host di jaringan Anda mencoba me-resolve domain dari daftar threat intelligence Anda.

  • Kueri perburuan IOC pelaku ancaman

    // Datatable: Get the list of malicious domains
    $domain = %DATATABLE_NAME.COLUMN_NAME
    
    // Event: A DNS query is made
    $e.metadata.event_type = "NETWORK_DNS"
    $e.network.dns.questions.name = $domain
    
    match:
      $domain over 5m
    
    condition:
      $e
    

Gabungan di dasbor

Dasbor mendukung berbagai sumber data dan periode korelasi yang lebih panjang daripada di Penelusuran. Tidak seperti kueri SQL standar, YARA-L 2.0 tidak menggunakan pernyataan JOIN eksplisit; melainkan menghubungkan sumber data dengan menghubungkan variabel placeholder bersama atau menggunakan kueri multi-tahap.

Kepekaan huruf besar/kecil

Kueri dasbor peka huruf besar/kecil. Untuk melakukan penggabungan atau penelusuran yang tidak peka huruf besar/kecil di dasbor, gunakan pengubah nocase.

Sumber data yang didukung

Di dasbor, Anda dapat menggabungkan data dari kombinasi penggabungan sumber data yang didukung. (Tidak semua kombinasi sumber data dapat digabungkan dalam satu kueri.)

Setiap referensi data dalam kueri dasbor multi-sumber harus menyertakan penentu awalan YARA-L (misalnya, $u1), bukan hanya kolom yang digabungkan. Hal ini memungkinkan sistem mengidentifikasi kepemilikan kolom dengan benar di seluruh sumber data yang tumpang-tindih.

Kombinasi gabungan yang didukung

Gabungan memungkinkan Anda menghubungkan peristiwa UDM, konteks entity, dan tabel data di dasbor bawaan. Untuk mempertahankan performa sistem, tinjau kombinasi yang didukung dan batas teknis di bagian ini sebelum membuat kueri.

  • Peristiwa UDM ke peristiwa UDM (multi-peristiwa)
  • Konteks peristiwa UDM ke entitas
  • Peristiwa UDM ke tabel data
  • Kasus ke histori kasus: Kombinasi ini sangat dibatasi hanya untuk satu sumber case dan satu sumber case_history. Anda tidak dapat menyertakan sumber data lain dalam penggabungan ini.

Untuk mengetahui informasi tentang batasan dan guardrail, lihat Batasan dan batasan teknis.

Contoh: Menggabungkan case dan case_history

Anda dapat menghubungkan metadata kasus dengan aktivitas historisnya dengan menggabungkan ID Kasus yang unik.

  • Contoh berikut menggabungkan sumber data case dan case_history untuk menghitung jumlah total tindakan historis untuk setiap kasus prioritas tinggi.

      // 1. Establish the Join using a shared placeholder variable ($case_id)
      $h.case_history.case_response_platform_info.case_id = $case_id
      $c.case.response_platform_info.response_platform_id = $case_id
    
      // 2. Apply Filters
      $c.case.priority = "PRIORITY_HIGH"
    
      // 3. Group the correlated data by the Case ID
      match:
        $case_id
    
      // 4. Calculate the selected metrics to display on the dashboard
      outcome:
        $case_name = array_distinct($c.case.display_name)
        $total_historical_actions = count($h.case_history.case_activity)
    

Kasus penggunaan lanjutan: Menghitung MTTR

Untuk metrik yang lebih kompleks seperti Mean Time to Resolve (MTTR) atau Mean Time to Close (MTTC), Anda dapat menggunakan kueri multitahap. Dengan demikian, Anda dapat menghitung durasi untuk setiap kasus di tahap pertama, lalu menghitung rata-rata durasi tersebut secara global di blok hasil akhir.

  • Kueri berikut menghitung waktu rata-rata untuk menutup kasus (dalam menit) di semua kasus di "Default Environment".

    stage stage1 {
      // 1. Establish the Join
      $h.case_history.case_response_platform_info.case_id = $case_id
      $c.case.response_platform_info.response_platform_id = $case_id
    
      // 2. Filter by specific environment
      $c.case.environment = "Default Environment"
    
      // 3. Group by Case ID to process per case
      match:
        $case_id
    
      // 4. Calculate the Time to Close (TTC) for each case individually
      outcome:
        $case_close_time = max(if($h.case_history.case_activity = "CLOSE_CASE", $h.case_history.event_time.seconds, 0))
        $status = array_distinct($h.case_history.case_activity)
    
        // Subtract the very first event time (creation) from the close time
        $TTC = $case_close_time - min($h.case_history.event_time.seconds)
    
      // 5. Filter to ensure the case has a complete lifecycle
      condition:
        arrays.contains($status, "CREATE_CASE") and
        arrays.contains($status, "CLOSE_CASE")
    }
    
    // 6. Global Aggregation: Calculate the Mean (Average) across all processed cases
    outcome:
      $case_count = count($stage1.case_id)
      $MTTC = (math.round(avg($stage1.TTC) / 60))
    

Praktik terbaik

Untuk mengoptimalkan performa kueri gabungan dan memastikan kueri tersebut diproses secara efisien, ikuti praktik terbaik berikut untuk memfilter peristiwa dan mengelola cakupan penelusuran.

Menggunakan filter tertentu untuk mengurangi jumlah peristiwa

Kueri gabungan dapat menggunakan banyak resource karena menggabungkan banyak hasil.

  • Filter yang luas dan umum dapat menyebabkan kueri gagal, terkadang setelah penundaan yang lama, misalnya:

    • target.ip != ""

    • metadata.event_type = "NETWORK_CONNECTION" (jika jenis peristiwa ini sangat umum di lingkungan Anda)

  • Sebaiknya gabungkan filter umum dengan filter yang lebih spesifik untuk mengurangi jumlah total peristiwa yang perlu diproses kueri. Filter yang luas seperti target.ip != "" harus dipasangkan dengan filter yang lebih spesifik untuk meningkatkan performa kueri, misalnya:

    $e1.metadata.log_type = $log
    $e1.metadata.event_type = "USER_LOGIN"
    $e1.target.ip != ""
    
    $e2.metadata.log_type = $log
    $e2.principal.ip = "10.0.0.76"
    $e2.target.hostname != "altostrat"
    
    match:
    $log over 5m
    

Jika kueri Anda masih lambat, Anda juga dapat mengurangi keseluruhan rentang waktu kueri (misalnya, dari 30 hari menjadi satu minggu).

Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik YARA-L.

Batas dan batasan teknis

Batasan dan batas berikut berlaku saat menggunakan gabungan di Penelusuran dan dasbor.

Batas jendela dan kueri pencocokan

Periode pencocokan menentukan jangka waktu tertentu untuk peristiwa yang akan dikorelasikan. Rentang waktu ini berbeda dengan Rentang waktu penelusuran yang Anda pilih di antarmuka pengguna.

Penelusuran dioptimalkan untuk investigasi langsung atau cepat dalam periode yang lebih singkat.

Batas kueri Penggunaan
Hingga 48 jam (beberapa kueri mungkin mendukung periode yang lebih lama). Menghubungkan peristiwa dalam investigasi cepat.

Batas di dasbor

Dasbor mendukung analisis historis jangka panjang.

Jenis join Batas kueri Penggunaan
UDM-ke-UDM dan UDM-ke-Entity 31 hari Kueri telemetri bervolume tinggi.
Case-to-CaseHistory 90 hari Kueri pelacakan siklus proses.
Konfigurasi lain yang didukung Hingga 365 hari Penggantian untuk sumber non-UDM atau berbasis metrik (misalnya, metrik penyerapan).

Batas sumber data dan tabel

Jumlah maksimum sumber data dan tabel yang dapat Anda gabungkan dalam satu kueri bergantung pada apakah Anda menggunakan Penelusuran atau dasbor.

Batasan penelusuran

  • Anda dapat menggunakan maksimum dua peristiwa UDM per kueri.
  • Anda dapat menggunakan maksimum satu peristiwa ECG per kueri.
  • Anda dapat menggunakan maksimum dua Datatable per kueri.
  • Anda tidak dapat menggabungkan tabel data langsung ke tabel konteks entity; Anda harus menggunakan peristiwa UDM sebagai jembatan perantara (misalnya, menghubungkan $event.target.hostname dengan $datatable.hostname dan $asset.graph.entity.asset.hostname).

Batasan dasbor

Jenis join Tabel peristiwa maksimum (UDM atau tabel data) Tabel entity maksimum
Multi-peristiwa (UDM ke UDM) 2 T/A
UDM ke entity 2 1
UDM ke tabel data 2 T/A
Kueri multi-tahap 2 1

Performa dan pedoman

Sistem memantau kueri gabungan yang kompleks untuk konsumsi resource yang berlebihan. Untuk melindungi performa lingkungan secara keseluruhan, sistem mungkin otomatis menjeda atau mengarantina kueri yang melebihi batas keamanan resource.

Jika kueri gagal atau menampilkan error yang menunjukkan bahwa kueri tersebut melebihi batas resource, coba pengoptimalan berikut:

  • Persempit rentang waktu kueri.
  • Tambahkan filter yang lebih spesifik untuk mengurangi ukuran set data sebelum penggabungan terjadi.
  • Sederhanakan agregasi Anda.

Batasan jenis kueri dan API

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.