Menelusuri log mentah

Didukung di:

Google SecOps SIEM

Saat Anda melakukan penelusuran, Google Security Operations akan memeriksa terlebih dahulu data keamanan yang telah diserap, diuraikan, dan dinormalisasi. Jika informasi tidak ditemukan dalam data yang dinormalisasi, Anda dapat menggunakan Penelusuran Log Mentah untuk memeriksa log mentah yang tidak diuraikan. Anda juga dapat menggunakan ekspresi reguler untuk memeriksa log mentah secara lebih mendetail.

Catatan: Kolom penelusuran dibatasi hingga 150 karakter.

Anda dapat menggunakan Penelusuran Log Mentah untuk menyelidiki artefak yang muncul dalam log (tetapi tidak diindeks), termasuk:

• Nama pengguna
• Nama file
• Kunci registri
• Argumen command line
• Data mentah terkait permintaan HTTP
• Nama domain berdasarkan ekspresi reguler
• Namespace aset dan alamat

Kasus penggunaan utama untuk penelusuran log mentah

Penelusuran log mentah adalah alat investigasi khusus yang dirancang untuk kasus penggunaan berikut:

• Memverifikasi normalisasi dan memecahkan masalah parser: Bandingkan entri log mentah dengan peristiwa UDM yang dihasilkan untuk mengidentifikasi kesenjangan normalisasi, memverifikasi pemetaan kolom, atau menunjukkan log yang tidak diuraikan.
• Investigasi forensik mendalam dan perburuan ancaman: Telusuri indikator gangguan (IOC), argumen command line, kunci registri, jalur file, atau string tertentu yang tidak dipetakan ke kolom UDM terstruktur yang tidak umum atau tidak terindeks.
• Menyelidiki data kustom dan tidak terstruktur: Buat kueri sumber log baru yang di-onboarding atau eksklusif dengan segera tanpa menunggu parser UDM dikembangkan.

Catatan: Penelusuran log mentah dirancang sebagai alat investigasi interaktif dan alat berburu ancaman untuk alur kerja tertentu ini. Fitur ini tidak dirancang sebagai buku besar audit volumetrik atau akuntansi penyerapan. Untuk memvalidasi kelengkapan penyerapan atau kesamaan data volumetrik, gunakan Penelusuran UDM, Statistik dan agregasi di Penelusuran UDM, atau metrik kesehatan penyerapan.

Penelusuran log mentah

Anda dapat melakukan penelusuran log mentah menggunakan kotak Penelusuran, yang terletak di halaman landing atau di menu. Pilih salah satu metode berikut:

Gunakan format raw=

Anda dapat membuat kueri log mentah menggunakan format raw=. Ini adalah metode yang direkomendasikan.

• Untuk menelusuri substring, masukkan istilah penelusuran dalam tanda kutip. Misalnya, raw = "ABC".
• Untuk melakukan penelusuran menggunakan ekspresi reguler, sertakan ekspresi dalam garis miring (/). Misalnya, raw = /AB*C/.
• Opsional: Filter menurut status yang diuraikan menggunakan kata kunci parsed:
  • parsed = false: Menampilkan log yang tidak diuraikan yang tidak menghasilkan peristiwa UDM.
  • parsed = true: Menampilkan log yang berhasil diuraikan menjadi peristiwa UDM.

Metode lama: Menggunakan perintah Penelusuran Log Raw

• Di kotak Penelusuran, masukkan string penelusuran dengan minimal empat karakter (misalnya, hash MD5), termasuk karakter pengganti.
• Jika penelusuran tidak menampilkan hasil, opsi Penelusuran Log Mentah akan muncul.
• Opsional: Tentukan Waktu Mulai dan Waktu Berakhir. Rentang default adalah 7 hari terakhir.
• Opsional: Di daftar Sumber Log, pilih satu atau beberapa sumber log. Setelan defaultnya adalah Semua.
• Klik Telusuri.

Peristiwa yang terkait dengan string penelusuran ditampilkan di Linimasa. Klik peristiwa (atau ikon log mentah) untuk membuka log mentah yang sesuai. Kueri penelusuran beserta filter yang diterapkan juga terlihat di halaman Penelusuran Log Mentah.

Penting: Karena batasan internal dalam sistem penelusuran log mentah lama, peristiwa UDM yang sesuai mungkin terkadang gagal ditampilkan di samping entri log mentah. Ini bukan error penguraian, tetapi batasan tampilan sistem penelusuran log mentah lama.

Mengoptimalkan kueri log mentah

Penelusuran log mentah memindai payload log yang tidak diindeks dan biasanya lebih lambat daripada penelusuran UDM. Untuk meningkatkan performa penelusuran, batasi jumlah data yang Anda kueri dengan mengubah setelan penelusuran:

• Pemilih rentang waktu: Batasi rentang waktu data yang digunakan untuk menjalankan kueri.
• Pemilih Sumber Log: Batasi penelusuran log mentah Anda hanya ke log dari sumber tertentu, bukan semua sumber log Anda. Dari menu Sumber Log, pilih satu atau beberapa sumber log (defaultnya adalah Semua), atau tambahkan filter log_source langsung ke kueri Anda (log_source = IN["<var>LOG_SOURCE_NAME</var>"]).
• Ekspresi reguler: Gunakan ekspresi reguler tertentu. Misalnya, raw = /goo\w{3}\.com/ cocok dengan google.com, goodle.com, dan goog1e.com untuk lebih membatasi cakupan penelusuran log mentah Anda.

Contoh penelusuran log mentah yang ditargetkan

Gabungkan awalan raw = dengan filter log_source dan parsed untuk membatasi penelusuran Anda ke feed yang relevan dan mencegah sumber log bervolume tinggi memangkas hasil Anda:

• Menelusuri string yang sama persis dalam satu sumber log:

  raw = "<var>SEARCH_TERM</var>" and log_source = IN["<var>LOG_SOURCE_NAME</var>"]
  

• Menelusuri subset sumber log:

  raw = "<var>SEARCH_TERM</var>" and log_source = IN["<var>LOG_SOURCE_1</var>", "<var>LOG_SOURCE_2</var>"]
  

• Menelusuri log yang tidak diuraikan dengan ekspresi reguler:

  raw = /<var>REGULAR_EXPRESSION</var>/ and parsed = false and log_source = IN["<var>LOG_SOURCE_NAME</var>"]
  

Tren dari waktu ke waktu

Gunakan grafik Tren dari Waktu ke Waktu untuk memahami distribusi log mentah selama waktu penelusuran Anda. Anda dapat menerapkan filter pada grafik untuk mencari log yang diuraikan dan log mentah. Klik Luaskan lebih banyak (atau Luaskan lebih sedikit) untuk meluaskan atau menciutkan grafik.

Hasil log mentah

Saat Anda menjalankan penelusuran log mentah, hasilnya adalah kombinasi peristiwa UDM dan entitas yang dihasilkan oleh log mentah yang cocok dengan penelusuran Anda, beserta log mentah. Anda dapat menjelajahi hasil penelusuran lebih lanjut dengan mengklik salah satu hasil:

• Peristiwa atau entitas UDM: Jika Anda mengklik peristiwa atau entitas UDM, Google SecOps akan menampilkan peristiwa dan entitas terkait, beserta log mentah yang terkait dengan item tersebut.

• Log mentah: Jika Anda mengklik log mentah, Google SecOps akan menampilkan seluruh baris log mentah, beserta sumber log tersebut.

Batas dan pengambilan sampel hasil

Penelusuran log mentah menerapkan batas hasil dan kueri berikut:

• Batas hasil batch besar: Untuk log yang baru saja di-ingest dan disimpan dalam penyimpanan batch sebelum diekspor ke penyimpanan berkolom jangka panjang, ada batas 1.000 hasil yang ditampilkan dari batch log besar yang berisi 1.000 peristiwa atau lebih. Setelah log diekspor ke penyimpanan berkolom jangka panjang, batas batch 1.000 hasil ini tidak berlaku.
• Batas total ekspor CSV dan UI: Satu penelusuran log mentah di konsol Google SecOps atau ekspor CSV menampilkan hingga 10.000 total hasil di semua sumber log yang dikueri. Jika kueri cocok dengan lebih dari 10.000 entri, Google SecOps akan menampilkan sampel perwakilan dari 10.000 hasil.
• Batas hasil API: Raw Log Search API (SearchRawLogs) menerapkan batas maksimum 10.000 entri per permintaan kueri (page_size).
• Panjang kueri penelusuran: Kolom input penelusuran log mentah dibatasi hingga 150 karakter.

Saat Anda menelusuri beberapa sumber log secara bersamaan (membiarkan menu Sumber Log disetel ke Semua), Google SecOps menjalankan kueri secara paralel di seluruh shard penyimpanan terdistribusi dengan batas kueri pelindung yang diterapkan sebelum pemfilteran dalam memori untuk mempertahankan waktu respons yang cepat. Karena arsitektur terdistribusi ini, total jumlah hasil yang ditampilkan dapat bervariasi antara kueri multi-sumber yang luas dan kueri sumber tunggal karena faktor-faktor berikut:

• Volume penyerapan yang bervariasi: Sumber log bervolume tinggi menghasilkan batch besar yang mencapai batas batch 1.000 hasil lebih cepat daripada sumber bervolume rendah.
• Pengambilan sampel batch terdistribusi: Batch besar yang berisi 1.000 peristiwa atau lebih dibatasi hingga 1.000 hasil yang ditampilkan sebelum batas pengambilan sampel kueri 10.000 hasil secara keseluruhan diterapkan, yang mengubah proporsi log yang diambil sampelnya yang ditampilkan di seluruh kueri.
• Tingkatan penyimpanan terbaru dan historis: Log yang baru saja di-ingest dikueri dari penyimpanan batch berlatensi rendah untuk ketersediaan penelusuran langsung, dengan batas 1.000 hasil pada batch besar berlaku. Setelah log diekspor ke penyimpanan kolom jangka panjang, kueri akan memindai setiap entri log secara langsung tanpa batas batch 1.000 hasil (hingga batas total kueri 10.000 hasil), sehingga memberikan jumlah hasil yang lebih konsisten untuk penelusuran historis.

Catatan: Variasi jumlah hasil di seluruh kueri multi-sumber memang dirancang untuk mempertahankan respons kueri di seluruh set data besar dan tidak menunjukkan kehilangan data atau kegagalan penyerapan. Untuk mengambil set hasil yang lengkap dan tidak disampel, filter kueri Anda ke sumber log tertentu dan persempit rentang waktu penelusuran untuk menghindari batas pengambilan sampel kueri batch dan keseluruhan.

Mendownload hasil log mentah

Untuk mendownload hasil log mentah ke file CSV, di tabel hasil Log Mentah, klik Lainnya > Download sebagai CSV.

Secara default, file CSV selalu menyertakan kolom Log Mentah. Anda dapat menggunakan tombol Kolom untuk membuka Pengelola Kolom dan menghapus atau menambahkan kolom Stempel Waktu dan Jenis. Jika Anda menambahkan kolom lain, Anda akan melihatnya di tabel, tetapi kolom tersebut tidak akan didownload dalam file CSV.

Untuk mendownload kolom UDM, jalankan penelusuran UDM, pilih kolom yang diperlukan, lalu download sebagai file CSV.

Jika error Failed to execute 'showSaveFilePicker' muncul di Google Chrome, lakukan langkah-langkah berikut:

1. Buka Perangkat > Chrome > Setelan.

2. Pilih Pengguna & browser.

3. Cari setelan Akses tulis sistem file.

4. Tambahkan prefix.backstory.chronicle.security ke daftar situs yang diizinkan.

Ekspresi reguler

Anda dapat menggunakan ekspresi reguler di Google SecOps untuk menelusuri dan mencocokkan kumpulan string karakter dalam data keamanan Anda. Ekspresi reguler membantu mempersempit penelusuran menggunakan fragmen informasi, bukan memerlukan kecocokan persis.

Untuk menjalankan penelusuran menggunakan sintaksis ekspresi reguler:

• Di SIEM Search, masukkan raw = /YOUR_REGEX/ di kolom penelusuran, lalu klik Run Search.
• Di kotak Penelusuran lama:
  1. Masukkan ekspresi reguler (panjang 4 hingga 66 karakter) di kolom Penelusuran.
  2. Centang kotak Run Query as Regex, lalu klik Search (atau Update Search di halaman hasil Raw Log Search).

Infrastruktur ekspresi reguler Google SecOps didasarkan pada Google RE2, mesin ekspresi reguler open source. Google SecOps menggunakan sintaksis ekspresi reguler yang sama.

Catatan: Untuk performa yang dapat diprediksi, mesin RE2 sengaja menghilangkan fitur lanjutan tertentu, seperti pernyataan lookahead dan lookbehind. Untuk mengetahui informasi selengkapnya, lihat sintaksis RE2.

Tabel berikut menyoroti beberapa sintaksis ekspresi reguler umum yang dapat Anda gunakan untuk penelusuran.

Karakter apa pun	.
x jumlah karakter apa pun	{x}
Kelas karakter	[xyz]
Kelas karakter yang dinegasikan	[^xyz]
Alfanumerik (0-9A-Za-z)	[[:alnum:]]
Alfabetis (A-Za-z)	[[:alpha:]]
Digit (0-9)	[[:digit:]]
Huruf kecil (a-z)	[[:lower:]]
Huruf besar (A-Z)	[[:upper:]]
Karakter kata (0-9A-Za-z_)	[[:word:]]
Digit heksadesimal (0-9A-Fa-f)	[[:xdigit:]]
Simbol tanda tanya (?)	Mencocokkan nol atau satu kemunculan elemen sebelumnya.
Tanda bintang (*)	Mencocokkan nol atau lebih kemunculan karakter atau grup sebelumnya.
Tanda plus (+)	Mencocokkan satu atau beberapa kemunculan karakter atau grup sebelumnya.

Contoh berikut menggambarkan cara Anda dapat menggunakan ekspresi reguler untuk menelusuri data:

• goo.le\.com—Mencocokkan string apa pun yang diawali dengan goo, diikuti dengan satu karakter apa pun, diikuti dengan le.com, seperti google.com atau goo0le.com.
• goo\w{3}\.com—Mencocokkan string yang diawali dengan goo, diikuti dengan tepat tiga karakter kata (\w), dan diakhiri dengan .com. Contohnya meliputi google.com, goojle.com, atau goodle.com.
• [[:digit:]]\.[[:alpha:]]—mencocokkan string yang memiliki satu digit, diikuti dengan titik (.), diikuti dengan satu karakter alfabet, seperti 34323.system, 23458.office, atau 897.net.

Contoh ekspresi reguler untuk menelusuri log Windows

Bagian ini menyediakan string kueri ekspresi reguler yang dapat Anda gunakan dengan Penelusuran Log Mentah Google SecOps untuk menemukan peristiwa Windows yang umum dipantau. Contoh ini mengasumsikan bahwa pesan log Windows dalam format JSON.

Untuk mengetahui informasi selengkapnya tentang ID Peristiwa Windows yang umum dipantau, lihat Peristiwa yang Harus Dipantau. Contoh yang diberikan mengikuti pola serupa, yang dijelaskan dalam kasus penggunaan ini.

Kasus Penggunaan: Menampilkan peristiwa dengan EventID 1150
String ekspresi reguler:	\"EventID\"\:\s*1150
Nilai yang Cocok:	"EventID":1150

Kasus Penggunaan:Menampilkan peristiwa dengan ID Peristiwa yang berupa 1150 atau 1151
String ekspresi reguler	(?:\"EventID\"\:\s*)(?:1150|1151)
Nilai yang Cocok	"EventID":1150 dan "EventID":1151

Kasus Penggunaan: Menampilkan peristiwa dengan ID Peristiwa 1150 atau 1151, dan dengan ThreadID 9092
String ekspresi reguler	(?:\"EventID\"\:\s*)(?:1150|1151).*(?:\"ThreadID\"\:\s*9092)
Nilai yang Cocok	"EventID":1150 <...any number of characters...> "ThreadID":9092 dan "EventID":1151 <...any number of characters...> "ThreadID":9092

Menemukan peristiwa pengelolaan akun

String kueri ekspresi reguler ini mengidentifikasi peristiwa pengelolaan akun umum menggunakan atribut EventID.

Jenis Acara	Ekspresi Reguler
Akun Pengguna Dibuat	"EventID\"\:\s*4720
Akun Pengguna Diaktifkan	"EventID\"\:\s*4722
Akun Pengguna Dinonaktifkan	"EventID\"\:\s*4725
Akun Pengguna Dihapus	"EventID\"\:\s*4726
Modifikasi Hak Pengguna	"EventID\"\:\s*4703
Anggota Ditambahkan ke Grup Global yang Diaktifkan Keamanannya	"EventID\"\:\s*4728
Anggota Dihapus dari Grup Global yang Diaktifkan Keamanannya	"EventID\"\:\s*4729
Grup Global yang Diaktifkan Keamanannya Dihapus	"EventID\"\:\s*4730

Menemukan peristiwa keberhasilan login

String kueri ekspresi reguler ini mengidentifikasi jenis peristiwa login yang berhasil menggunakan atribut EventID dan LogonType.

Jenis Acara	Ekspresi Reguler
Login Berhasil	"EventID\"\:\s*4624
Login Berhasil - Interaktif (LogonType=2)	"EventID\"\:\s*4624.*?LogonType\"\:\s*\"2\"
Login Berhasil - Login Batch (LogonType=4)	"EventID\"\:\s*4624.*?LogonType\"\:\s*\"4\"
Login Berhasil - Login Layanan (LogonType=5)	"EventID\"\:\s*4624.*?LogonType\"\:\s*\"5\"
Login Berhasil - Login RemoteInteractive (LogonType=10)	"EventID\"\:\s*4624.*?LogonType\"\:\s*\"10\"
Login Berhasil - Interaktif, Batch, Layanan, atau RemoteInteractive	(?:"EventID\"\:\s*4624.*?LogonType\"\:\s*\")(?:2|4|5|10)\"

Menemukan peristiwa kegagalan login

String kueri ekspresi reguler ini mengidentifikasi jenis peristiwa gagal login menggunakan atribut EventID dan LogonType.

Jenis Acara	Ekspresi Reguler
Kegagalan Login	"EventID\"\:\s*4625
Kegagalan Login - Interaktif (LogonType=2)	"EventID\"\:\s*4625.*?LogonType\"\:\s*\"2\"
Kegagalan Login - Login Batch (LogonType=4)	"EventID\"\:\s*4625.*?LogonType\"\:\s*\"4\"
Kegagalan Login - Login Layanan (LogonType=5)	"EventID\"\:\s*4625.*?LogonType\"\:\s*\"5\"
Kegagalan Login - Login RemoteInteractive (LogonType=10)	"EventID\"\:\s*4625.*?LogonType\"\:\s*\"10\"
Kegagalan Login - Interaktif, Batch, Layanan, atau RemoteInteractive	(?:"EventID\"\:\s*4625.*LogonType\"\:\s*\")(?:2|4|5|10)\"

Menemukan peristiwa proses, layanan, dan tugas

String kueri ekspresi reguler ini mengidentifikasi peristiwa proses dan layanan tertentu menggunakan atribut EventID.

Jenis Acara	Ekspresi Reguler
Mulai Proses	"EventID\"\:\s*4688
Keluar dari Proses	"EventID\"\:\s*4689
Layanan Diinstal	"EventID\"\:\s*4697
Layanan Baru Dibuat	"EventID\"\:\s*7045
Tugas Terjadwal Dibuat	"EventID\"\:\s*4698

Menemukan peristiwa terkait akses objek

String kueri ekspresi reguler ini mengidentifikasi berbagai jenis peristiwa terkait proses dan layanan menggunakan atribut EventID.

Jenis Acara	Ekspresi Reguler
Log Audit Dihapus	"EventID\"\:\s*1102
Upaya Akses Objek	"EventID\"\:\s*4663
Berbagi Akses	"EventID\"\:\s*5140

Pemecahan masalah

Gunakan tabel berikut untuk menyelesaikan masalah umum penelusuran log mentah:

Masalah	Deskripsi	Perbaiki
Jumlah hasil yang tidak konsisten di berbagai penelusuran	Melakukan kueri di beberapa sumber log (Semua) akan menampilkan jumlah total hasil yang bervariasi dibandingkan dengan kueri satu sumber untuk log yang baru di-ingest karena batas 1.000 hasil pada batch besar (batch dengan 1.000 atau lebih peristiwa) dalam penyimpanan batch dan pengambilan sampel terdistribusi.	Pilih sumber log tertentu dari menu Sumber Log atau filter menggunakan log_source = IN["LOG_SOURCE_NAME"], dan persempit rentang waktu penelusuran.
Hasil yang dipangkas atau diambil sampelnya (batas 10.000 hasil tercapai)	Kueri penelusuran cocok dengan lebih dari 10.000 total log di seluruh UI, ekspor CSV, atau SearchRawLogs API (page_size), yang hanya menampilkan sampel 10.000 hasil.	Perpendek jangka waktu kueri (misalnya, menjadi 1 jam) dan tambahkan ekspresi reguler RE2 atau parsed = false filter tertentu.
Perbedaan audit penyerapan volumetrik	Jumlah hasil penelusuran log mentah tidak cocok dengan total volume log yang di-ingest karena batas batch dan shard pelindung diterapkan sebelum pemfilteran dalam memori.	Gunakan UDM Search, Statistik dan agregasi di UDM Search, atau metrik kesehatan penyerapan untuk memverifikasi kelengkapan penyerapan dan kesamaan volumetrik.
Kueri melebihi batas karakter	String penelusuran melebihi batas 150 karakter untuk kueri log mentah.	Sederhanakan ekspresi reguler atau bagi investigasi menjadi kueri yang lebih kecil dan terpisah yang menargetkan setiap sumber log.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.