Memahami ketersediaan data untuk penelusuran

Didukung di:

Dokumen ini menjelaskan siklus proses penyerapan data, termasuk alur dan latensi data end-to-end, serta bagaimana faktor-faktor ini memengaruhi ketersediaan data yang baru diserap untuk kueri dan analisis.

Menyerap dan memproses data di Google Security Operations

Bagian ini menjelaskan cara Google SecOps menyerap, memproses, dan menganalisis data keamanan.

Penyerapan data

Pipeline penyerapan data dimulai dengan mengumpulkan data keamanan mentah Anda dari sumber seperti:

  • Log keamanan dari sistem internal Anda
  • Data yang disimpan di Cloud Storage
  • Pusat Operasi Keamanan (SOC) dan sistem internal lainnya

Google SecOps membawa data ini ke platform menggunakan salah satu metode penyerapan datanya yang aman.

Metode penyerapan utama adalah:

  • Penyerapan Google Cloud langsung

    Google SecOps menggunakan penyerapan langsung Google Cloud untuk otomatis menarik data log dan telemetri dari Google Cloudorganisasi Anda, termasuk Cloud Logging, metadata Cloud Asset Inventory, dan temuan Security Command Center Premium.

  • API Penyerapan

    Kirim data langsung ke Google SecOps menggunakan API Penyerapan REST publiknya. Anda menggunakan metode ini untuk integrasi kustom atau untuk mengirim data sebagai log tidak terstruktur atau peristiwa Model Data Terpadu (UDM) yang telah diformat sebelumnya.

  • Agen Bindplane

    Anda dapat men-deploy agen Bindplane yang serbaguna di lingkungan Anda (secara lokal atau di cloud lain) untuk mengumpulkan log dari berbagai sumber dan meneruskannya ke Google SecOps.

  • Feed data

    Di Google SecOps, Anda mengonfigurasi feed data untuk menarik log dari sumber pihak ketiga, seperti bucket penyimpanan cloud pihak ketiga tertentu (seperti Amazon S3) atau API pihak ketiga (seperti Okta atau Microsoft 365).

Normalisasi dan pengayaan data

Setelah data tiba di Google SecOps, platform akan memprosesnya melalui tahap berikut:

  1. Penguraian dan normalisasi

    Data log mentah pertama-tama diproses oleh parser untuk memvalidasi, mengekstrak, dan mentransformasi data dari format aslinya ke UDM standar. Penguraian dan normalisasi memungkinkan Anda menganalisis sumber data yang berbeda-beda (misalnya, log firewall, data endpoint, log cloud) menggunakan satu skema yang konsisten. Log mentah asli tetap disimpan bersama peristiwa UDM.

  2. Pengindeksan

    Setelah normalisasi, Google SecOps mengindeks data UDM untuk memberikan kecepatan kueri yang cepat di seluruh set data yang sangat besar, sehingga peristiwa UDM dapat ditelusuri. Layanan ini juga mengindeks log mentah asli untuk penelusuran "log mentah".

  3. Pengayaan data

    Google SecOps memperkaya data Anda dengan konteks berharga sebagai berikut:

    • Konteks entity (pembuatan alias): Pembuatan alias memperkaya rekaman log UDM dengan mengidentifikasi dan menambahkan data dan indikator konteks untuk entity log. Misalnya, fitur ini menghubungkan nama login pengguna ke berbagai alamat IP, nama host, dan alamat MAC-nya, sehingga membuat "grafik entitas" gabungan.
    • Intelijen ancaman: Data secara otomatis dibandingkan dengan intelijen ancaman Google yang luas, termasuk sumber seperti VirusTotal dan Safe Browsing, untuk mengidentifikasi domain, IP, hash file, dan lainnya yang diketahui berbahaya.
    • Geolokasi: Alamat IP dilengkapi dengan data geolokasi.
    • WHOIS: Nama domain dilengkapi dengan informasi WHOIS pendaftaran publiknya.

Ketersediaan data untuk analisis

Setelah diproses dan diperkaya, data UDM segera tersedia untuk dianalisis:

  • Deteksi real-time

    Mesin Deteksi secara otomatis menjalankan aturan kustom dan buatan Google yang mendukung Aturan Aktif terhadap data masuk langsung untuk mengidentifikasi ancaman dan membuat pemberitahuan.

  • Penelusuran dan investigasi

    Analis dapat menggunakan Metode penelusuran untuk menelusuri semua data yang dinormalisasi dan diperkaya ini. Misalnya, menggunakan penelusuran UDM untuk melakukan analisis pivot antara entitas terkait (seperti user, ke asset, ke domain berbahaya), dan menyelidiki pemberitahuan.

Metode penelusuran

Google SecOps menyediakan beberapa metode berbeda untuk menelusuri data Anda, yang masing-masing memiliki tujuan yang berbeda.

Penelusuran UDM adalah metode penelusuran utama dan tercepat, yang digunakan untuk sebagian besar penyelidikan.

  • Yang ditelusuri: Kueri ini menelusuri peristiwa UDM yang dinormalisasi dan diindeks. Karena semua data diuraikan ke dalam format standar ini, Anda dapat menulis satu kueri untuk menemukan aktivitas yang sama (seperti login) di semua produk Anda yang berbeda (misalnya, Windows, Okta, Linux).
  • Cara kerjanya: Anda menggunakan sintaksis tertentu untuk membuat kueri kolom, operator, dan nilai.
  • Contoh: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

Gunakan Penelusuran log mentah untuk menemukan sesuatu dalam pesan log asli yang tidak diuraikan yang mungkin belum dipetakan ke kolom UDM.

  • Yang ditelusuri: Alat ini memindai teks mentah asli log sebelum log diuraikan dan dinormalisasi. Hal ini berguna untuk menemukan string tertentu, argumen command line, atau artefak lain yang bukan kolom UDM yang diindeks.
  • Cara kerjanya: Anda menggunakan awalan raw =. Penelusuran ini bisa lebih lambat daripada penelusuran UDM karena tidak menelusuri kolom yang diindeks.
  • Contoh (String): raw = "PsExec.exe"
  • Contoh (Regex): raw = /admin\$/

Penelusuran bahasa alami (Gemini)

Penelusuran bahasa alami (Gemini) memungkinkan Anda menggunakan bahasa Inggris sederhana untuk mengajukan pertanyaan, yang kemudian diterjemahkan Gemini menjadi kueri UDM formal.

  • Yang ditelusuri: Memberikan antarmuka percakapan untuk mengkueri data UDM.
  • Cara kerjanya: Anda mengetik pertanyaan, dan Gemini akan membuat kueri penelusuran UDM yang mendasarinya untuk Anda, yang kemudian dapat Anda jalankan atau perbaiki.
  • Contoh: "Tampilkan semua login yang gagal dari pengguna 'bob' dalam 24 jam terakhir"

Penelusuran SOAR khusus untuk komponen SOAR. Anda menggunakannya untuk mengelola insiden keamanan, bukan untuk mencari di log.

  • Yang ditelusuri: Alat ini menelusuri Kasus dan Entitas (seperti pengguna, aset, IP) dalam platform SOAR.
  • Cara kerjanya: Anda dapat menggunakan filter berbasis kolom atau teks bebas untuk menemukan kasus berdasarkan, misalnya, ID, nama notifikasi, status, dan pengguna yang ditetapkan.
  • Contoh: Telusuri CaseIds:180 atau AlertName:Brute Force

Pipeline penyerapan data untuk menelusuri ketersediaan

Sistem memproses data yang baru diserap melalui beberapa langkah. Durasi langkah-langkah ini menentukan kapan data yang baru di-ingest tersedia untuk kueri dan analisis.

Tabel berikut menguraikan langkah-langkah pemrosesan untuk data yang baru di-ingest menurut metode penelusuran. Data yang baru diserap dapat ditelusuri setelah langkah-langkah ini selesai.

Metode penelusuran Data yang ditelusuri Langkah-langkah pemrosesan yang berkontribusi pada waktu ketersediaan
Peristiwa UDM yang dinormalisasi & diperkaya
  1. Penyerapan: Log tiba di titik penyerapan Google SecOps.
  2. Penguraian: Log mentah diidentifikasi dan diproses oleh parser tertentu.
  3. Normalisasi: Data diekstrak dan dipetakan ke skema UDM.
  4. Pengindeksan (UDM): Data UDM yang dinormalisasi diindeks untuk penelusuran terstruktur yang cepat.
  5. Pengayaan: Konteks (intelijen ancaman, geolokasi, data pengguna atau aset) ditambahkan.
Penelusuran log mentah Teks log asli yang tidak diuraikan
  1. Penyerapan: Log tiba di titik penyerapan Google SecOps.
  2. Pengindeksan (Mentah): String teks asli log diindeks.
Penelusuran SOAR Kasus dan entitas Siklus proses ini berbeda, karena menelusuri notifikasi dan kasus, bukan log. Waktu didasarkan pada:
  1. Ketersediaan peristiwa UDM: Menggunakan langkah-langkah pemrosesan yang sama yang tercantum untuk "Penelusuran UDM".
  2. Deteksi: Aturan Mesin Deteksi harus cocok dengan peristiwa UDM.
  3. Pembuatan pemberitahuan: Sistem membuat pemberitahuan formal dari deteksi.
  4. Pembuatan kasus: Platform SOAR menyerap pemberitahuan dan membuat kasus.

Contoh aliran data

Contoh berikut menunjukkan cara Google SecOps menyerap, memproses, meningkatkan kualitas, dan menganalisis data keamanan Anda, sehingga data tersebut tersedia untuk penelusuran dan analisis lebih lanjut.

Contoh langkah-langkah pemrosesan data

  1. Mengambil data keamanan dari layanan cloud seperti Amazon S3 atau dari Google Cloud. Google SecOps mengenkripsi data ini saat dalam pengiriman.
  2. Memisahkan dan menyimpan data keamanan terenkripsi Anda di akun Anda. Akses terbatas untuk Anda dan sejumlah kecil personel Google untuk dukungan, pengembangan, dan pemeliharaan produk.
  3. Mengurai dan memvalidasi data keamanan mentah, sehingga lebih mudah diproses dan dilihat.
  4. Menormalisasi dan mengindeks data untuk penelusuran cepat.
  5. Menyimpan data yang diuraikan dan diindeks dalam akun Anda.
  6. Memperkaya dengan data konteks.
  7. Menawarkan akses yang aman bagi pengguna untuk menelusuri dan meninjau data keamanan mereka.
  8. Membandingkan data keamanan Anda dengan database malware VirusTotal untuk mengidentifikasi kecocokan. Di tampilan peristiwa Google SecOps, seperti tampilan Aset, klik Konteks VT untuk melihat informasi VirusTotal. Google SecOps tidak membagikan data keamanan Anda kepada VirusTotal.

Alur dan pemrosesan data ke Google SecOps

Contoh perkiraan waktu hingga ketersediaan Penelusuran

Perkiraan waktu hingga data yang baru di-ingest tersedia untuk Penelusuran adalah jumlah durasi alur di sepanjang alur data.

Misalnya, waktu rata-rata yang biasanya diperlukan agar data tersedia di penelusuran UDM adalah sekitar 5 menit 30 detik sejak data dikirim ke layanan penyerapan Google SecOps.

Langkah alur data Deskripsi Durasi aliran
Cloud Storage ke Log mentah Menyerap log mentah dari Cloud Storage. Kurang dari 30 detik
Log keamanan ke Layanan penerusan data Mengirimkan log keamanan dari sistem internal ke platform. T/A
Layanan penerusan data ke Log mentah Mengirim data keamanan mentah yang diterima dari berbagai sumber ke pipeline penyerapan. Kurang dari 30 detik
Log mentah untuk Mengurai dan memvalidasi Mengurai dan memvalidasi log mentah ke dalam format UDM. Kurang dari 3 menit
Parse and validate ke Index Mengindeks data UDM yang diuraikan untuk penelusuran cepat. T/A
Indeks ke Data pelanggan yang diuraikan Menyediakan data terindeks sebagai data pelanggan yang diuraikan untuk dianalisis. Kurang dari 2 menit

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.