Mengoptimalkan volume penyerapan

Didukung di:

Google SecOps SIEM

Perhatian: Meskipun dokumen ini membahas berbagai metode penyerapan, perhatikan bahwa Ingestion API tidak digunakan lagi dan akan dihentikan pada 20 Juli 2027. Untuk menyerap log ke Google SecOps, gunakan Chronicle API. Untuk mengetahui detail cara bermigrasi, lihat Bermigrasi dari SIEM API lama ke Chronicle API.

Panduan ini menjelaskan cara mengoptimalkan volume penyerapan dengan berfokus pada konfigurasi pipeline pemrosesan data Google Security Operations. Kemampuan ini menyediakan cara terpadu untuk memfilter, mentransformasi, dan menyamarkan data sebelum diserap sepenuhnya, terlepas dari sumbernya. Metode ini meningkatkan kualitas data dan efisiensi deteksi ancaman.

Panduan ini ditujukan untuk engineer keamanan, analis Google SecOps, dan administrator cloud yang mengelola penyerapan log ke Google SecOps.

Memasukkan volume log yang besar dan tidak difilter dapat membebani anggaran dan sumber daya Anda. Hal ini menyebabkan peningkatan biaya, kemampuan penelusuran dan analisis yang lebih lambat, serta peluang yang lebih tinggi bagi analis keamanan untuk melewatkan pemberitahuan penting di tengah banjir data yang tidak relevan. Pemfilteran yang efektif sangat penting untuk deployment Google SecOps yang hemat biaya dan efisien.

Sebelum memulai

Pastikan Anda memiliki atau melakukan hal berikut:

• Peran Identity and Access Management (IAM): Peran Admin Chronicle API yang telah ditetapkan (roles/chronicle.admin) atau peran khusus yang berisi salah satu izin berikut:
  • chronicle.logProcessingPipelines.*
  • chronicle.logTypes.get
  • chronicle.logTypes.list
  • chronicle.feeds.get
  • chronicle.feeds.list
  • chronicle.logs.list
• Versi Bindplane: Anda memerlukan konsol Bindplane Server versi 1.96.4 atau yang lebih baru.
• Untuk Bindplane Cloud, Workload Identity Federation (WIF) didukung untuk autentikasi. Deployment Bindplane yang dihosting sendiri memerlukan kredensial kunci JSON Akun Layanan.
• Akses ke Bindplane Management Console atau Google SecOps Data Pipeline API untuk mengonfigurasi node pemroses.
• Identifikasi kolom, jenis log, dan kondisi yang tepat yang diperlukan untuk mengonfigurasi pemroses Filter, Transformasi, dan Samarkan untuk pengurangan volume.
• Tentukan input aliran pipeline dengan mencocokkan jenis log, ID kolektor (untuk sumber Bindplane), atau nama feed (untuk feed data) tertentu yang terkait dengan metode penyerapan Anda.
• Jika Anda menyerap Google Cloud log, tentukan filter ekspor Logging yang diperlukan untuk menerapkan pemfilteran upstream guna menghemat biaya secara maksimal sebelum data mencapai pipeline SecOps.
• Memahami data log Anda:
  • Identifikasi log bervolume tinggi atau bernilai rendah: Analisis metrik penyerapan Anda saat ini untuk menentukan jenis dan sumber log yang paling berkontribusi terhadap volume dan biaya. Untuk mengetahui informasi selengkapnya, lihat Ringkasan metrik penyerapan.
  • Tentukan kriteria pemfilteran: Tentukan kolom, nilai, pola (regex), atau kondisi tertentu yang secara andal mengidentifikasi log yang akan dihapus, diubah, atau disamarkan.
  • Ketahui metode penyerapan Anda: Pahami cara setiap sumber log target diserap (Langsung, Bindplane, Feed, API) karena hal ini memengaruhi cara Anda mengonfigurasi aliran pipeline.

Terminologi utama

• Pipeline pemrosesan data: Kemampuan yang digunakan untuk memfilter, mengubah, dan menyamarkan data log saat data tiba, sebelum data disimpan dan diindeks.
• Filter/pemfilteran: Kemampuan utama untuk pengoptimalan volume, yang menentukan kondisi untuk menghapus peristiwa yang tidak diperlukan untuk analisis keamanan secara selektif.
• Transform: Kemampuan yang digunakan untuk mengubah format log agar lebih mudah digunakan, seperti menghapus nama domain yang sepenuhnya memenuhi syarat (FQDN) atau menghapus kolom panjang dalam peristiwa.
• Redact: Kemampuan untuk menyamarkan atau menghapus sepenuhnya informasi sensitif dari log sebelum disimpan, sehingga membantu kepatuhan dan privasi.
• Agen Bindplane: Metode penyerapan untuk log yang dikumpulkan dari sistem lokal atau sistem cloud lainnya.
• Feed: Metode penyerapan untuk data yang diambil dari sumber, seperti Cloud Storage, Amazon S3, atau API pihak ketiga.
• Ingestion API: Metode untuk mengirim data log kustom, yang memungkinkan pemfilteran sisi server menggunakan pipeline pemrosesan data.
• Pemfilteran upstream: Praktik terbaik yang direkomendasikan untuk memfilter Google Cloud log di sumber menggunakan filter ekspor Logging untuk penghematan biaya yang optimal.
• Aliran: Aliran data tertentu, yang ditentukan oleh jenis log dan sumber penyerapan (seperti feed atau API), yang berfungsi sebagai input ke pipeline pemrosesan data.
• Node pemroses: Komponen dalam pipeline yang berisi satu atau beberapa pemroses (tindakan memfilter, mengubah, atau menyamarkan) yang memanipulasi data secara berurutan.
• Tujuan: Endpoint pipeline pemrosesan data, biasanya instance Google SecOps tempat data yang diproses dikirim untuk penyerapan dan analisis akhir.

Menggunakan pipeline pemrosesan data untuk pengoptimalan

Pipeline pemrosesan data di Google SecOps menawarkan kontrol pra-penguraian yang andal atas proses penyerapan data Anda. Dengan fitur ini, Anda dapat menentukan aturan dan tindakan yang diterapkan ke log saat log masuk, sebelum disimpan dan diindeks. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan dan mengelola pipeline pemrosesan data.

Catatan: Fitur pemrosesan data hanya tersedia untuk paket Google SecOps Enterprise dan Enterprise Plus.

Kemampuan Utama

• Filter: Ini adalah fokus utama untuk pengoptimalan volume. Anda dapat menentukan kondisi, menggunakan konten log mentah, atribut, atau ekspresi reguler, untuk menghapus peristiwa yang tidak diperlukan untuk analisis keamanan secara selektif. Hal ini penting untuk mengurangi gangguan dan biaya.
• Ubah: Ubah format log agar lebih mudah digunakan atau untuk menghapus data yang tidak perlu dalam peristiwa. Contohnya termasuk menghapus FQDN dari nama host, mengurai dan merestrukturisasi payload JSON, atau menghapus kolom yang panjang, tetapi tidak relevan.
• Menyamarkan: Menyamarkan atau menghapus sepenuhnya informasi sensitif, seperti Informasi Identitas Pribadi (PII), dari log sebelum disimpan, sehingga membantu memenuhi persyaratan kepatuhan dan privasi.

Penerapan universal

Keunggulan utama pipeline pemrosesan data adalah dapat diterapkan ke data dari metode penyerapan apa pun. Hal ini memberikan lapisan pemfilteran yang konsisten untuk:

• Google Cloud log bawaan
• Log yang dikumpulkan menggunakan agen Bindplane
• Data yang dimasukkan melalui Feed
• Log kustom yang dikirim melalui Ingestion API

Untuk mengetahui informasi selengkapnya, lihat bagian Strategi pemfilteran khusus metode dalam panduan ini.

Menerapkan pemfilteran dengan pipeline pemrosesan data

Langkah 1: Siapkan pipeline Anda

Anda dapat mengonfigurasi dan mengelola pipeline pemrosesan data melalui Konsol Pengelolaan Bindplane atau menggunakan Google SecOps Data Pipeline API publik. Dengan pipeline, Anda dapat menentukan aliran data (input), mengonfigurasi node pemroses (Filter, Transform, Redact), dan mengelola deployment pipeline.

Untuk petunjuk penyiapan yang komprehensif, lihat Menyiapkan dan mengelola pipeline pemrosesan data.

Langkah 2: Konfigurasi pemroses untuk pemfilteran

Dalam pipeline, Anda dapat menambahkan pemroses ke node. Untuk mengurangi volume, Anda harus menggunakan pemroses Filter. Anda dapat mengonfigurasi pemroses ini untuk menghapus log berdasarkan kondisi atau ekspresi reguler. Anda mengonfigurasi kondisi dan pernyataan pipeline kustom menggunakan sintaksis OTTL (OpenTelemetry Transformation Language).

• Kondisi: Mengevaluasi kolom atau atribut dalam data log.
• Ekspresi reguler: Mencocokkan pola dalam pesan log mentah.
• Contoh OTTL: Contoh pernyataannya adalah set(attributes["labels.myLabel.value"], "myValue").

Meskipun pemfilteran sangat penting, Anda juga dapat mempertimbangkan penggunaan pemroses Transformasi untuk menghapus kolom besar yang tidak perlu dari log yang Anda simpan, dan menggunakan pemroses Redaksi untuk membatalkan data sensitif.

Langkah 3: Strategi pemfilteran khusus metode

Bagian berikut menjelaskan cara melakukan pemfilteran dengan pipeline pemrosesan data untuk setiap jenis penyerapan utama.

Google Cloud log

• Pemfilteran upstream (praktik terbaik yang direkomendasikan): Untuk penghematan biaya yang optimal, Google merekomendasikan pemfilteran Google Cloud log di sumber menggunakan filter ekspor Cloud Logging. Tindakan ini mencegah log yang tidak diinginkan dikirim ke Google SecOps sejak awal. Anda dapat menggunakan pipeline pemrosesan data untuk pemfilteran tambahan jika diperlukan. Untuk mengetahui informasi selengkapnya, lihat Panduan menyerap Google Cloud data, khususnya bagian Menyesuaikan setelan filter ekspor.

• Aplikasi pipeline: Konfigurasikan pipeline pemrosesan data, pilih Google Cloud jenis log dan metode penyerapan yang sesuai, baik Langsung atau Cloud Native. Tentukan pemroses filter untuk menghapus log yang tidak diinginkan berdasarkan konten.

Agen Bindplane

Log yang dikumpulkan oleh agen Bindplane, dari sistem lokal atau sistem cloud lainnya, dapat difilter menggunakan pipeline pemrosesan data. Konfigurasi aliran data agar sesuai dengan jenis log dan ID kolektor yang terkait dengan sumber Bindplane Anda. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Bindplane dengan Google SecOps.

Feed Data

Untuk data yang diserap menggunakan Feed (misalnya, dari Cloud Storage, Amazon S3, atau API pihak ketiga), Anda dapat menerapkan filter pipeline pemrosesan data dengan memilih nama feed dan jenis log saat mengonfigurasi aliran pipeline. Untuk mengetahui informasi selengkapnya, lihat panduan Menggunakan feed.

Metode penyerapan Chronicle API

Jika Anda mengirim data menggunakan metode penyerapan Chronicle API, Anda masih dapat memanfaatkan pipeline pemrosesan data. Konfigurasi aliran pipeline agar sesuai dengan jenis log yang Anda gunakan dalam panggilan API. Hal ini memungkinkan pemfilteran sisi server untuk aliran log kustom Anda. Untuk mengetahui informasi selengkapnya, lihat panduan Metode penyerapan Chronicle API.

Catatan: Untuk aliran bervolume rendah yang menggunakan metode penyerapan Chronicle API, waktu konfirmasi dapat meningkat dari 700 md menjadi 2 detik karena buffering dalam memori. Waktu konfirmasi akan kembali normal setelah throughput data melebihi 4 MB.

Praktik Terbaik

• Filter di upstream jika memungkinkan: Seperti yang disebutkan untuk Google Cloud, selalu filter log sedekat mungkin dengan sumbernya. Ini adalah pendekatan yang paling hemat biaya karena mengurangi overhead transfer dan pemrosesan data.
• Spesifik: Mulailah dengan filter yang sempit dan terdefinisi dengan baik untuk mengecualikan log bervolume tinggi dan bernilai rendah yang diketahui. Hindari filter yang terlalu luas yang dapat secara tidak sengaja menghilangkan data yang berguna.
• Lakukan iterasi dan penyempurnaan: Tinjau efektivitas filter Anda secara rutin. Apakah mereka menangkap peristiwa yang tepat? Apakah ada derau baru yang perlu difilter?
• Mendokumentasikan filter Anda: Simpan catatan tentang filter yang diterapkan dan alasannya, terutama untuk ekspresi reguler atau logika bersyarat yang kompleks.

Verifikasi & pengujian

• Pengujian: Anda harus menguji filter di lingkungan non-produksi atau dengan subset kecil data terlebih dahulu.
• Validasi filter: Gunakan fitur pengujian dalam editor pipeline Bindplane Console. Dengan begitu, Anda dapat memasukkan contoh log dan melihat output setelah pemroses diterapkan, sehingga mengonfirmasi bahwa filter Anda berfungsi seperti yang diharapkan.
• Pantau penyerapan: Setelah men-deploy pipeline, pantau dasbor penyerapan Anda di Google SecOps untuk mengamati dampak pada volume dan biaya data. Untuk mengetahui informasi selengkapnya, lihat Ringkasan metrik penyerapan.
• Melihat Konfigurasi: Anda dapat melihat semua konfigurasi di UI Google SecOps di bagian Setelan SIEM > Pemrosesan Data.
• Pengelolaan Eksternal: Anda dapat menelusuri konfigurasi dan mengklik "Open in Bindplane" untuk langsung membuka konsol Bindplane guna pengelolaan lanjutan.

Batasan

• Batasan layanan: Regex yang terlalu rumit atau sejumlah besar pemroses per pipeline dapat memengaruhi performa atau tunduk pada batasan. Anda harus memeriksa batas Google SecOps di Batas layanan.
• Paket Google SecOps: Pastikan Anda mengetahui fitur dan kemampuan dalam paket Google SecOps Anda. Untuk mengetahui informasi selengkapnya, lihat paket Google SecOps.
• Dapat digunakan kembali: Meskipun efektif, konfigurasi pipeline untuk satu jenis atau sumber log mungkin tidak dapat langsung digunakan kembali untuk jenis atau sumber log lain tanpa penyesuaian.
• Prosesor Maksimum: Tentukan maksimum 10 prosesor per pipeline.
• Performa Regex: Hindari pencocokan ekspresi reguler yang berlebihan, karena dapat menyebabkan pembuatan atau deployment pipeline gagal karena waktu tunggu habis. Sebaiknya uraikan data ke JSON dan filter berdasarkan kolom tertentu.
• Batasan Pengaitan Aliran Data: Meskipun pipeline yang berbeda dapat dibuat untuk feed yang berbeda dari jenis log yang sama, definisi aliran data yang sama persis (misalnya, feed yang sama, atau catch-all jenis log yang sama) tidak dapat dikaitkan dengan lebih dari satu pipeline aktif. Menetapkan jenis log ke All Ingestion Methods akan berfungsi sebagai penangkap semua dan mencegah konfigurasi pipeline lain untuk feed tertentu dari jenis log tersebut.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.