Mengoptimalkan volume penyerapan

Perhatian: Meskipun dokumen ini membahas berbagai metode penyerapan, perhatikan bahwa Ingestion API tidak digunakan lagi dan akan dihentikan pada 20 Juli 2027. Untuk menyerap log ke Google SecOps, gunakan Chronicle API. Untuk mengetahui detail cara bermigrasi, lihat Bermigrasi dari SIEM API lama ke Chronicle API.

Panduan ini menjelaskan cara mengoptimalkan volume penyerapan dengan berfokus pada konfigurasi pipeline pemrosesan data Google Security Operations. Kemampuan ini menyediakan cara terpadu untuk memfilter, mengubah, dan menyamarkan data sebelum sepenuhnya diserap, terlepas dari sumbernya. Metode ini meningkatkan kualitas data dan efisiensi deteksi ancaman.

Panduan ini ditujukan untuk engineer keamanan, analis Google SecOps, dan administrator cloud yang mengelola penyerapan log ke Google SecOps.

Menyerap log dalam volume besar yang tidak difilter dapat membebani anggaran dan resource Anda. Hal ini menyebabkan peningkatan biaya, kemampuan penelusuran dan analisis yang lebih lambat, serta peluang yang lebih tinggi bagi analis keamanan untuk melewatkan pemberitahuan penting di tengah banjir data yang tidak relevan. Pemfilteran yang efektif sangat penting untuk deployment Google SecOps yang hemat biaya dan efisien.

Sebelum memulai

Pastikan Anda memiliki atau melakukan hal berikut:

• Peran Identity and Access Management (IAM): Peran Admin Chronicle API yang telah ditetapkan (roles/chronicle.admin) atau peran kustom yang berisi salah satu izin berikut:
  • chronicle.logProcessingPipelines.*
  • chronicle.logTypes.get
  • chronicle.logTypes.list
  • chronicle.feeds.get
  • chronicle.feeds.list
  • chronicle.logs.list
• Versi Bindplane: Anda memerlukan konsol Bindplane Server versi 1.96.4 atau yang lebih baru.
• Untuk Bindplane Cloud, Workload Identity Federation (WIF) didukung untuk autentikasi. Deployment Bindplane yang dihosting sendiri memerlukan kredensial kunci JSON Akun Layanan.
• Akses ke Konsol Pengelolaan Bindplane atau Google SecOps Data Pipeline API untuk mengonfigurasi node pemroses.
• Identifikasi kolom, jenis log, dan kondisi yang tepat yang diperlukan untuk mengonfigurasi pemroses Filter, Ubah, dan Samarkan untuk pengurangan volume.
• Tentukan input aliran pipeline dengan mencocokkan jenis log tertentu, ID pengumpul (untuk sumber Bindplane), atau nama feed (untuk feed data) yang terkait dengan metode penyerapan Anda.
• Jika Anda menyerap Google Cloud log, tentukan filter ekspor Logging yang diperlukan untuk menerapkan pemfilteran upstream guna menghemat biaya secara maksimal sebelum data mencapai pipeline SecOps.
• Pahami data log Anda:
  • Identifikasi log bervolume tinggi atau bernilai rendah: Analisis metrik penyerapan Anda saat ini untuk menentukan jenis dan sumber log mana yang paling berkontribusi terhadap volume dan biaya. Untuk mengetahui informasi selengkapnya, lihat Ringkasan metrik penyerapan.
  • Tentukan kriteria pemfilteran: Tentukan kolom, nilai, pola (regex), atau kondisi tertentu yang secara andal mengidentifikasi log yang akan dihilangkan, diubah, atau disamarkan.
  • Ketahui metode penyerapan Anda: Pahami cara setiap sumber log target diserap (Langsung, Bindplane, Feed, API) karena hal ini memengaruhi cara Anda mengonfigurasi aliran pipeline.

Terminologi utama

• Pipeline pemrosesan data: Kemampuan yang digunakan untuk memfilter, mengubah, dan menyamarkan data log saat data tersebut tiba, sebelum disimpan dan diindeks.
• Filter/pemfilteran: Kemampuan utama untuk pengoptimalan volume, yang menentukan kondisi untuk menghilangkan peristiwa yang tidak diperlukan untuk analisis keamanan secara selektif.
• Ubah: Kemampuan yang digunakan untuk mengubah format log agar lebih mudah digunakan, seperti menghapus nama domain yang sepenuhnya memenuhi syarat (FQDN) atau menghapus kolom verbose dalam peristiwa.
• Redact: Kemampuan untuk menyamarkan atau menghapus informasi sensitif sepenuhnya dari log sebelum disimpan, sehingga membantu kepatuhan dan privasi.
• Agen Bindplane: Metode penyerapan untuk log yang dikumpulkan dari sistem lokal atau sistem cloud lainnya.
• Feed: Metode penyerapan untuk data yang diambil dari sumber, seperti Cloud Storage, Amazon S3, atau API pihak ketiga.
• Ingestion API: Metode untuk mengirim data log kustom, yang memungkinkan pemfilteran sisi server menggunakan pipeline pemrosesan data.
• Pemfilteran upstream: Praktik terbaik yang direkomendasikan untuk memfilter Google Cloud log di sumber menggunakan filter ekspor Logging untuk penghematan biaya yang optimal.
• Aliran: Aliran data tertentu, yang ditentukan berdasarkan jenis log dan sumber penyerapan (seperti feed atau API), yang berfungsi sebagai input ke pipeline pemrosesan data.
• Node pemroses: Komponen dalam pipeline yang berisi satu atau beberapa pemroses (tindakan filter, ubah, atau samarkan) yang memanipulasi data secara berurutan.
• Tujuan: Endpoint pipeline pemrosesan data, biasanya instance Google SecOps tempat data yang diproses dikirim untuk penyerapan dan analisis akhir.

Menggunakan pipeline pemrosesan data untuk pengoptimalan

Pipeline pemrosesan data di Google SecOps menawarkan kontrol yang andal dan pra-penguraian atas proses penyerapan data Anda. Pipeline ini memungkinkan Anda menentukan aturan dan tindakan yang diterapkan ke log saat log tersebut tiba, sebelum disimpan dan diindeks. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan dan mengelola pipeline pemrosesan data.

Catatan: Fitur pemrosesan data hanya tersedia untuk paket Google SecOps Enterprise dan Enterprise Plus.

Kemampuan Utama

• Filter: Ini adalah fokus utama untuk pengoptimalan volume. Anda dapat menentukan kondisi, menggunakan konten log mentah, atribut, atau ekspresi reguler, untuk menghilangkan peristiwa yang tidak diperlukan untuk analisis keamanan secara selektif. Hal ini penting untuk mengurangi gangguan dan biaya.
• Ubah: Ubah format log agar lebih mudah digunakan atau untuk menghapus data yang tidak diperlukan dalam peristiwa. Contohnya mencakup menghapus FQDN dari nama host, mengurai dan menyusun ulang payload JSON, atau menghapus kolom verbose tetapi tidak relevan.
• Samarkan: Samarkan atau hapus sepenuhnya informasi sensitif, seperti Informasi Identitas Pribadi (PII), dari log sebelum disimpan, sehingga membantu kepatuhan dan persyaratan privasi.

Penerapan universal

Keunggulan utama pipeline pemrosesan data adalah pipeline ini dapat diterapkan ke data dari metode penyerapan apa pun. Hal ini menyediakan lapisan pemfilteran yang konsisten untuk:

• Google Cloud log bawaan
• Log yang dikumpulkan menggunakan agen Bindplane
• Data yang diambil melalui Feed
• Log kustom yang dikirim melalui Ingestion API

Untuk mengetahui informasi selengkapnya, lihat bagian Strategi pemfilteran khusus metode dalam panduan ini.

Menerapkan pemfilteran dengan pipeline pemrosesan data

Langkah 1: Siapkan pipeline Anda

Anda dapat mengonfigurasi dan mengelola pipeline pemrosesan data melalui Konsol Pengelolaan Bindplane atau menggunakan Google SecOps Data Pipeline API publik. Pipeline ini memungkinkan Anda menentukan aliran (input), mengonfigurasi node pemroses (Filter, Ubah, Samarkan), dan mengelola deployment pipeline.

Untuk petunjuk penyiapan yang komprehensif, lihat Menyiapkan dan mengelola pipeline pemrosesan data.

Langkah 2: Konfigurasi pemroses untuk pemfilteran

Dalam pipeline, Anda dapat menambahkan pemroses ke node. Untuk mengurangi volume, Anda harus menggunakan pemroses Filter. Anda dapat mengonfigurasi pemroses ini untuk menghilangkan log berdasarkan kondisi atau ekspresi reguler. Anda mengonfigurasi kondisi dan pernyataan pipeline kustom menggunakan sintaksis OTTL (OpenTelemetry Transformation Language).

• Kondisi: Mengevaluasi kolom atau atribut dalam data log.
• Ekspresi reguler: Mencocokkan pola dalam pesan log mentah.
• Contoh OTTL: Contoh pernyataan adalah set(attributes["labels.myLabel.value"], "myValue").

Meskipun pemfilteran adalah kunci, Anda juga dapat mempertimbangkan untuk menggunakan pemroses Ubah untuk menghapus kolom besar yang tidak diperlukan dari log yang Anda simpan, dan menggunakan pemroses Samarkan untuk membatalkan data sensitif.

Langkah 3: Strategi pemfilteran khusus metode

Bagian berikut menjelaskan cara mendekati pemfilteran dengan pipeline pemrosesan data untuk setiap jenis penyerapan utama.

Google Cloud Log

• Pemfilteran upstream (praktik terbaik yang direkomendasikan): Untuk penghematan biaya yang optimal, Google merekomendasikan pemfilteran Google Cloud log di sumber menggunakan filter ekspor Cloud Logging. Hal ini mencegah log yang tidak diinginkan dikirim ke Google SecOps. Anda dapat menggunakan pipeline pemrosesan data untuk pemfilteran tambahan jika diperlukan. Untuk mengetahui informasi selengkapnya, lihat panduan Menyerap Google Cloud data, khususnya bagian Menyesuaikan setelan filter ekspor.

• Aplikasi pipeline: Konfigurasi pipeline pemrosesan data, pilih jenislog dan metode penyerapan yang sesuai, baik Langsung maupun Cloud Native. Google Cloud Tentukan pemroses filter untuk menghilangkan log yang tidak diinginkan berdasarkan konten.

Agen Bindplane

Log yang dikumpulkan oleh agen Bindplane, dari sistem lokal atau sistem cloud lainnya, dapat difilter menggunakan pipeline pemrosesan data. Konfigurasi aliran agar cocok dengan jenis log dan ID pengumpul yang terkait dengan sumber Bindplane Anda. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Bindplane dengan Google SecOps.

Feed Data

Untuk data yang diserap menggunakan Feed (misalnya, dari Cloud Storage, Amazon S3, atau API pihak ketiga), Anda dapat menerapkan filter pipeline pemrosesan data dengan memilih nama feed dan jenis log saat mengonfigurasi aliran pipeline. Untuk mengetahui informasi selengkapnya, lihat panduan Bekerja dengan feed.

Metode penyerapan Chronicle API

Jika Anda mengirim data menggunakan metode penyerapan Chronicle API, Anda tetap dapat memanfaatkan pipeline pemrosesan data. Konfigurasi aliran pipeline agar cocok dengan jenis log yang Anda gunakan dalam panggilan API. Hal ini memungkinkan pemfilteran sisi server untuk aliran log kustom Anda. Untuk mengetahui informasi selengkapnya, lihat panduan Metode penyerapan Chronicle API.

Catatan: Untuk aliran bervolume rendah yang menggunakan metode penyerapan Chronicle API, waktu konfirmasi mungkin meningkat dari 700 md menjadi 2 detik karena buffering dalam memori. Waktu konfirmasi akan kembali normal setelah throughput data melebihi 4 MB.

Praktik Terbaik

• Filter upstream jika memungkinkan: Seperti yang disebutkan untuk Google Cloud, selalu filter log sedekat mungkin dengan sumbernya. Ini adalah pendekatan yang paling hemat biaya karena mengurangi overhead transfer dan pemrosesan data.
• Bersikap spesifik: Mulai dengan filter yang sempit dan terdefinisi dengan baik untuk mengecualikan log bervolume tinggi dan bernilai rendah yang diketahui. Hindari filter yang terlalu luas yang mungkin secara tidak sengaja menghilangkan data yang berguna.
• Ulangi dan sempurnakan: Tinjau efektivitas filter Anda secara rutin. Apakah filter tersebut menangkap peristiwa yang tepat? Apakah ada gangguan baru yang perlu difilter?
• Dokumentasikan filter Anda: Catat filter yang diterapkan dan alasannya, terutama untuk ekspresi reguler yang kompleks atau logika bersyarat.

Verifikasi &pengujian

• Pengujian: Anda harus menguji filter di lingkungan non-produksi atau dengan subset data kecil terlebih dahulu.
• Validasi filter: Gunakan fitur pengujian dalam editor pipeline Konsol Bindplane. Hal ini memungkinkan Anda memasukkan contoh log dan melihat output setelah pemroses diterapkan, sehingga mengonfirmasi bahwa filter Anda berfungsi seperti yang diharapkan.
• Pantau penyerapan: Setelah men-deploy pipeline, pantau dasbor penyerapan di Google SecOps untuk mengamati dampaknya terhadap volume dan biaya data. Untuk mengetahui informasi selengkapnya, lihat Ringkasan metrik penyerapan.
• Lihat Konfigurasi: Anda dapat melihat semua konfigurasi di UI Google SecOps di bagian Setelan SIEM > Pemrosesan Data.
• Pengelolaan Eksternal: Anda dapat menelusuri konfigurasi dan mengklik "Buka di Bindplane" untuk langsung membuka konsol Bindplane untuk pengelolaan lanjutan.

Batasan

• Batas layanan: Regex yang terlalu kompleks atau sejumlah besar pemroses per pipeline dapat memengaruhi performa atau mungkin dikenai batasan. Anda harus memeriksa batas Google SecOps di Batas layanan.
• Paket Google SecOps: Pastikan Anda mengetahui fitur dan kemampuan dalam paket Google SecOps Anda. Untuk mengetahui informasi selengkapnya, lihat Paket Google SecOps.
• Penggunaan kembali: Meskipun canggih, konfigurasi pipeline untuk satu jenis atau sumber log mungkin tidak dapat digunakan kembali secara langsung untuk jenis atau sumber lain tanpa penyesuaian.
• Pemroses Maksimum: Tentukan maksimum 10 pemroses per pipeline.
• Performa Regex: Hindari pencocokan ekspresi reguler yang berlebihan, karena dapat menyebabkan pembuatan atau deployment pipeline gagal karena waktu tunggu habis. Sebaiknya urai data ke JSON dan filter berdasarkan kolom tertentu.
• Batasan Asosiasi Aliran: Meskipun pipeline yang berbeda dapat dibuat untuk feed yang berbeda dari jenis log yang sama, definisi aliran yang sama persis (misalnya, feed yang sama, atau jenis log yang sama) tidak dapat dikaitkan dengan lebih dari satu pipeline aktif. Menetapkan jenis log ke Semua Metode Penyerapan akan bertindak sebagai catch-all dan mencegah konfigurasi pipeline lain untuk feed tertentu dari jenis log tersebut.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.