Ringkasan penyerapan data

Didukung di:

Google secops SIEM

Google Security Operations menyerap log pelanggan, menormalisasi data, dan mendeteksi peringatan keamanan. Layanan ini menyediakan fitur mandiri untuk penyerapan data, deteksi ancaman, peringatan, dan pengelolaan kasus. Google SecOps juga dapat menerima peringatan dari sistem SIEM lain dan menganalisisnya.

Ringkasan arsitektur penyerapan data

Diagram berikut menggambarkan alur data keamanan Anda ke Google SecOps dan cara sistem memproses data tersebut untuk analisis di antarmuka.

Catatan: Lihat Memahami ketersediaan data untuk penelusuran guna mengetahui detail lengkap siklus proses penyerapan data, termasuk alur dan latensi data menyeluruh, serta pengaruh faktor-faktor ini terhadap ketersediaan data yang baru diserap untuk kueri dan analisis.

Langkah-langkah utama yang terlibat dalam penyerapan data

Google SecOps memproses data keamanan Anda sebagai berikut:

1. Mengambil data keamanan dari layanan cloud seperti Amazon S3 atau the Google CloudGoogle SecOps mengenkripsi data ini saat dalam pengiriman.
2. Memisahkan dan menyimpan data keamanan terenkripsi Anda di akun Anda. Akses terbatas untuk Anda dan sejumlah kecil personel Google untuk dukungan, pengembangan, dan pemeliharaan produk.
3. Mengurai dan memvalidasi data keamanan mentah, sehingga lebih mudah diproses dan dilihat.
4. Mengindeks data untuk penelusuran cepat.
5. Menyimpan data yang diurai dan diindeks dalam akun Anda.
6. Menawarkan akses aman bagi pengguna untuk menelusuri dan meninjau data keamanan mereka.
7. Membandingkan data keamanan Anda dengan database malware VirusTotal untuk mengidentifikasi kecocokan. Di tampilan peristiwa Google SecOps, seperti tampilan Aset, klik Konteks VT untuk melihat informasi VirusTotal. Google SecOps tidak membagikan data keamanan Anda ke VirusTotal.

Ringkasan metode penyerapan data

Layanan penyerapan Google SecOps bertindak sebagai gateway untuk semua data.

Google SecOps menyerap data menggunakan sistem berikut:

• Google Cloud: Google SecOps mengambil data langsung dari Google Cloud organisasi Anda, yang merupakan metode utama untuk semua log standar Google Cloud (misalnya, Audit, Aliran VPC, DNS, dan Firewall). Ini adalah cara paling hemat biaya dan berperforma tinggi untuk membawa in Google Cloud telemetri ke Google SecOps. Untuk mengetahui informasi selengkapnya, lihat Menyerap Google Cloud data ke Google SecOps.

• Agen Bindplane: Ini adalah agen terkelola untuk mengumpulkan log dari lingkungan dan server lokal (Windows atau Linux). Bindplane adalah pipeline telemetri yang dapat mengumpulkan, menyaring, dan mengekspor log dari sumber mana pun ke Google SecOps, sehingga memberikan fleksibilitas dalam mengumpulkan berbagai jenis log yang tidak berfungsi dengan metode lain. Anda dapat menggunakannya untuk data lokal, seperti log Firewall, log Windows dan Linux, atau untuk data cloud yang ingin Anda praproses (misalnya, menyaring atau memfilter) sebelum menyerap ke Google SecOps. Anda juga dapat mengelola agen ini menggunakan konsol Pengelolaan Bindplane OP. Untuk mengetahui informasi selengkapnya, lihat Menggunakan agen Bindplane.

• Feed data: Feed data digunakan terutama untuk log berbasis cloud yang log pihak ketiganya sudah diagregasi ke dalam penyimpanan objek, seperti Cloud Storage atau Amazon S3, atau saat pihak ketiga mendukung metode berbasis 'push', seperti webhook. Feed data juga memberikan dukungan siap pakai untuk kumpulan integrasi berbasis API yang telah ditentukan. Gunakan Feed data untuk log berbasis cloud seperti EDR atau aplikasi SaaS apa pun dan untuk integrasi tertentu yang telah ditentukan sebagai Direct API. Feed data mengirim log langsung ke layanan penyerapan Google SecOps. Untuk mengetahui informasi selengkapnya, lihat dokumentasi pengelolaan feed. Feed data mendukung baris log hingga berukuran 4 MB.

• API Penyerapan: Gunakan Ingestion API untuk aplikasi kustom, bervolume tinggi, atau buatan sendiri yang tidak sesuai dengan metode lain. Metode ini sedikit lebih rumit digunakan daripada metode penyerapan lainnya. Untuk mengetahui informasi selengkapnya, lihat Ingestion API.

• Penerus: Penerus kini sudah tidak digunakan lagi. Sebaiknya gunakan agen Bindplane sebagai gantinya.

Parser mengonversi log dari sistem pelanggan ke Model Data Terpadu (UDM). Sistem hilir dalam Google SecOps menggunakan UDM untuk menyediakan kemampuan tambahan, termasuk aturan dan penelusuran UDM.

Lihat Memahami ketersediaan data untuk penelusuran guna mengetahui detail lengkap siklus proses penyerapan data, termasuk alur dan latensi data menyeluruh, serta pengaruh faktor-faktor ini terhadap ketersediaan data yang baru diserap untuk kueri dan analisis.

Catatan: Untuk memantau status operasional dan kesehatan semua sumber data dan parser Anda, buka Hub Kesehatan. Hub ini mencakup informasi tentang sumber dan jenis log yang gagal dan tidak teratur, serta memberikan konteks untuk mendiagnosis dan memulihkan masalah.

Spesifikasi:

• Saat menyerap file, format konten file harus sesuai dengan format yang diharapkan dari ekstensi file agar log berhasil diserap.

• File besar (5-10 GB atau lebih besar) dapat menunda penyerapan data secara signifikan.

• Penyerapan hanya mendukung encoding UTF-8.

Memahami waktu penyerapan dan ketersediaan data

Ketersediaan data untuk analisis di Google SecOps bergantung pada beberapa tahap. Untuk memecahkan masalah penundaan, bedakan antara penundaan sistem sumber dan waktu pemrosesan Google SecOps.

• Penundaan sistem sumber (pra-penyerapan): Banyak sumber data memiliki latensi bawaan. Data mungkin tidak tersedia untuk dikumpulkan segera setelah peristiwa terjadi. Penyebab umumnya mencakup:

  • Jadwal pemrosesan dan batch sumber.
  • Waktu yang diperlukan untuk menulis peristiwa ke file log atau endpoint API.
  • Batas kapasitas API.
  • Perbedaan antara stempel waktu peristiwa dan waktu log tersedia untuk penyerapan (misalnya, createTime).

• Penundaan penyerapan dan pemrosesan Google SecOps: Setelah data mencapai titik penyerapan, langkah-langkah berikut dapat menyebabkan penundaan:

  • Interval pengumpulan: Untuk sumber gabungan (seperti API atau bucket penyimpanan), frekuensi feed yang dikonfigurasi (misalnya, setiap 5 menit atau setiap jam) menentukan penundaan maksimum.
  • Pipeline internal: Penguraian, normalisasi, pengindeksan, dan pengayaan. Untuk mengetahui informasi selengkapnya, lihat Memahami ketersediaan data untuk penelusuran.

Jika Anda mengalami penundaan, tentukan apakah sumber atau Google SecOps yang menjadi penyebabnya. Misalnya, log dari layanan penyimpanan blob tidak bersifat real-time dan bergantung pada frekuensi polling.

Untuk mengetahui daftar jenis log dengan penundaan sisi sumber yang diketahui, lihat Referensi API pengelolaan feed.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.