Memeriksa kondisi penyerapan data

Didukung di:

Panduan ini ditujukan untuk engineer keamanan yang ingin memantau kualitas penyerapan data dan memecahkan masalah dalam Google Security Operations. Dokumen ini menjelaskan cara menggunakan Health Hub, mengonfigurasi pemberitahuan Cloud Monitoring untuk melacak status sumber data dan parser, serta menggunakan pemantauan host senyap (SHM) untuk mendeteksi potensi penghentian pengumpul.

Dengan menggunakan alur kerja pemantauan ini, Anda dapat mengidentifikasi, mendiagnosis, dan memperbaiki masalah pipeline data, serta membedakan masalah yang dapat diperbaiki oleh pengguna (dapat ditindaklanjuti) dan masalah yang memerlukan dukungan (tidak dapat ditindaklanjuti). Konfigurasi yang berhasil memastikan aliran data yang andal, yang sangat penting untuk operasi dan analisis keamanan yang efektif.

Kasus penggunaan umum

Bagian ini mencakup kasus penggunaan umum untuk pemantauan penyerapan.

Pemeriksaan kualitas proaktif

  • Tujuan: Meninjau status dan kondisi semua sumber data yang dikonfigurasi.
  • Nilai: Mendeteksi potensi masalah penyerapan sebelum memengaruhi visibilitas keamanan.

Respons notifikasi

  • Tujuan: Menyelidiki dan memperbaiki masalah sumber data atau parser yang ditandai oleh pemberitahuan otomatis.
  • Nilai: Meminimalkan kehilangan atau penundaan data, sehingga memastikan data tersedia untuk deteksi dan respons ancaman yang tepat waktu.

Terminologi utama

  • Hub Kesehatan: Dasbor pusat dalam Google SecOps untuk memantau status dan kondisi semua sumber data dan parser yang dikonfigurasi.
  • Cloud Monitoring: Google Cloud layanan yang digunakan untuk membuat kebijakan pemberitahuan berdasarkan metrik, termasuk yang berasal dari penyerapan Google SecOps.
  • Pemantauan host senyap: Metode pemantauan untuk mengidentifikasi host di lingkungan Anda yang tidak aktif.
  • Masalah yang dapat ditindaklanjuti: Masalah penyerapan yang biasanya dapat Anda selesaikan sendiri melalui perubahan konfigurasi (misalnya, memperbarui kredensial).
  • Masalah yang tidak dapat ditindaklanjuti: Masalah penyerapan yang memerlukan bantuan dari dukungan Google untuk diselesaikan (misalnya, error sistem internal).
  • Parser: Komponen yang menormalisasi data log mentah ke dalam struktur Model Data Terpadu (UDM).

Sebelum memulai

Pastikan Anda memiliki peran dan izin Identity and Access Management (IAM) yang diperlukan untuk mengakses instance Google SecOps, melihat Health Hub, dan mengonfigurasi pemberitahuan di Cloud Monitoring.

Memantau penyerapan data

Bagian ini menjelaskan berbagai metode untuk memantau penyerapan data.

Memantau menggunakan Health Hub

Gunakan Pusat Kesehatan untuk memantau kesehatan data secara keseluruhan dalam sekejap dan melihat status kesehatan inti untuk setiap feed, sumber data, dan jenis log. Hal ini membantu Anda mengidentifikasi sumber dan parser yang tidak teratur dan gagal tanpa mengonfigurasi pemberitahuan eksternal kustom.

  1. Di menu navigasi samping Google SecOps, klik Health Hub.
  2. Tinjau widget Angka Besar untuk Sumber Gagal dan Parser Gagal untuk mengidentifikasi komponen yang perlu segera ditangani.
  3. Periksa tabel Status Respons menurut Sumber Data. Periksa kolom Detail Masalah Terbaru untuk mengetahui deskripsi error, seperti, Config credential issue atau Normalization issue.
  4. Klik link Edit Sumber Data atau Edit Parser yang disediakan dalam tabel untuk membuka halaman konfigurasi masing-masing secara langsung untuk perbaikan.
  5. Periksa stempel waktu, seperti Waktu Peristiwa Terakhir dan Terakhir Dimasukkan, untuk memverifikasi bahwa data dimasukkan seperti yang diharapkan.
  6. Setelah menerapkan perbaikan, pantau Health Hub untuk sumber data atau parser tertentu guna memastikan perbaikan berhasil.

Menyiapkan pemberitahuan penyerapan otomatis

Konfigurasi Monitoring untuk memicu pemberitahuan saat nilai penyerapan mencapai tingkat tertentu yang telah ditentukan sebelumnya. Hal ini memungkinkan Anda mengintegrasikan notifikasi email ke dalam alur kerja yang ada untuk memperbaiki feed yang rusak secara proaktif atau mendeteksi sumber log yang tidak aktif.

  1. Di Health Hub, klik link Setel Notifikasi, yang akan mengarahkan Anda ke antarmuka Monitoring.
  2. Membuat kebijakan pemberitahuan:
    • Pilih metrik: Pilih metrik di bagian Penyerapan > Chronicle Collector, seperti Total jumlah log yang diserap atau Total ukuran log yang diserap.
    • Tambahkan filter untuk collector_id atau log_type untuk mempersempit cakupan pemberitahuan ke sumber tertentu.
  3. Untuk mendeteksi penerus senyap, pilih Metric absence sebagai jenis kondisi. Konfigurasikan untuk memicu pemberitahuan jika log berhenti mengalir selama durasi yang ditentukan (misalnya, 60 menit).

Pemecahan masalah

Bagian ini menjelaskan berbagai metode untuk memecahkan masalah penyerapan data.

Masalah umum

  • Latensi pipeline: Penundaan yang signifikan antara stempel waktu Waktu Peristiwa Terakhir dan Terakhir Dimasukkan menunjukkan potensi latensi. Health Hub mengekspos persentil 95th dari perbedaan ini. Nilai yang tinggi menunjukkan latensi pipeline, sedangkan nilai normal mungkin berarti sumber mengirimkan data historis.
  • Lonjakan atau penurunan penyerapan: Sistem menggunakan standardisasi skor z untuk menandai anomali. Penurunan ditandai jika perbedaan standar harian dan mingguan kurang dari -1.645.
  • Kegagalan parsing: Pemberitahuan dipicu jika proporsi error parser relatif terhadap total peristiwa yang diserap meningkat sebesar 5 poin persentase atau lebih dibandingkan dengan hari sebelumnya. Selidiki konfigurasi parser menggunakan link di Health Hub.

Untuk mempelajari lebih lanjut cara mengidentifikasi masalah penyerapan dan parsing data, lihat Mengidentifikasi dan menyelidiki masalah penyerapan dan parsing data.

Latensi, kuota layanan, dan batas

  • Pembaruan Data: Informasi di dasbor Health Hub dan Penyerapan Data diperbarui kira-kira setiap 15 menit.

Perbaikan error

Untuk mengetahui daftar lengkap pesan error dan solusinya, lihat Memecahkan masalah penyerapan.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.