Analisis penyerapan data dengan Cloud Monitoring.

Didukung di:

Google secops SIEM

Peringatan: API Ingestion dan API Backstory yang dijelaskan dalam dokumen ini sudah usang dan akan dihentikan pada 20 Juli 2027. Untuk memasukkan data ke Google SecOps, gunakan Chronicle API sebagai gantinya. Untuk mengetahui detail cara bermigrasi, lihat Bermigrasi dari SIEM API lama ke Chronicle API.

Dokumen ini menjelaskan cara menggunakan Cloud Monitoring untuk menerima notifikasi penyerapan data. Google SecOps menggunakan Cloud Monitoring untuk mengirimkan notifikasi penyerapan data. Gunakan fitur ini untuk notifikasi penyerapan dan melihat volume penyerapan. Anda dapat mengintegrasikan notifikasi email ke dalam alur kerja yang ada. Notifikasi akan dipicu ketika nilai penyerapan mencapai tingkat tertentu yang telah ditentukan sebelumnya. Dalam dokumentasi Cloud Monitoring, notifikasi disebut pemberitahuan.

Catatan: Untuk memantau status operasional dan kesehatan semua sumber data dan parser Anda, buka Pusat Kesehatan. Ini mencakup informasi tentang sumber dan jenis log yang gagal dan tidak teratur, serta memberikan konteks untuk mendiagnosis dan memperbaiki masalah.

Sebelum memulai

• Pahami Cloud Monitoring.

• Konfigurasikan sebuah Google Cloud proyek untuk Google SecOps.

• Verifikasi bahwa peran Manajemen Identitas dan Akses Anda mencakup izin dalam peran roles/monitoring.alertPolicyEditor. Untuk mengetahui informasi selengkapnya tentang peran, lihat Mengontrol akses dengan IAM.

• Pahami cara membuat kebijakan pemberitahuan di Cloud Monitoring. Untuk informasi mengenai langkah-langkah ini, lihat Buat kebijakan peringatan ambang batas metrik.

• Konfigurasikan saluran notifikasi untuk menerima notifikasi penyerapan data sebagai email. Untuk mengetahui informasi tentang langkah-langkah ini, lihat Membuat dan mengelola saluran notifikasi.

Siapkan notifikasi asupan untuk metrik kesehatan.

Untuk mengatur notifikasi yang memantau metrik kesehatan penyerapan khusus untuk Google SecOps, lakukan hal berikut:

1. Di konsol Google Cloud , pilih Monitoring.

2. Di panel navigasi, pilih Peringatan lalu klik Buat kebijakan.

3. Pada halaman Pilih metrik, klik Pilih metrik.

4. Di menu Pilih metrik, klik salah satu dari berikut ini:

   • Aktif beralih untuk memfilter dan hanya menampilkan sumber daya dan metrik dengan data dari 25 jam terakhir. Jika Anda tidak memilih opsi ini, semua jenis sumber daya dan metrik akan tercantum.
   • Tingkat organisasi/folder beralih untuk memantau sumber daya dan metrik, seperti penggunaan kuota konsumen atau alokasi slot BigQuery, untuk organisasi dan folder Anda.

5. Pilih salah satu metrik berikut:

   • Memilih Kolektor Kronik> Proses menelan lalu pilih salah satu Jumlah total log yang dicerna atau Ukuran log total yang dicerna.

   • Memilih Kolektor Kronik> Normalisasi lalu pilih salah satu Jumlah total catatan atau Jumlah total kejadian.

   • Memilih Jenis Catatan Kronik> Di luar pita lalu pilih salah satu Jumlah total log yang tertelan (Pakan) atau Ukuran log total yang tertelan (Pakan).

6. Klik Terapkan.

Tambahkan filter

1. Pada halaman Pilih metrik, klik Tambahkan Filter.

   1. Di dialog filter, pilih label collector_id, pembanding, dan nilai filter.

   2. Pilih satu atau lebih filter berikut:

      • project_id: ID dari Google Cloud proyek yang terkait dengan sumber daya ini.

      • location: Lokasi fisik klaster yang berisi objek kolektor. Kami menyarankan Anda untuk tidak menggunakan kolom ini. Jika Anda membiarkan kolom ini kosong, Google SecOps dapat menggunakan informasi yang ada untuk secara otomatis menentukan tempat menyimpan data.

      • collector_id: ID kolektor.

      • log_type: Nama tipe log.

      • Label metrik > namespace: Namespace dari log.

      • feed_name: Nama feed.

      • LogType: Jenis log.

      • Label metrik > tipe_acara: Tipe acara menentukan bidang mana yang disertakan dengan acara tersebut. Jenis kejadian mencakup nilai-nilai seperti PROCESS_OPEN, FILE_CREATION, USER_CREATION, dan NETWORK_DNS.

      • Label metrik > status: Status akhir peristiwa atau log. Statusnya adalah salah satu dari berikut:

        • parsed: Log berhasil diuraikan.
        • validated. Log berhasil divalidasi.
        • failed_parsing. Log tersebut memiliki kesalahan penguraian.
        • failed_validation. Log tersebut memiliki kesalahan validasi.
        • failed_indexing. Log tersebut memiliki kesalahan pengindeksan batch.

      • Label metrik > kode_alasan_penghapusan: Bidang ini diisi jika sumber penyerapan adalah penerus Google SecOps dan menunjukkan alasan mengapa log dihapus selama normalisasi.

      • Label metrik > sumber_penyerapan: Sumber penyerapan yang ada di label penyerapan saat log diserap menggunakan API Penyerapan.

   3. Pilih ID pengumpul khusus. collector_id juga dapat berupa ID penerus atau ID khusus berdasarkan metode penyerapan:

      • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa:
        Merepresentasikan log dari Amazon S3, Amazon SQS, Cloud Storage, Cloud Storage (berbasis peristiwa), Microsoft Azure Blob Storage, API pihak ketiga, dan file HTTP(S) (non-API).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1111:
        Mewakili agen Koleksi, termasuk Bindplane (Google Edition).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1112:
        Bindplane Enterprise (Edisi Google).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1113:
        Bindplane Enterprise.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1114:
        Pengumpul tanpa kepala. Ini adalah pengumpul data Bindplane atau OpenTelemetry tanpa lapisan manajemen Bindplane.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1115:
        Chronicle API. Untuk informasi selengkapnya, lihat Metode Ingesti.

      • aaaa2222-aaaa-2222-aaaa-2222aaaa2222:
        Log yang dimasukkan melalui metode HTTPS Push. Hal ini mencakup feed jenis sumber Webhook, Amazon Kinesis Firehose, dan Google Cloud Pub/Sub.

      • aaaa3333-aaaa-3333-aaaa-3333aaaa3333:
        Log Cloud Storage dan mencakup log yang di-ingest melalui Event Threat Detection.

      • aaaa4444-aaaa-4444-aaaa-4444aaaa4444:
        Log yang dimasukkan melalui integrasi feed Azure Event Hub. Hal ini mencakup feed jenis sumber Microsoft Azure Event Hub.

      • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb:
        Mewakili semua sumber penyerapan yang menggunakan metode unstructuredlogentries Chronicle API atau Backstory Ingestion API lama. Untuk mengetahui informasi selengkapnya, lihat Google SecOps Ingestion API dan Metode penyerapan.

      • cccccccc-cccc-cccc-cccc-cccccccccccc:
        Mewakili semua sumber penyerapan yang menggunakan metode udmevents Chronicle API atau Backstory Ingestion API lama. Untuk mengetahui informasi selengkapnya, lihat Google SecOps Ingestion API dan Metode penyerapan.

      • dddddddd-dddd-dddd-dddd-dddddddddddd:
        Mewakili log apa pun yang dimasukkan melalui proses dan integrasi internal. Misalnya, penyerapan bawaan Google Workspace.

      • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee:
        Mewakili collector_id yang digunakan untuk CreateEntities.

      • Penerus: Penerus memiliki ID pengumpul spesifik yang dibuat secara acak.

2. Di bagian Transform data, lakukan tindakan berikut:

   1. Tetapkan kolom Time series aggregation ke sum.

   2. Tetapkan kolom Mengelompokkan deret waktu menurut ke project_id.

      Peringatan: Jika langkah ini tidak diselesaikan, pemberitahuan palsu dapat terjadi. Hal ini sangat penting dalam deployment Google SecOps multi-region, di mana penerus dapat menghasilkan data keamanan yang menyesatkan.

3. Opsional: Siapkan kebijakan pemberitahuan dengan beberapa kondisi. Untuk membuat notifikasi penyerapan dengan beberapa kondisi dalam kebijakan pemberitahuan, lihat Kebijakan dengan beberapa kondisi.

Metrik penerusan Google SecOps dan filter terkait

Tabel berikut menjelaskan metrik penerusan Google SecOps yang tersedia dan filter terkait.

Metrik penerusan Google SecOps	Filter
Memori kontainer yang digunakan	log_type, collector_id
Disk kontainer yang digunakan	log_type, collector_id
CPU kontainer yang digunakan	log_type, collector_id
Log drop_count	log_type, collector_id, input_type, reason
buffer_used	log_type, collector_id, buffer_type, input_type
last_heartbeat	log_type, collector_id, input_type

Buat kebijakan contoh untuk mendeteksi penerus Google SecOps yang berjalan tanpa interaksi pengguna.

Contoh kebijakan berikut mendeteksi semua penerusan Google SecOps dan mengirimkan pemberitahuan jika penerusan Google SecOps tidak mengirimkan log selama 60 menit. Ini mungkin tidak berguna untuk semua penerus Google SecOps yang ingin Anda pantau. Sebagai contoh, Anda dapat memantau satu sumber log di satu atau beberapa forwarder Google SecOps dengan ambang batas yang berbeda atau mengecualikan forwarder Google SecOps berdasarkan frekuensi pelaporannya.

1. Di konsol Google Cloud , pilih Monitoring.
   Buka Cloud Monitoring
   

2. Klik Create Policy.

3. Pada Pilih metrik halaman, pilih Kolektor Kronik> Proses menelan> Jumlah total log yang dicerna.

4. Klik Terapkan.

5. Di bagian Transform data, lakukan tindakan berikut:

   1. Atur Jendela bergulir ke waktu hingga 1 jam*.
   2. Atur Fungsi jendela bergulir ke rata-rata.
   3. Tetapkan Time series aggregation ke mean.
   4. Atur Time series group by ke collector_id. Jika ini tidak diatur untuk mengelompokkan berdasarkan collector_id, maka peringatan akan terpicu untuk setiap sumber log.

6. Klik Berikutnya.

7. Pilih Ketidakhadiran metrik dan lakukan hal berikut:

   1. Atur Pemicu peringatan ke Setiap deret waktu melanggar.
   2. Atur Waktu ketidakhadiran pemicu ke waktu hingga 1 jam.
   3. Masukkan nama untuk kondisi tersebut dan klik Berikutnya.

8. Di bagian Notifikasi dan nama, lakukan hal berikut:

   1. Pilih saluran notifikasi di kolom Gunakan saluran notifikasi. Kami menyarankan Anda untuk mengkonfigurasi beberapa saluran notifikasi untuk tujuan redundansi.
   2. Konfigurasikan notifikasi saat insiden ditutup.
   3. Tetapkan label pengguna kebijakan ke tingkat yang sesuai. Gunakan pengaturan ini untuk menetapkan tingkat keparahan peringatan untuk suatu kebijakan.
   4. Masukkan dokumen apa pun yang ingin Anda kirim sebagai bagian dari peringatan tersebut.
   5. Masukkan nama untuk kebijakan pemberitahuan.

Catatan: Untuk memicu peringatan dalam 60 menit, atur waktu gabungan untuk Jendela bergulir dan Waktu ketidakhadiran pemicu menjadi 1 jam.

Tambahkan pengecualian pada kebijakan umum.

Mungkin perlu untuk mengecualikan penerus Google SecOps tertentu dari kebijakan umum karena mereka mungkin hanya memiliki volume lalu lintas yang rendah, atau memerlukan kebijakan peringatan yang lebih khusus.

1. Di konsol Google Cloud , pilih Monitoring.

2. Pada halaman navigasi, pilih Peringatan lalu di bagian Kebijakan, pilih kebijakan yang ingin Anda edit.

3. Pada halaman Detail kebijakan, klik Edit.

4. Pada halaman Edit kebijakan peringatan, di bagian Tambahkan filter, pilih Tambahkan filter dan lakukan hal berikut:

   1. Pilih label collector_id dan kolektor yang ingin Anda kecualikan dari kebijakan.
   2. Atur pembanding ke != dan nilai ke collector_id yang ingin Anda kecualikan, lalu klik Selesai.

   3. Ulangi langkah ini untuk setiap kolektor yang perlu dikecualikan. Anda juga dapat menggunakan ekspresi reguler untuk mengecualikan beberapa kolektor hanya dengan satu filter jika Anda ingin menggunakan format berikut:

      (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

5. Klik Simpan Kebijakan.

Buat kebijakan contoh untuk mendeteksi agen pengumpulan data Google SecOps yang beroperasi secara diam-diam.

Contoh kebijakan berikut mendeteksi semua agen pengumpul Google SecOps dan mengirimkan peringatan jika agen pengumpul Google SecOps tidak mengirimkan log selama 60 menit. Contoh ini mungkin tidak berguna untuk semua agen pengumpulan Google SecOps yang ingin Anda pantau. Sebagai contoh, Anda dapat memantau satu sumber log di satu atau beberapa agen pengumpul Google SecOps dengan ambang batas yang berbeda atau mengecualikan agen pengumpul Google SecOps berdasarkan frekuensi pelaporannya.

1. Di konsol Google Cloud , pilih Monitoring.
   Buka Cloud Monitoring
   

2. Klik Create Policy.

3. Pada Pilih metrik halaman, pilih Kolektor Kronik> Agen> Jumlah Rentang yang Diterima Eksportir.

4. Klik Terapkan.

5. Di bagian Transform data, lakukan tindakan berikut:

   1. Atur Jendela bergulir hingga 1 jam*.
   2. Atur Fungsi jendela bergulir ke rata-rata.
   3. Tetapkan Time series aggregation ke mean.
   4. Atur Time series group by ke collector_id. Jika ini tidak diatur untuk mengelompokkan berdasarkan collector_id, maka peringatan akan dipicu untuk setiap sumber log.

6. Klik Berikutnya.

7. Pilih Ketidakhadiran metrik dan lakukan hal berikut:

   1. Atur Pemicu peringatan ke Setiap deret waktu melanggar.
   2. Atur Waktu ketidakhadiran pemicu hingga 1 jam*.
   3. Masukkan nama untuk kondisi tersebut dan klik Berikutnya.

8. Di bagian Notifikasi dan nama, lakukan hal berikut:

   1. Pilih saluran notifikasi di kolom Gunakan saluran notifikasi. Kami menyarankan Anda untuk mengkonfigurasi beberapa saluran notifikasi untuk tujuan redundansi.
   2. Konfigurasikan notifikasi saat insiden ditutup.
   3. Tetapkan label pengguna kebijakan ke tingkat yang sesuai. Tingkat keparahan pemberitahuan untuk kebijakan ini digunakan untuk menetapkan tingkat keparahan pemberitahuan.
   4. Masukkan dokumentasi yang ingin Anda kirim sebagai bagian dari pemberitahuan.
   5. Masukkan nama untuk kebijakan pemberitahuan.

Catatan: Untuk memicu pemberitahuan dalam 60 menit, waktu gabungan untuk Rolling window dan Trigger absence time harus disetel ke 1 jam.

Menyiapkan kebijakan contoh untuk mendeteksi kegagalan cluster ketersediaan tinggi server firewall

Contoh kebijakan berikut mendeteksi saat kedua anggota cluster ketersediaan tinggi (HA) aktif-pasif server firewall Linux berhenti melaporkan—yang menunjukkan kegagalan.

Dalam contoh kebijakan berikut, anggota klaster HA diberi nama prod-linux-server-1 dan prod-linux-server-2. Untuk menyiapkan kebijakan contoh guna mendeteksi kegagalan cluster server firewall dengan ketersediaan tinggi, lakukan hal berikut:

1. Di konsol Google Cloud , pilih Monitoring.
   Buka Cloud Monitoring
   

2. Klik Create Policy.

3. Tetapkan Mode konfigurasi kebijakan ke Builder.

4. Untuk Select a metric, pilih Chronicle Collector > Ingestion > Total ingested log count.

5. Klik Terapkan.

6. Di bagian Add filters, masukkan berikut ini:

   ingestion_source one_of prod-linux-server-1, prod-linux-server-2

7. Di bagian Transform data, lakukan tindakan berikut:

   1. Tetapkan Rolling window ke 5 min.
   2. Tetapkan fungsi jendela bergulir ke rate.
   3. Tetapkan Time series aggregation ke mean.
   4. Tetapkan Kelompokkan deret waktu menurut ke ingestion_source.

8. Klik Berikutnya.

9. Dari opsi Jenis Kondisi, pilih Tidak adanya metrik, lalu lakukan hal berikut:

   1. Atur Pemicu peringatan ke Semua deret waktu melanggar.

      Catatan: Saat Semua deret waktu melanggar dipilih, jika salah satu anggota klaster berhenti melaporkan, tidak terjadi apa-apa. Peringatan hanya akan terpicu jika kedua anggota klaster berhenti melaporkan selama jangka waktu yang ditentukan, karena semua deret waktu telah dilanggar.

   2. Atur Waktu ketidakhadiran pemicu menjadi 5 menit.

   3. Atur Nama kondisi ke Linux-Active-Passive-Firewall-Cluster.

10. Klik Berikutnya.

11. Di bagian Notifikasi dan nama, lakukan hal berikut:

    1. Pilih saluran notifikasi di kolom Gunakan saluran notifikasi. Kami menyarankan Anda untuk mengkonfigurasi beberapa saluran notifikasi untuk tujuan redundansi.
    2. Konfigurasikan notifikasi saat insiden ditutup.
    3. Tetapkan label pengguna kebijakan ke tingkat yang sesuai. Tingkat keparahan pemberitahuan untuk kebijakan ini digunakan untuk menetapkan tingkat keparahan pemberitahuan.
    4. Masukkan dokumen apa pun yang ingin Anda kirimkan sebagai bagian dari peringatan tersebut.
    5. Masukkan nama untuk kebijakan pemberitahuan.

Catatan: Meskipun satu kebijakan pemberitahuan dapat mencakup beberapa cluster HA, sebaiknya Anda mengonfigurasi satu kebijakan pemberitahuan per cluster HA.

Lihat total penyerapan berdasarkan jenis log.

Untuk melihat volume penyerapan berdasarkan jenis log di Cloud Monitoring, lakukan hal berikut:

1. Di halaman Setelan, pilih Profil.

2. Pilih profil Pemantauan Cloud Anda.

3. Di halaman Profil, ketik Integrasi di bilah pencarian.

4. Pilih Penjelajah metrik.

5. Klik promQL untuk beralih ke mode kueri promQL.

6. Pada kolom Queries, salin yang berikut ini:

   sum by (log_type) (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

7. Opsional: Saring tipe log tertentu, dan sertakan dalam kueri.

   Misalnya, untuk melihat penyerapan untuk tipe log GCP_CLOUDAUDIT, kuerinya akan terlihat seperti ini:

   sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))

8. Di bagian Hasil, pilih tab Tabel untuk melihat data yang dijumlahkan.

9. Opsional: Sesuaikan rentang waktu sesuai kebutuhan.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.