Menggunakan dasbor Pemantauan Kesehatan Data"

Didukung di:

Dokumen ini menjelaskan dasbor Pemantauan Kesehatan Data, lokasi pusat di Google Security Operations bagi Anda untuk memantau status dan kesehatan semua sumber data yang dikonfigurasi. Dasbor ini memberikan informasi penting tentang sumber dan jenis log yang anomali, sehingga menawarkan konteks yang diperlukan untuk mendiagnosis dan memperbaiki masalah pipeline data.

Dasbor Pemantauan Kesehatan Data mencakup informasi tentang hal berikut:

  • Volume penyerapan dan kondisi penyerapan.
  • Mengurai volume dari log mentah ke peristiwa Unified Data Model (UDM).
  • Konteks dan link ke antarmuka dengan informasi dan fungsi tambahan yang relevan.

  • Sumber dan jenis log yang tidak teratur dan gagal. Dasbor Pemantauan Kesehatan Data mendeteksi ketidakberaturan berdasarkan per pelanggan. Fitur ini menggunakan metode statistik dengan periode lihat kembali 30 hari untuk menganalisis data penyerapan. Item yang ditandai tidak teratur mengidentifikasi lonjakan atau penurunan data yang diserap dan diproses oleh Google SecOps.

Manfaat utama

Anda dapat menggunakan dasbor Pemantauan Kualitas Data untuk melakukan hal berikut:

  • Pantau kesehatan data secara keseluruhan dengan cepat. Lihat status kesehatan inti dan metrik terkait untuk setiap feed, sumber data, jenis log, dan sumber (yaitu, ID feed).

  • Pantau metrik kualitas data gabungan untuk:

    • Penyerapan dan penguraian dari waktu ke waktu dengan peristiwa yang ditandai (belum tentu tidak teratur) yang ditautkan ke dasbor yang difilter.
    • Penyimpangan—saat ini dan dari waktu ke waktu.

  • Akses dasbor terkait, yang difilter menurut rentang waktu, jenis log, atau feed.

  • Akses konfigurasi feed untuk mengedit dan memperbaiki atau menyelesaikan masalah.

  • Akses konfigurasi parser untuk mengedit dan memperbaiki atau memulihkan masalah.

  • Klik link Siapkan Pemberitahuan untuk membuka antarmuka Cloud Monitoring, lalu dari sana, konfigurasi pemberitahuan berbasis API kustom menggunakan metrik Status dan volume log.

Pertanyaan utama

Bagian ini merujuk pada komponen dan parameter dasbor Pemantauan Kesehatan Data, yang dijelaskan di bagian Antarmuka.

Anda dapat menggunakan dasbor Pemantauan Kesehatan Data untuk menjawab pertanyaan utama yang umum berikut tentang pipeline data Anda:

  • Apakah log saya mencapai Google SecOps?

    Anda dapat memverifikasi apakah log mencapai Google SecOps menggunakan metrik Last Ingested dan Last Normalized. Metrik ini mengonfirmasi kapan terakhir kali data berhasil dikirim. Selain itu, metrik volume penyerapan (per sumber dan per jenis log) menunjukkan jumlah data yang diserap.

  • Apakah log saya diuraikan dengan benar?

    Untuk mengonfirmasi parsing yang benar, lihat metrik Terakhir Dinormalisasi. Metrik ini menunjukkan kapan transformasi terakhir yang berhasil dari log mentah menjadi peristiwa UDM terjadi.

  • Mengapa penyerapan atau penguraian tidak terjadi?

    Teks di kolom Detail Masalah mengidentifikasi masalah tertentu, yang membantu Anda menentukan apakah tindakan tersebut dapat ditindaklanjuti (Anda memperbaikinya) atau tidak dapat ditindaklanjuti (memerlukan dukungan). Teks Forbidden 403: Permission denied adalah contoh error yang dapat ditindaklanjuti, di mana akun otorisasi yang diberikan dalam konfigurasi feed tidak memiliki izin yang diperlukan. Teks Internal_error adalah contoh error yang tidak dapat ditindaklanjuti, dengan tindakan yang disarankan adalah membuka kasus dukungan dengan Google SecOps.

  • Apakah ada perubahan signifikan dalam jumlah log yang diproses dan log yang diuraikan?

    Kolom Status menampilkan kesehatan data Anda (dari Sehat hingga Gagal), berdasarkan volume data. Anda juga dapat mengidentifikasi lonjakan atau penurunan yang tiba-tiba atau berkelanjutan dengan melihat grafik Total Log yang Di-Ingest & Diparsing.

  • Bagaimana cara mendapatkan pemberitahuan jika sumber saya gagal?

    Dasbor Pemantauan Kesehatan Data memasukkan metrik Status dan volume log ke Cloud Monitoring. Di salah satu tabel dasbor Pemantauan Kesehatan Data, klik link Pemberitahuan yang relevan untuk membuka antarmuka Cloud Monitoring. Di sana, Anda dapat mengonfigurasi pemberitahuan berbasis API kustom menggunakan metrik Status dan volume log.

  • Bagaimana cara menyimpulkan adanya penundaan dalam penyerapan jenis log?

    Penundaan ditunjukkan saat Waktu Peristiwa Terakhir jauh di belakang stempel waktu Terakhir Dimasukkan. Dasbor Pemantauan Kesehatan Data menampilkan persentil 95th dari delta Terakhir Dimasukkan–Waktu Peristiwa Terakhir—per jenis log. Nilai yang tinggi menunjukkan masalah latensi dalam pipeline Google SecOps, sedangkan nilai normal mungkin menunjukkan bahwa sumber mengirimkan data lama.

  • Apakah perubahan terbaru dalam konfigurasi saya menyebabkan kegagalan feed?

    Jika stempel waktu Config Last Updated mendekati stempel waktu Last Ingested, hal ini menunjukkan bahwa update konfigurasi terbaru mungkin menjadi penyebab kegagalan. Korelasi ini membantu dalam analisis akar masalah.

  • Bagaimana tren kualitas penyerapan dan penguraian dari waktu ke waktu?

    Grafik Total Log yang Di-Ingest & Diproses menampilkan tren historis kesehatan data Anda, sehingga Anda dapat mengamati pola dan ketidakberaturan jangka panjang.

Antarmuka

Dasbor Pemantauan Kesehatan Data menampilkan widget berikut:

  • Widget angka besar:

    • Sehat: Jumlah sumber data dan parser yang berfungsi tanpa kejanggalan.
    • Gagal: Jumlah sumber data yang memerlukan perhatian segera.
    • Tidak teratur: Jumlah sumber data dan parser yang tidak teratur.

  • Total Log yang Di-Ingest & Diuraikan: Diagram garis yang menampilkan kurva log Log yang Diuraikan dan Log yang Di-Ingest per hari dari waktu ke waktu.

  • Tabel Status Kesehatan menurut Sumber Data—mencakup kolom berikut:

    • Status: Status kumulatif feed (Sehat, Gagal, atau Tidak Teratur), yang berasal dari volume data, error konfigurasi, dan error API.
    • Jenis Sumber: Jenis sumber (mekanisme penyerapan)—misalnya, Ingestion API, Feed, Penyerapan Workspace Native, atau Feed Azure Event Hub.
    • Nama: Nama feed.
    • Jenis Log: Jenis log—misalnya, CS_EDR, UDM, GCP_CLOUDAUDIT, atau WINEVTLOG.
    • Detail Masalah: Jika ada masalah, kolom ini akan menampilkan detail—misalnya, Gagal mem-parsing log, Masalah kredensial konfigurasi, atau Masalah normalisasi. Masalah yang dinyatakan dapat ditindaklanjuti (misalnya, Auth Salah) atau tidak dapat ditindaklanjuti (misalnya, Internal_error). Jika masalah tidak dapat ditindaklanjuti, tindakan yang direkomendasikan adalah membuka kasus dukungan dengan Google SecOps. Jika Status adalah Sehat, nilainya kosong.
    • Durasi Masalah: Jumlah hari sumber data berada dalam status tidak teratur atau gagal. Jika Status adalah Sehat, nilainya kosong.
    • Terakhir Dikumpulkan: Stempel waktu pengumpulan data terakhir.
    • Terakhir Diserap: Stempel waktu penyerapan terakhir yang berhasil. Gunakan metrik ini untuk mengidentifikasi apakah log Anda mencapai Google SecOps atau tidak.
    • Konfigurasi Terakhir Diperbarui: Stempel waktu perubahan terakhir pada metrik. Gunakan nilai ini untuk mengorelasikan pembaruan konfigurasi dengan ketidakberaturan yang diamati, sehingga membantu Anda menentukan akar penyebab masalah penyerapan atau masalah parsing.
    • Lihat Detail Penyerapan: Link yang membuka tab baru dengan dasbor lain, yang berisi informasi historis tambahan—untuk analisis yang lebih mendalam.
    • Edit Sumber Data: Link yang membuka tab baru dengan konfigurasi feed yang sesuai—tempat Anda dapat memperbaiki ketidakberaturan terkait konfigurasi.
    • Siapkan Pemberitahuan: Link yang membuka tab baru dengan antarmuka Cloud Monitoring yang sesuai.

  • Tabel Status Kesehatan menurut Parser—mencakup kolom berikut:

    • Status: Status kumulatif jenis log (Sehat, Gagal, atau Tidak Teratur), yang berasal dari rasio normalisasi.
    • Name: Jenis log—misalnya, DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT, atau WEBPROXY.
    • Detail Masalah: Jika ada masalah, kolom ini akan menampilkan detail tentang masalah parsing—misalnya, Log parsing gagal, Masalah kredensial konfigurasi, atau Masalah normalisasi. Masalah yang dinyatakan dapat ditindaklanjuti (misalnya, Auth Salah) atau tidak dapat ditindaklanjuti (misalnya, Internal_error). Jika masalah tidak dapat ditindaklanjuti, tindakan yang direkomendasikan adalah membuka kasus dukungan dengan Google SecOps. Jika Status adalah Sehat, nilainya kosong.
    • Durasi Masalah: Jumlah hari sumber data berada dalam status tidak teratur atau gagal. Jika Status adalah Sehat, nilainya kosong.
    • Terakhir Diserap: Stempel waktu penyerapan terakhir yang berhasil. Anda dapat menggunakan metrik ini untuk menentukan apakah log mencapai Google SecOps.

    • Waktu Peristiwa Terakhir: Stempel waktu peristiwa dari log yang terakhir dinormalisasi.

    • Terakhir Dinormalisasi: Stempel waktu tindakan penguraian dan normalisasi terakhir untuk jenis log. Anda dapat menggunakan metrik ini untuk menentukan apakah log mentah berhasil diubah menjadi peristiwa UDM.

    • Konfigurasi Terakhir Diperbarui: Stempel waktu perubahan terakhir pada metrik. Gunakan nilai ini untuk mengorelasikan pembaruan konfigurasi dengan ketidakberaturan yang diamati, sehingga membantu Anda menentukan akar penyebab masalah penyerapan atau masalah parsing.

    • Lihat Detail Parsing: Link yang membuka tab baru dengan dasbor lain, yang berisi informasi historis tambahan—untuk analisis yang lebih mendalam.

    • Edit Parser: Link, yang membuka tab baru dengan konfigurasi parser yang sesuai—tempat Anda dapat memperbaiki ketidakberaturan terkait konfigurasi.

    • Siapkan Pemberitahuan: Link, yang membuka tab baru dengan antarmuka Cloud Monitoring yang sesuai.

Mesin deteksi ketidakberaturan

Dasbor Pemantauan Kesehatan Data menggunakan mesin deteksi anomali Google SecOps untuk mengidentifikasi perubahan signifikan dalam data Anda secara otomatis, sehingga Anda dapat mendeteksi dan mengatasi potensi masalah dengan cepat.

Deteksi ketidakberaturan penyerapan data

SecOps Google menganalisis perubahan volume harian, sambil mempertimbangkan pola mingguan yang normal.

Mesin deteksi ketidakberaturan menggunakan perhitungan berikut untuk mendeteksi lonjakan atau penurunan yang tidak biasa dalam penyerapan data Anda:

  • Perbandingan harian dan mingguan: Google SecOps menghitung perbedaan volume penyerapan antara hari ini dan hari sebelumnya, serta perbedaan antara hari ini dan volume rata-rata selama seminggu terakhir.

  • Standardisasi: Untuk memahami signifikansi perubahan ini, Google SecOps menstandardisasinya menggunakan rumus skor z berikut:

    z = (xi − x_bar) / stdev

    di mana

    • z adalah skor standar (atau skor z) untuk perbedaan individu
    • xi adalah nilai perbedaan individu
    • x_bar adalah rata-rata perbedaan
    • stdev adalah simpangan baku selisih

  • Penandaan ketidakberaturan: Google SecOps menandai ketidakberaturan jika perubahan standar harian dan mingguan signifikan secara statistik. Secara khusus, Google SecOps menelusuri:

    • Penurunan: Perbedaan standar harian dan mingguan kurang dari -1,645.
    • Lonjakan: Perbedaan standar harian dan mingguan lebih besar dari 1,645.

Rasio normalisasi

Saat menghitung rasio peristiwa yang diserap terhadap peristiwa yang dinormalisasi, mesin deteksi ketidakberaturan menggunakan pendekatan gabungan untuk memastikan bahwa hanya penurunan signifikan dalam rasio normalisasi yang ditandai. Mesin deteksi ketidakberaturan menghasilkan pemberitahuan hanya jika dua kondisi berikut terpenuhi:

  • Ada penurunan rasio normalisasi yang signifikan secara statistik dibandingkan hari sebelumnya.
  • Penurunan ini juga signifikan dalam istilah absolut, dengan besaran 0,05 atau lebih besar.

Deteksi ketidakberaturan error penguraian

Untuk error yang terjadi selama penguraian data, mesin deteksi ketidakberaturan menggunakan metode berbasis rasio. Mesin deteksi ketidakberaturan memicu pemberitahuan jika proporsi error parser relatif terhadap jumlah total peristiwa yang diserap meningkat sebesar 5 poin persentase atau lebih dibandingkan dengan hari sebelumnya.

Langkah berikutnya

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.