Mengekspor ke project BigQuery yang dikelola Google

Didukung di:

Google SecOps menyediakan data lake terkelola yang berisi telemetri yang dinormalisasi dan dilengkapi dengan threat intelligence dengan mengekspor data ke BigQuery. Hal ini memungkinkan Anda melakukan hal berikut:

  • Jalankan kueri ad-hoc langsung di BigQuery.
  • Gunakan alat business intelligence Anda sendiri, seperti Looker atau Microsoft Power BI, untuk membuat dasbor, laporan, dan analisis.
  • Gabungkan data Google SecOps dengan set data pihak ketiga.
  • Jalankan analisis menggunakan alat data science atau machine learning.
  • Jalankan laporan menggunakan dasbor default standar dan dasbor kustom.

Google SecOps mengekspor kategori data berikut ke BigQuery:

  • Rekaman peristiwa UDM: Rekaman UDM yang dibuat dari data log yang di-ingest oleh pelanggan. Data ini dilengkapi dengan informasi pembuatan alias.
  • Kecocokan aturan (deteksi): instance saat aturan cocok dengan satu atau beberapa peristiwa.
  • Kecocokan IoC: artefak (misalnya, domain, alamat IP) dari peristiwa yang cocok dengan feed Indikator Penyusupan (IoC). Hal ini mencakup kecocokan dari feed global dan feed khusus pelanggan.
  • Metrik penyerapan: mencakup statistik, seperti jumlah baris log yang diserap, jumlah peristiwa yang dihasilkan dari log, jumlah error log yang menunjukkan bahwa log tidak dapat diuraikan, dan status penerusan Google SecOps. Untuk mengetahui informasi selengkapnya, lihat Skema BigQuery metrik penyerapan.
  • Grafik entity dan hubungan entity: menyimpan deskripsi entity dan hubungannya dengan entity lain.

Ringkasan tabel

Google SecOps membuat set data datalake di BigQuery dan tabel berikut:

  • entity_enum_value_to_name_mapping: untuk jenis yang di-enum di tabel entity_graph, memetakan nilai numerik ke nilai string.
  • entity_graph: menyimpan data tentang entity UDM.
  • events: menyimpan data tentang peristiwa UDM.
  • ingestion_metrics: menyimpan statistik terkait penyerapan dan normalisasi data dari sumber penyerapan tertentu, seperti penerus Google SecOps, feed, dan Ingestion API.
  • ioc_matches: menyimpan kecocokan IOC yang ditemukan terhadap peristiwa UDM.
  • job_metadata: tabel internal yang digunakan untuk melacak ekspor data ke BigQuery.
  • rule_detections: menyimpan deteksi yang ditampilkan oleh aturan yang dijalankan di Google SecOps. Tabel ini hanya menyertakan deteksi dari aturan yang aktif (misalnya, diaktifkan dan tidak dihapus) pada saat proses ekspor dijalankan. Deteksi dari aturan yang dinonaktifkan atau dihapus sebelum tugas ekspor dijalankan tidak akan disertakan dalam tabel ini, meskipun waktu deteksi berada dalam rentang kueri.
  • rulesets: menyimpan informasi tentang pendeteksian terseleksi Google SecOps, termasuk kategori setiap set aturan, apakah diaktifkan, dan status pemberitahuan saat ini.
  • udm_enum_value_to_name_mapping: Untuk jenis yang di-enum di tabel events, memetakan nilai numerik ke nilai string.
  • udm_events_aggregates: menyimpan data gabungan yang diringkas menurut jam peristiwa yang dinormalisasi. Tabel ini diisi berdasarkan upaya terbaik. Data untuk setiap jam mungkin tidak langsung tersedia, dan mungkin ada penundaan dalam pengisian data.

Keaktualan Data dan Jadwal Ekspor

Data di tabel BigQuery diperbarui pada interval yang berbeda. Memahami hal-hal ini dapat membantu menetapkan ekspektasi untuk ketersediaan data:

  • Peristiwa UDM (tabel events): Biasanya diperbarui secara berkala, dengan data yang biasanya tersedia dalam waktu sekitar dua jam setelah penyerapan.
  • Ekspor Upaya Terbaik: Banyak set data lain diekspor berdasarkan upaya terbaik. Hal ini mencakup, tetapi tidak terbatas pada:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Untuk tabel yang diekspor berdasarkan upaya terbaik, meskipun pembaruan dilakukan secara rutin, tidak ada latensi atau waktu yang benar-benar pasti. Penundaan dapat terjadi, dan untuk agregasi per jam seperti udm_events_aggregates, data untuk setiap jam mungkin tidak langsung tersedia di akhir jam. Data umumnya diperkirakan akan diperbarui dalam waktu satu hari.

Mengakses data di BigQuery

Anda dapat menjalankan kueri secara langsung di BigQuery atau menghubungkan alat analisis bisnis Anda sendiri, seperti Looker atau Microsoft Power BI, ke BigQuery.

Untuk mengaktifkan akses ke instance BigQuery, gunakan Google SecOps BigQuery Access API. Anda dapat memberikan alamat email untuk pengguna atau grup yang Anda miliki. Jika Anda mengonfigurasi akses ke grup, gunakan grup tersebut untuk mengelola anggota tim yang dapat mengakses instance BigQuery.

Untuk menghubungkan Looker atau alat business intelligence lain ke BigQuery, hubungi perwakilan Google SecOps Anda untuk mendapatkan kredensial akun layanan yang memungkinkan Anda menghubungkan aplikasi ke set data BigQuery Google SecOps. Akun layanan akan memiliki peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) dan BigQuery Job Viewer (roles/bigquery.jobUser).

Retensi data

Untuk pelanggan Google SecOps Enterprise Plus yang menggunakan BigQuery yang dikelola Google, setelan retensi berikut berlaku:

  • Pelanggan lama Google SecOps Enterprise Plus (dalam jalur penghentian):

    • Tabel ioc_matches dan rule_detections: tidak ada batas retensi yang ditetapkan karena volume rendah.
    • entity_graph, udm_events_aggregates, dan tabel berpartisi lainnya kecuali tabel events: 180 hari.
    • events table (peristiwa UDM): data dipertahankan sesuai dengan kontrak Google SecOps Anda, atau default 366 hari jika tidak ditentukan dalam kontrak.

  • Pelanggan baru: durasi retensi diatur oleh kontrak Google SecOps (sesuai dengan fitur Advanced BigQuery Export).

Langkah berikutnya

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.