Mengekspor ke project BigQuery yang dikelola Google

Didukung di:

Google SecOps menyediakan data lake terkelola yang berisi telemetri yang dinormalisasi dan diperkaya dengan threat intelligence dengan mengekspor data ke BigQuery. Dengan demikian, Anda dapat melakukan hal berikut:

  • Menjalankan kueri ad-hoc langsung di BigQuery.
  • Menggunakan alat business intelligence Anda sendiri, seperti Looker atau Microsoft Power BI, untuk membuat dasbor, laporan, dan analisis.
  • Menggabungkan data Google SecOps dengan set data pihak ketiga.
  • Menjalankan analisis menggunakan alat data science atau machine learning.
  • Menjalankan laporan menggunakan dasbor default standar dan dasbor kustom yang telah ditentukan.

Google SecOps mengekspor kategori data berikut ke BigQuery:

  • Catatan peristiwa UDM: Catatan UDM yang dibuat dari data log yang dimasukkan oleh pelanggan. Catatan ini diperkaya dengan informasi alias.
  • Pencocokan aturan (deteksi): instance saat aturan cocok dengan satu atau lebih peristiwa.
  • Pencocokan IoC: artefak (misalnya, domain, alamat IP) dari peristiwa yang cocok dengan feed Indikator Penyusupan (IoC). Hal ini mencakup pencocokan dengan dari feed global dan feed khusus pelanggan.
  • Metrik penyerapan: mencakup statistik, seperti jumlah baris log yang dimasukkan, jumlah peristiwa yang dihasilkan dari log, jumlah error log yang menunjukkan bahwa log tidak dapat diuraikan, dan status penerus Google SecOps. Untuk mengetahui informasi selengkapnya, lihat Skema BigQuery metrik penyerapan.
  • Grafik entity dan hubungan entity: menyimpan deskripsi entity dan hubungannya dengan entity lain.

Ringkasan tabel

Google SecOps membuat set data datalake di BigQuery dan tabel berikut:

  • entity_enum_value_to_name_mapping: untuk jenis yang dihitung dalam tabel entity_graph, memetakan nilai numerik ke nilai string.
  • entity_graph: menyimpan data tentang entity UDM.
  • events: menyimpan data tentang peristiwa UDM.
  • ingestion_metrics: menyimpan statistik terkait penyerapan dan normalisasi data dari sumber penyerapan tertentu, seperti penerus Google SecOps, feed, dan Ingestion API.
  • ioc_matches: menyimpan pencocokan IOC yang ditemukan terhadap peristiwa UDM.
  • job_metadata: tabel internal yang digunakan untuk melacak ekspor data ke BigQuery.
  • rule_detections: menyimpan deteksi yang ditampilkan oleh aturan yang dijalankan di Google SecOps. Tabel ini hanya menyertakan deteksi dari aturan yang aktif (misalnya, diaktifkan dan tidak dihapus) pada saat proses ekspor dijalankan. Deteksi dari aturan yang dinonaktifkan atau dihapus sebelum tugas ekspor dijalankan tidak akan disertakan dalam tabel ini, meskipun waktu deteksi berada dalam rentang kueri.
  • rulesets: menyimpan informasi tentang pendeteksian terseleksi Google SecOps, termasuk kategori setiap set aturan, apakah diaktifkan, dan status pemberitahuan saat ini.
  • udm_enum_value_to_name_mapping: Untuk jenis yang dihitung dalam tabel peristiwa, memetakan nilai numerik ke nilai string.
  • udm_events_aggregates: menyimpan data gabungan yang diringkas per jam peristiwa yang dinormalisasi. Tabel ini diisi berdasarkan upaya terbaik. Data untuk setiap jam mungkin tidak langsung tersedia, dan mungkin ada penundaan dalam pengisian.

Keaktualan Data dan Jadwal Ekspor

Data dalam tabel BigQuery diperbarui pada interval yang berbeda. Memahami hal ini dapat membantu menetapkan ekspektasi untuk ketersediaan data:

  • Peristiwa UDM (tabel events): Biasanya sering diperbarui, dengan data yang biasanya tersedia dalam waktu sekitar dua jam setelah penyerapan.
  • Ekspor Upaya Terbaik: Banyak set data lainnya diekspor berdasarkan upaya terbaik. Hal ini mencakup, tetapi tidak terbatas pada:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Untuk tabel yang diekspor berdasarkan upaya terbaik, meskipun pembaruannya rutin, tidak ada latensi atau waktu yang benar-benar ditentukan. Penundaan dapat terjadi, dan untuk agregasi per jam seperti udm_events_aggregates, data untuk setiap jam mungkin tidak langsung tersedia pada akhir jam. Data umumnya diharapkan diperbarui dalam waktu satu hari.

Mengakses data di BigQuery

Anda dapat menjalankan kueri langsung di BigQuery atau menghubungkan alat business intelligence Anda sendiri, seperti Looker atau Microsoft Power BI, ke BigQuery.

Untuk mengaktifkan akses ke instance BigQuery, gunakan Google SecOps BigQuery Access API. Anda dapat memberikan alamat email untuk pengguna atau grup yang Anda miliki. Jika Anda mengonfigurasi akses ke grup, gunakan grup tersebut untuk mengelola anggota tim mana yang dapat mengakses instance BigQuery.

Untuk menghubungkan Looker atau alat business intelligence lainnya ke BigQuery, hubungi perwakilan Google SecOps Anda untuk mendapatkan kredensial akun layanan yang memungkinkan Anda menghubungkan aplikasi ke set data Google SecOps BigQuery. Akun layanan akan memiliki peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) dan peran BigQuery Job Viewer (roles/bigquery.jobUser).

Retensi data

Untuk pelanggan Google SecOps Enterprise Plus yang menggunakan BigQuery yang dikelola Google, setelan retensi berikut berlaku:

  • Pelanggan Google SecOps Enterprise Plus lama (dalam jalur penghentian):

    • Tabel ioc_matches dan rule_detections: tidak ada batas retensi yang ditetapkan, karena volume rendah.
    • entity_graph, udm_events_aggregates, dan tabel berpartisi lainnya kecuali tabel events: 180 hari.
    • Tabel events (peristiwa UDM): data disimpan sesuai dengan kontrak Google SecOps Anda, atau default 366 hari jika tidak ditentukan dalam kontrak.

  • Pelanggan baru: durasi retensi diatur oleh kontrak Google SecOps (konsisten dengan fitur Advanced BigQuery Export).

Langkah berikutnya

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.