Menggunakan BigQuery Export Lanjutan

Didukung di:

SecOps Google

Catatan: Fitur ini tercakup dalam Persyaratan Penawaran Pra-GA dari Persyaratan Khusus Layanan Google Security Operations. Fitur pra-GA mungkin memiliki dukungan terbatas, dan perubahan pada fitur pra-GA mungkin tidak kompatibel dengan versi pra-GA lainnya. Untuk mengetahui informasi selengkapnya, lihat Panduan Layanan Dukungan Teknis Google SecOps dan Persyaratan Khusus Layanan Google SecOps.

Dokumen ini menjelaskan cara mengakses dan menggunakan data Google SecOps Anda di BigQuery dengan fitur Advanced BigQuery Export. Sebagai pelanggan Enterprise Plus, Anda dapat menggunakan fitur ini untuk mengakses data keamanan Anda secara hampir real-time melalui pipeline data streaming yang terkelola sepenuhnya. Kemampuan ini dapat membantu mengatasi tantangan penting latensi data dalam operasi keamanan, serta menghasilkan deteksi dan respons ancaman yang lebih tepat waktu dan efektif.

Sebelum memulai

Sebaiknya tinjau poin-poin berikut yang menentukan persyaratan kelayakan dan tindakan yang diperlukan:

• Khusus pelanggan Enterprise Plus: Fitur ini hanya tersedia untuk pelanggan Google SecOps Enterprise Plus. Untuk pelanggan lainnya, lihat Mengonfigurasi ekspor data ke BigQuery di project yang dikelola sendiri Google Cloud .

• Aktivasi fitur diperlukan: Fitur ini diaktifkan berdasarkan permintaan dan mungkin memerlukan konfigurasi awal di instance Google SecOps organisasi Anda. Hubungi perwakilan Google SecOps Anda untuk mengonfirmasi pengaktifan fitur, jika perlu.

• Peringatan migrasi: Saat Anda mengaktifkan fitur ini, fitur ini akan menggantikan metode lama, yang dijelaskan dalam Data Google SecOps di BigQuery. Selama migrasi ke Advanced BigQuery Export, kami akan menjaga agar pipeline lama Anda tetap aktif selama periode transisi. Operasi ganda ini dirancang untuk mendukung perpindahan Anda ke fitur baru tanpa gangguan. Anda akan diberi tahu sebelum pipeline ekspor lama dinonaktifkan untuk akun Anda.

Ringkasan fitur

Ekspor BigQuery Lanjutan secara otomatis menyediakan dan mengelola set data Google SecOps penting—termasuk peristiwa Unified Data Model (UDM), deteksi aturan, dan kecocokan Indikator Kompromi (IoC)—dalam project BigQuery yang aman dan dikelola Google. Anda mendapatkan akses hanya baca yang aman ke data ini melalui set data tertaut BigQuery, yang muncul langsung di project Google Cloud Anda sendiri. Fungsi ini memungkinkan Anda mengkueri data keamanan seolah-olah data tersebut disimpan secara lokal, tetapi tanpa overhead pengelolaan pipeline atau penyimpanan data.

Google SecOps mengekspor kategori data keamanan berikut ke BigQuery:

• Rekaman peristiwa UDM: Rekaman UDM yang dibuat dari data log yang di-ingest oleh pelanggan. Data ini dilengkapi dengan informasi alias.
• Kecocokan aturan (deteksi): Instance saat aturan cocok dengan satu atau beberapa peristiwa.
• Kecocokan IoC: Artefak (misalnya, domain atau alamat IP) dari peristiwa yang cocok dengan feed IoC. Ini mencakup kecocokan ke dan dari feed global serta feed khusus pelanggan.
• Metrik penyerapan: Statistik, seperti jumlah baris log yang diserap, jumlah peristiwa yang dihasilkan dari log, dan jumlah error log yang menunjukkan bahwa log tidak dapat diuraikan.
• Grafik entity dan hubungan entity: Deskripsi entity dan hubungannya dengan entity lain.

Manfaat utama

Manfaat utama Advanced BigQuery Export meliputi:

• Keaktualan data mendekati real-time: Arsitektur streaming membuat data keamanan Anda tersedia untuk dikueri dalam hitungan menit setelah penyerapan. Peristiwa UDM, deteksi aturan, dan kecocokan IoC tersedia dengan latensi yang diperkirakan 5-10 menit.
• Model biaya yang disederhanakan dan dapat diprediksi: Google SecOps mencakup semua biaya penyerapan dan penyimpanan data dalam project BigQuery terkelola. Organisasi Anda hanya bertanggung jawab atas biaya analisis BigQuery yang dikenakan saat Anda menjalankan kueri.
• Akses data tanpa pemeliharaan: Infrastruktur yang mendasarinya dikelola sepenuhnya oleh Google, sehingga tim Anda dapat berfokus pada analisis data, bukan rekayasa data.

Kasus penggunaan umum

Ekspor BigQuery Lanjutan dirancang untuk analis keamanan, pemburu ancaman, ilmuwan data, dan engineer keamanan yang memerlukan akses langsung berperforma tinggi ke data keamanan baru untuk penyelidikan ad hoc, analisis kustom, dan integrasi dengan alat business intelligence.

Kasus penggunaan umum untuk Ekspor BigQuery Lanjutan meliputi hal berikut:

• Jalankan kueri ad hoc langsung di BigQuery.
• Gunakan alat business intelligence Anda sendiri, seperti Microsoft Power BI, untuk membuat dasbor, laporan, dan analisis.
• Gabungkan data Google SecOps dengan set data pihak ketiga.

Arsitektur

Arsitektur Advanced BigQuery Export menggunakan pipeline streaming berkelanjutan. Data dari instance Google SecOps Anda dikirim ke project tenant yang aman dan dikelola Google menggunakan BigQuery Storage Write API dengan throughput tinggi.

Google SecOps menggunakan berbagi BigQuery untuk membuat daftar data yang aman dan memberi Anda akses. Di panel Explorer BigQuery, project Google Cloud Anda otomatis berlangganan listingan ini, yang ditampilkan sebagai set data tertaut secops_linked_data.

Model ini mendukung isolasi data yang kuat sekaligus memberi Anda akses kueri hanya baca yang lancar.

Menggunakan BigQuery Export Lanjutan

Bagian ini menjelaskan cara mengakses dan menggunakan data Google SecOps Anda di BigQuery.

Istilah dan konsep utama

Berikut adalah beberapa istilah dan konsep utama untuk BigQuery Export Lanjutan:

• Set data tertaut: Set data BigQuery hanya baca yang berfungsi sebagai link simbolis atau penunjuk ke set data bersama di project lain. Layanan ini memungkinkan Anda mengkueri data tanpa menyalinnya, sehingga memberikan akses yang aman sementara penyedia data mengelola penyimpanan fisik.
• Berbagi BigQuery: Layanan Google Cloud yang memungkinkan organisasi berbagi aset data dan analisis dengan aman, seperti set data BigQuery, baik secara internal maupun eksternal.
• Project tenant: Project Google Cloud yang dimiliki dan dikelola oleh Google SecOps. Project ini adalah tempat data keamanan yang diekspor disimpan dan dikelola secara fisik. Anda tidak memiliki akses langsung ke project ini.
• Project Anda: Project Google Cloud yang dimiliki organisasi Anda dan ditautkan ke instance Google SecOps Anda. Project ini adalah tempat set data tertaut muncul dan tempat Anda menjalankan kueri serta dikenai biaya analisis.
• Project ID: ID unik global untuk project Anda.
• Model Data Terpadu (UDM): Skema standar Google yang dapat diperluas untuk mem-parsing dan menormalisasi data telemetri keamanan dari ratusan produk vendor ke dalam format yang konsisten.

Menyiapkan sistem Anda

Ikuti langkah-langkah berikut untuk menyiapkan sistem Anda agar menggunakan Ekspor BigQuery Lanjutan dan mulai membuat kueri data Anda:

1. Konfirmasi lisensi Anda: Pastikan organisasi Anda memiliki lisensi Google SecOps Enterprise Plus.
2. Identifikasi project Anda: Login ke konsol Google Cloud , lalu pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
3. Temukan set data tertaut: Di konsol BigQuery, gunakan panel Explorer untuk membuka resource project Anda. Anda akan melihat set data tertaut bernama secops_linked_data. Kumpulan data ini adalah penunjuk hanya baca ke data keamanan live yang dikelola oleh Google SecOps.

4. Verifikasi izin Identity and Access Management (IAM): Untuk mengkueri data, pengguna atau akun layanan Anda harus memiliki peran IAM berikut yang diberikan di project Anda:

   • roles/bigquery.dataViewer
   • roles/bigquery.jobUser

   Peran ini memungkinkan pengguna (seperti analis keamanan dan konsumen data) membuat kueri data dalam set data tertaut dan menjalankan tugas BigQuery dalam project mereka.

5. Jalankan kueri pengujian: Buka ruang kerja BigQuery SQL dan jalankan kueri dasar untuk memverifikasi bahwa akses Anda dikonfigurasi dengan benar. Anda dapat menggunakan cuplikan kode berikut (mengganti PROJECT_ID dengan Google Cloud Project ID Anda yang sebenarnya):

   SELECT *
   FROM `PROJECT_ID.secops_linked_data.events`
   LIMIT 10;
   

Membuat kueri data BigQuery

Anda dapat menjalankan kueri langsung di BigQuery atau menghubungkan alat business intelligence Anda sendiri, seperti Microsoft Power BI, ke BigQuery.

Lihat artikel berikut untuk mengetahui informasi selengkapnya tentang kueri:

• Untuk mengetahui informasi tentang cara mengakses dan menjalankan kueri di BigQuery, buka Menjalankan kueri dan pelajari cara menjalankan kueri interaktif dan menjalankan kueri batch.
• Untuk mengetahui informasi tentang cara membuat kueri tabel berpartisi, lihat Membuat kueri tabel berpartisi.

Periode retensi data di BigQuery

Periode retensi data Anda di BigQuery sama dengan periode retensi data yang dikonfigurasi untuk tenant Google SecOps Anda. Tidak ada setelan terpisah yang dapat dikonfigurasi untuk menyesuaikan kebijakan retensi data di BigQuery. Data akan otomatis dihapus dari tabel BigQuery saat melewati periode retensi tenant Anda.

Set data tertaut

Set data tertaut berisi beberapa tabel, yang masing-masing sesuai dengan berbagai jenis data keamanan.

Catatan: Set data tertaut bersifat hanya baca. Ini adalah langkah keamanan penting untuk memastikan integritas dan akurasi data, yang dikelola secara eksklusif oleh pipeline platform Google SecOps.

Tabel berikut memberikan ringkasan set data yang tersedia, keaktualan data targetnya, dan kunci utama yang digunakan untuk memastikan integritas data:

Nama set data	Deskripsi	Keaktualan terbaik yang diharapkan	Kunci utama untuk penghapusan duplikat
events	Peristiwa keamanan yang dinormalisasi dalam skema UDM. Untuk mengetahui informasi tentang skema, lihat skema peristiwa Google SecOps.	< 5 menit	metadata.id (Representasi string)
rule_detections	Deteksi yang dihasilkan oleh aturan mesin deteksi Google SecOps. Untuk mengetahui informasi tentang skema, lihat Melihat pemberitahuan dan IoC di Google SecOps.	< 5 menit	Tidak ada
ioc_matches	Kecocokan IoC yang ditemukan dalam peristiwa UDM. Untuk mengetahui informasi tentang skema, lihat Melihat pemberitahuan dan IoC di Google SecOps.	< 5 menit	Tidak ada
entity_graph	Data kontekstual tentang entitas (pengguna, aset) dan hubungannya. Untuk mengetahui informasi tentang skema, lihat Memperkaya data peristiwa dan entitas dengan Google SecOps.	~4 jam (batch)	Tidak ada
ingestion_metrics	Statistik tentang volume penyerapan log dan sumber data. Untuk mengetahui informasi tentang skema, lihat Skema metrik penyerapan dan Referensi metrik penyerapan untuk Looker dan BigQuery di Google SecOps.	~5 menit	Tidak ada (deret waktu hanya untuk penambahan)

Sampel kueri

Contoh berikut menunjukkan cara membuat kueri set data untuk kasus penggunaan keamanan umum. Jangan lupa untuk mengganti PROJECT_ID dengan Google Cloud Project ID Anda yang sebenarnya.

Contoh—Temukan semua koneksi jaringan dari alamat IP tertentu dalam 24 jam terakhir

Kueri ini menelusuri tabel events untuk menemukan aktivitas jaringan terbaru dari alamat IP yang mencurigakan.

SELECT
  metadata.product_event_type,
  principal.ip,
  target.ip,
  network.application_protocol
FROM
  `PROJECT_ID.secops_linked_data.events`
WHERE
  principal.ip = '192.0.2.1'
  AND metadata.event_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR);

Contoh—Menghitung 10 deteksi aturan yang paling sering

Kueri ini pada tabel rule_detections membantu mengidentifikasi ancaman atau pelanggaran kebijakan yang paling umum yang terdeteksi di lingkungan Anda.

SELECT
  rule_name,
  COUNT(*) AS detection_count
FROM
  `PROJECT_ID.secops_linked_data.rule_detections`
WHERE
  detection.id IS NOT NULL
GROUP BY
  1
ORDER BY
  2 DESC
LIMIT
  10;

Praktik terbaik

Berikut adalah beberapa praktik terbaik untuk membuat kueri dengan Advanced BigQuery Export:

• Mengoptimalkan biaya: Hindari SELECT *. Dalam kueri, tentukan hanya kolom yang Anda butuhkan untuk mengurangi jumlah data yang dipindai dan menurunkan biaya kueri.
• Gunakan filter partisi: Tabel events dipartisi menurut kolom hour_time_bucket. Selalu sertakan filter klausa WHERE pada kolom ini untuk membatasi kueri ke jangka waktu terkecil yang memungkinkan, yang secara signifikan meningkatkan performa dan mengurangi biaya.
• Menulis kueri yang efisien: Skema UDM luas dan jarang. Untuk memfilter jenis peristiwa tertentu secara efisien, gunakan WHERE... IS NOT NULL pada kolom yang relevan. Misalnya, untuk menemukan hanya kueri DNS, filter WHERE network.dns.questions.name IS NOT NULL.
• Validasi kueri: Gunakan validator kueri di UI BigQuery sebelum Anda menjalankan kueri. Validator kueri memberikan perkiraan proses data, sehingga membantu Anda menghindari kueri yang tidak terduga besar dan mahal.

Batasan umum

Berikut adalah batasan umum fitur BigQuery Export Lanjutan:

• Latensi grafik entitas: Set data entity_graph diekspor menggunakan proses batch dan memiliki keaktualan data sekitar empat jam.
• Kunci Enkripsi yang Dikelola Pelanggan (CMEK): Advanced BigQuery Export tidak tersedia untuk pelanggan yang telah mengaktifkan CMEK di instance Google SecOps mereka.
• Kolom skema UDM: BigQuery memiliki batas lunak 10.000 kolom per tabel. Skema UDM berisi lebih dari 27.000 kolom dan jarang diisi. Pipeline ekspor secara cerdas hanya menyertakan kolom yang terisi untuk peristiwa tertentu, sehingga sebagian besar pelanggan tidak akan melampaui batas. Google SecOps memantau penggunaan kolom dan secara proaktif meminta peningkatan batas untuk project tenant Anda jika mendekati nilai minimum ini.
• Kebijakan retensi: Periode retensi data untuk semua data keamanan yang diekspor ke BigQuery otomatis disinkronkan dengan periode retensi data project Google SecOps Anda, dan tidak dapat dikonfigurasi secara terpisah.
• Data yang terlambat tiba: Dalam situasi yang jarang terjadi, jika data terlambat tiba secara signifikan ke pipeline pemrosesan, ada kemungkinan kecil bahwa data tersebut tidak digabungkan dengan benar. Sistem ini dirancang untuk meminimalkan hal ini, tetapi ini adalah karakteristik umum dari sistem streaming throughput tinggi yang mengandalkan konsistensi tertunda.
• Data yang dipertkaya: Cakupan terbatas pada peristiwa UDM yang dipertkaya satu kali. Peristiwa UDM yang diperkaya ulang tidak diekspor ke instance BigQuery project tenant Anda.
• Data historis: Ekspor data dimulai dari saat Advanced BigQuery Export diaktifkan, dan data lama tetap dapat diakses di project yang ada. Untuk membuat kueri data yang diekspor sebelum aktivasi Ekspor BigQuery Lanjutan, Anda harus menggunakan satu kueri yang menggabungkan data di kedua project, atau menjalankan dua kueri terpisah di masing-masing project (satu untuk set data lama dan satu untuk set data baru).

Pemecahan masalah dan dukungan

Tabel berikut memberikan solusi untuk masalah umum yang mungkin Anda alami:

Gejala yang diamati	Kemungkinan penyebab	Tindakan yang disarankan
Kueri gagal dengan Access Denied: User does not have permission.	Pengguna atau akun layanan tidak memiliki peran IAM BigQuery yang diperlukan di Google Cloud project yang ditautkan ke instance Google SecOps Anda.	Berikan peran BigQuery Data Viewer dan BigQuery Job User kepada prinsipal. Verifikasi ini menggunakan gcloud projects get-iam-policy YOUR_PROJECT_ID --flatten="bindings.members" --format='table(bindings.role)' --filter="bindings.members:user:[e-mail]"
Set data secops_linked_data tidak terlihat di project BigQuery saya.	1. Anda tidak berada di project Google Cloud yang benar. 2. Organisasi Anda tidak menggunakan paket Enterprise Plus. 3. Organisasi Anda menggunakan paket Enterprise Plus, tetapi Advanced BigQuery Export tidak diaktifkan di instance Google SecOps Anda.	1. Di konsol Google Cloud , pastikan Anda telah memilih project yang ditautkan ke instance Google SecOps Anda. 2. Hubungi perwakilan Google Anda untuk mengonfirmasi tingkat lisensi Google SecOps Anda. 3. Hubungi perwakilan Google SecOps Anda dan minta mereka untuk mengaktifkan Advanced BigQuery Export di instance Google SecOps Anda.
Melihat peristiwa yang tampaknya duplikat dalam hasil kueri.	Hal ini mungkin disebabkan oleh data yang terlambat tiba dalam aliran throughput tinggi. Sistem menggunakan semantik pengiriman minimal satu kali.	Jika Anda mencurigai adanya duplikat, kelompokkan kueri Anda berdasarkan kunci utama yang tercantum di Set data untuk mendapatkan jumlahnya.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.