Arsitektur dan alur data Google SecOps

Didukung di:

Lingkungan keamanan modern menghasilkan sejumlah besar telemetri di seluruh infrastruktur berbasis cloud, microservice, dan endpoint terdistribusi. Arsitektur Informasi Keamanan dan Manajemen Peristiwa (SIEM) lama sering kali kesulitan menskalakan volume data ini, sehingga menghasilkan kueri yang lambat dan visibilitas yang terfragmentasi.

Platform Google Security Operations menyediakan lapisan analisis keamanan berperforma tinggi yang terpadu. Dibangun di infrastruktur yang sama dengan infrastruktur yang digunakan layanan global inti Google, layanan ini menyerap dan membuat kueri telemetri keamanan berskala petabyte dengan latensi subdetik sekaligus menghilangkan perbedaan lama antara tingkat data aktif dan tidak aktif.

Dokumen ini menjelaskan arsitektur dan alur data Google SecOps, yang mencakup penyerapan, normalisasi UDM, deteksi ancaman YARA-L, dan respons otomatis.

Konvergensi kecerdasan, analisis, dan respons

Google SecOps menyatukan kemampuan operasi keamanan yang sebelumnya terpisah. Platform ini menggabungkan analisis SIEM dan Security Orchestration, Automation, and Response (SOAR) ke dalam platform yang terintegrasi erat. Selain itu, fitur ini menyematkan intelijen ancaman dari Google Threat Intelligence dan VirusTotal bersama dengan kemampuan AI generatif yang didukung oleh Gemini langsung ke dalam alur kerja investigasi dan deteksi.

Ringkasan arsitektur platform

Google SecOps beroperasi sebagai bidang keamanan berbasis cloud khusus yang dibangun di atas infrastruktur Google Cloud inti. Layanan ini mewarisi properti skalabilitas, ketahanan, dan performa layanan Google yang mendasarinya, termasuk Spanner dan Colossus.

Konteks sistem

Google SecOps berfungsi sebagai platform operasional pusat untuk lingkungan keamanan Anda, yang mengelola data di tiga tahap utama:

  • Input: Menyerap telemetri dari lingkungan hybrid, termasuk pengumpul data lokal (seperti agen BindPlane), API penyedia cloud, dan konektor Software-as-a-Service (SaaS) pihak ketiga langsung.
  • Processing core: Menormalisasi telemetri mentah ke dalam skema UDM terstruktur, mengevaluasi peristiwa menggunakan mesin deteksi YARA-L, dan mengatur alur kerja menggunakan mesin pengelolaan kasus SOAR.
  • Output: Memberikan insight penanganan insiden berbasis AI dan intelijen keamanan yang dapat ditindaklanjuti kepada analis sekaligus mengirimkan perintah penanganan otomatis kembali ke lingkungan target melalui API dan agen jarak jauh.

Diagram berikut menggambarkan konteks sistem dan alur data.

Arsitektur platform tingkat tinggi dan konteks ekosistem

Keunggulan infrastruktur

Keunggulan arsitektur utama Google SecOps adalah model penyimpanan aktif terpadunya. Arsitektur lama memindahkan telemetri yang lebih lama ke penyimpanan yang jarang diakses, sehingga memperlambat kueri atau memerlukan rehidrasi manual. Sebaliknya, Google SecOps menyimpan semua telemetri yang di-ingest dalam status aktif dan dapat dicari indeksnya hingga 12 bulan. Desain ini memungkinkan Anda menjalankan kueri di seluruh data historis selama setahun penuh dengan performa yang sama seperti membuat kueri pada jam terakhir.

Pipeline pengumpulan dan normalisasi data

Google SecOps menggunakan pipeline penyerapan throughput tinggi yang mengubah log mentah dan tidak terstruktur menjadi Model Data Terpadu (UDM) yang terstruktur. Selama normalisasi, pipeline memperkaya setiap peristiwa dengan metadata kontekstual dari Grafik Konteks Entitas.

Arsitektur pengumpulan

Penyerapan data terjadi di tiga vektor utama:

  • Pengumpul: Pengumpul berbasis agen (seperti agen BindPlane atau agen OpenTelemetry) yang di-deploy dalam jaringan lokal untuk menggabungkan data syslog dan paket. Pengumpul melakukan buffering, mengompresi, dan mengenkripsi telemetri di lapisan transport (TLS) sebelum meneruskannya ke Google SecOps.
  • API Penyerapan: Endpoint REST API langsung yang menyerap telemetri terstruktur dan tidak terstruktur dari layanan cloud, aplikasi kustom, dan pipeline serverless.
  • Integrasi pihak ketiga: Konektor bawaan berbasis penarikan yang mengambil log, pemberitahuan, dan data direktori langsung dari platform SaaS eksternal dan API cloud (seperti Microsoft 365 atau Microsoft Entra ID).

Alur pipeline pengumpulan dan penyiapan data

Diagram berikut menjelaskan langkah-langkah transformasi khusus dari data mentah ke format UDM.

Alur pipeline pengumpulan dan penyiapan data

Ringkasan skema Model Data Terpadu

Model Data Terpadu (UDM) menormalisasi log vendor yang berbeda-beda ke dalam satu skema terstruktur. Representasi standar ini menyederhanakan analisis dan penelusuran dengan memastikan bahwa entitas yang setara (seperti alamat IP, nama pengguna, atau hash file) memiliki jalur kolom yang konsisten di semua sumber log.

Arsitektur skema UDM

UDM menggunakan skema hierarkis yang sangat diketik untuk merepresentasikan peristiwa dan entitas keamanan. Layanan ini mengatur data ke dalam struktur logis inti berikut:

  • Metadata: Konteks tentang peristiwa log itu sendiri, termasuk stempel waktu peristiwa, waktu penyerapan, nama produk vendor, dan jenis peristiwa.
  • Principal: Entitas yang bertindak yang memulai aktivitas (seperti pengguna, host, alamat IP, atau proses asal).
  • Target: Entitas yang secara langsung terpengaruh oleh aktivitas (seperti file target, host tujuan, atau akun pengguna).
  • Sumber, perantara, dan pengamat: Peserta jaringan sekunder (seperti proxy penerusan, firewall, atau hop perutean) yang terlibat dalam transaksi.
  • Jaringan: Atribut protokol jaringan dan artefak transaksi (termasuk protokol aplikasi, kueri DNS, dan detail permintaan HTTP).
  • Hasil keamanan: Hasil tindakan atau tingkat keparahan yang dilaporkan oleh perangkat keamanan (seperti ALLOWED, BLOCKED, atau QUARANTINED).
  • Ekstensi: Kolom kustom dan pasangan nilai kunci khusus vendor yang berada di luar skema inti standar. Untuk mengetahui detail tentang pemetaan definisi dan pengembangan parser, lihat Mengonfigurasi parser kustom dan Kolom UDM penting.

Diagram class UDM

Diagram berikut memberikan cetak biru struktural UDM.

Diagram class UDM

Arsitektur penelusuran

Google SecOps menyediakan mekanisme penelusuran canggih yang disesuaikan dengan berbagai alur kerja investigasi. Anda dapat membuat kueri telemetri yang dinormalisasi di seluruh penyimpanan aktif, melakukan pencocokan pola terhadap log mentah yang tidak diuraikan, atau menelusuri data kasus terstruktur. Untuk panduan pengoptimalan, lihat Praktik terbaik penelusuran UDM.

Tabel berikut merangkum kemampuan penelusuran utama yang tersedia di seluruh platform:

Jenis penelusuran Fungsi arsitektur
Penelusuran UDM Mesin telusur terstruktur utama yang membuat kueri peristiwa UDM yang dinormalisasi dan diindeks di seluruh periode aktif 12 bulan. Solusi ini memungkinkan pemfilteran multi-bidang, agregasi, dan korelasi di berbagai sumber log yang berbeda.
Pemindaian log mentah Memindai string teks asli yang tidak diuraikan dari log yang di-ingest. Kemampuan ini mendukung penelusuran ekspresi reguler (`regex`) dan substring untuk artefak dan parameter kustom yang tidak dipetakan ke sintaksis UDM tertentu.
Penelusuran bahasa alami Menggunakan AI Gemini untuk menerjemahkan pertanyaan bahasa alami langsung ke dalam sintaksis penelusuran UDM formal, sehingga mempercepat alur kerja pembuatan kueri dan penyelidikan.
Penelusuran kasus Mesin telusur khusus dalam lapisan respons yang membuat kueri kasus investigasi, pemberitahuan, playbook, dan metadata entity yang diberi anotasi dalam database SOAR.

Loop deteksi dan respons ancaman

Arsitektur Google SecOps menciptakan feedback loop berkelanjutan antara analisis deteksi dan respons otomatis. Aturan deteksi menghasilkan pemberitahuan dengan fidelitas tinggi yang memicu alur kerja respons, sementara hasil investigasi memberikan masukan yang digunakan untuk menyempurnakan dan menyesuaikan logika deteksi di masa mendatang.

Arsitektur funnel deteksi

Mesin deteksi menggunakan pendekatan funnel multi-tahap untuk menyaring volume besar telemetri keamanan mentah menjadi pemberitahuan fidelitas tinggi:

  1. Penyerapan dan normalisasi: Log mentah terus diserap dan diformat ke dalam struktur peristiwa UDM standar.
  2. Pengayaan: Peristiwa diperkaya secara dinamis dengan pemetaan alias, data aset kontekstual, dan kecerdasan pendeteksi ancaman global dari sumber seperti Google Threat Intelligence.
  3. Evaluasi deteksi: Mesin YARA-L 2.0 stateful mengevaluasi peristiwa yang diperkaya terhadap aturan perilaku dan ancaman di seluruh periode waktu yang diperluas. Untuk panduan pengoptimalan aturan, lihat Praktik terbaik YARA-L.
  4. Penentuan prioritas dan pengelompokan: Deteksi yang cocok diagregasi ke dalam pemberitahuan, diberi skor risiko dinamis, dan dikelompokkan ke dalam kasus terpadu.

Dengan menggabungkan data aset kontekstual dengan inteligensi ancaman, strategi funnel ini memfilter anomali yang tidak berbahaya (mengurangi positif palsu) dan menandai ancaman yang sebenarnya (mengurangi negatif palsu), sehingga membantu tim keamanan Anda berfokus pada insiden yang dapat ditindaklanjuti.

Loop perbaikan

Feedback loop dan perbaikan otomatis

Pipeline deteksi dan respons menggabungkan evaluasi aturan stateful dengan triase dan pembatasan otomatis:

  1. Evaluasi berkelanjutan: Memperkaya aliran telemetri UDM melalui mesin deteksi YARA-L 2.0 yang stateful.
  2. Pembuatan kasus dan triase AI: Saat kondisi aturan terpenuhi, Google SecOps akan membuat pemberitahuan dan membuka kasus. Agen Penilai Tingkat Prioritas dan Penyelidikan berteknologi AI menjalankan penelusuran dinamis dan pencarian threat intelligence untuk mengevaluasi temuan.
  3. Eksekusi playbook otomatis: Jika triase AI mengonfirmasi positif benar, platform akan memicu playbook respons otomatis (seperti mengisolasi endpoint atau menangguhkan akun pengguna melalui agen jarak jauh). Jika diklasifikasikan sebagai positif palsu, kasus akan otomatis ditutup.
  4. Penyesuaian berkelanjutan: Hasil perbaikan dan keputusan triase analis akan diulang untuk menyempurnakan nilai minimum deteksi dan mengurangi positif palsu pada masa mendatang.
Loop perbaikan

Lapisan deteksi ancaman

Mesin YARA-L 2.0 mengevaluasi telemetri UDM yang masuk menggunakan pipeline streaming multi-tahap untuk mendeteksi anomali perilaku dan pola serangan multi-peristiwa di seluruh periode waktu yang diperpanjang. Anda juga dapat membuat dan menyempurnakan aturan YARA-L menggunakan Gemini.

Siklus proses pemrosesan untuk setiap aturan YARA-L mengikuti lima tahap evaluasi yang berbeda:

  1. Penyerapan (Ingest): Peristiwa UDM yang telah di-enrich masuk ke pipeline evaluasi deteksi secara real time.
  2. Pemfilteran (Filter): Peristiwa masuk dievaluasi berdasarkan kriteria peristiwa aturan (bagian events). Peristiwa yang tidak cocok akan dihapus, sedangkan peristiwa yang cocok akan diteruskan ke evaluasi stateful.
  3. Pemberian jendela kecocokan (Window): Peristiwa pencocokan dikelompokkan menurut kunci korelasi yang ditentukan di seluruh periode waktu yang ditentukan (mulai dari detik hingga 12 bulan). Mesin melacak beberapa timer stateful serentak (TimerStart hingga TimerEnd) saat peristiwa terakumulasi.
  4. Evaluasi kondisi (Condition): Saat periode pencocokan ditutup atau dipicu, mesin telusur mengevaluasi persyaratan nilai minimum dan ekspresi matematika yang ditentukan di bagian condition aturan (seperti jumlah peristiwa, nilai minimum yang berbeda, atau gabungan data lintas-sumber).
  5. Pemicuan (Trigger): Jika kondisi dievaluasi menjadi True, mesin akan membuat deteksi, memicu pemberitahuan, dan membuka atau memperbarui kasus di lapisan respons. Jika False, status akan dihapus tanpa memicu pemberitahuan.

Mesin status eksekusi aturan

Diagram berikut mengilustrasikan siklus proses eksekusi aturan.

Mesin status eksekusi aturan

Arsitektur respons dan eksekusi jarak jauh

Google SecOps SOAR mewakili pilar respons platform. SOAR beroperasi sebagai mesin orkestrasi di atas lapisan analisis untuk menyerap pemberitahuan, melakukan triase kasus, dan mengeksekusi alur kerja respons otomatis.

Orkestrasi, otomatisasi, dan investigasi

Lapisan respons mencakup alat khusus yang dirancang untuk menyederhanakan alur kerja Pusat Operasi Keamanan (SOC) di seluruh investigasi, pengelolaan kasus, dan otomatisasi playbook:

  • Pengelolaan kasus: Kelompokkan pemberitahuan terkait ke dalam kasus terpadu, urutkan dan filter antrean insiden, tetapkan tugas, dan berkolaborasi dalam penyelidikan dengan pelacakan audit penuh.
  • Desainer playbook: Buat playbook respons otomatis menggunakan kanvas tarik lalu lepas visual tanpa kode dengan tindakan integrasi bawaan.
  • Lingkungan pengembangan terintegrasi (IDE): Gunakan IDE berbasis kode bawaan untuk menulis skrip Python kustom, mengubah integrasi tindakan yang ada, dan men-debug alur kerja otomatisasi yang kompleks.
  • Tampilan investigasi dan penyelidik grafik: Memvisualisasikan jalur serangan dan hubungan antar-entitas menggunakan tampilan investigasi berbasis grafik. Ringkasan entitas khusus (seperti tampilan Aset, Alamat IP, Hash, Domain, dan Pengguna) menampilkan peristiwa linimasa yang relevan secara instan.
  • Dasbor dan pelaporan: Lacak metrik operasional SOC, beban kerja analis, dan waktu rata-rata untuk merespons (MTTR) menggunakan dasbor siap pakai atau widget pelaporan kustom.

Arsitektur komponen SOAR

Diagram berikut mengilustrasikan cara alur pemberitahuan yang masuk ke mesin pengelolaan kasus dan memicu alur kerja perbaikan otomatis di seluruh playbook visual dan integrasi IDE kustom.

Arsitektur komponen SOAR

Arsitektur agen jarak jauh

Untuk menjalankan tindakan perbaikan dalam jaringan pribadi (seperti pusat data lokal atau virtual private cloud), Google SecOps mengandalkan arsitektur agen jarak jauh yang aman dan hanya keluar.

Dalam model ini, platform Google SecOps tidak pernah memulai koneksi masuk ke lingkungan pribadi Anda:

  1. Inisiasi tugas: Saat tindakan playbook memerlukan eksekusi lokal, Google SecOps memublikasikan instruksi di seluruh antrean penayang yang aman yang dihosting di Google Cloud.
  2. Polling asinkron: Agen jarak jauh yang di-deploy di dalam lingkungan pribadi Anda terus melakukan polling pada antrean penayang melalui koneksi keluar yang dienkripsi TLS.
  3. Eksekusi lokal: Saat instruksi tugas diambil, agen jarak jauh menjalankan tindakan yang diperlukan secara lokal terhadap alat keamanan internal atau endpoint jaringan (seperti menonaktifkan akun atau memblokir port firewall).
  4. Pelaporan status: Setelah selesai, agen jarak jauh akan mengirimkan status tindakan dan log eksekusi ke antrean penayang melalui TLS, yang kemudian diambil dan ditampilkan di tampilan kasus SOAR.
Arsitektur agen jarak jauh

Keamanan, kepatuhan, dan tanggung jawab bersama

Sebagai platform berbasis cloud, Google SecOps beroperasi berdasarkan model tanggung jawab bersama: Google bertanggung jawab atas keamanan platform, sedangkan Anda bertanggung jawab atas keamanan di platform.

Model tanggung jawab bersama

Google SecOps mewarisi desain keamanan inti, kemampuan komputasi, dan arsitektur penyimpanan infrastruktur Google Cloud . Dalam model ini:

  • Google mengelola: Keamanan fisik pusat data, infrastruktur cloud yang mendasarinya, ketersediaan platform, dan enkripsi default data saat disimpan dan saat transit.
  • Anda mengelola: Tata kelola data, kontrol akses, dan RBAC data yang dikonfigurasi melalui Identity and Access Management (IAM), aturan deteksi kustom, dan setelan kepatuhan tenant.

Semua persyaratan kepatuhan, aturan residensi data, dan kebijakan akses diwarisi dan diterapkan dari hierarki organisasi Anda hingga melalui folder dan project ke tenant yang dikontrol kepatuhannya.

Kepatuhan dan kesiapan perusahaan

Untuk memenuhi persyaratan tata kelola organisasi dan peraturan yang ketat, Google SecOps menawarkan tenant yang dikontrol kepatuhannya. Tenant ini menerapkan standar keamanan yang ketat melalui Assured Workloads, yang mendukung framework kepatuhan terhadap peraturan dan paket perlindungan data teknis.

Framework kepatuhan terhadap peraturan yang didukung:

  • FedRAMP: Tingkat dampak sedang dan tinggi (FEDRAMP_MODERATE, FEDRAMP_HIGH)
  • Tingkat Dampak DoD: IL4 dan IL5 (IL4_AND_IL5)
  • Layanan Kesehatan dan Keuangan: HIPAA dan PCI DSS (HIPAA, PCI_DSS)

Untuk men-deploy tenant yang dikontrol kepatuhannya, tautkan instance Google SecOps Anda ke Google Cloud project yang berada dalam folder Assured Workloads yang dikonfigurasi untuk paket kontrol yang diperlukan.

Konfigurasi Assured Workloads

Residensi data dan transparansi akses

Google SecOps menerapkan isolasi tenant logis yang ketat dan mendukung Transparansi Akses untuk memberi Anda kontrol yang dapat diverifikasi dan visibilitas audit atas akses data administratif.

Paket residensi dan keamanan data yang didukung:

  • Kunci enkripsi yang dikelola pelanggan (CMEK): Mengontrol dan mengelola kunci yang digunakan untuk mengenkripsi data dalam penyimpanan (CMEK_V1).
  • Residensi data lanjutan: Menerapkan batas residensi data regional dan kontrol akses administratif (DRZ_ADVANCED).
  • Kontrol Layanan VPC: Buat perimeter yang aman dan disesuaikan di sekitar resource keamanan cloud Anda menggunakan Kontrol Layanan VPC (VPC-SC).

Arsitektur keamanan platform ini mengandalkan model pewarisan empat lapisan, di mana kontrol keamanan administratif Anda dibangun di atas fondasi yang diperkuat dari infrastruktur inti Google:

Residensi data dan transparansi akses

Stack keamanan empat lapis:

  1. Lapisan kontrol keamanan pelanggan: Kontrol administratif tingkat tinggi Anda, termasuk kontrol akses berbasis peran (RBAC) yang dikelola melalui Identity and Access Management (IAM), Kunci Enkripsi yang Dikelola Pelanggan (CMEK), dan kebijakan residensi data regional.
  2. Lapisan keamanan platform: Isolasi tenant logis, enkripsi default untuk data saat disimpan dan dalam pengiriman (TLS), serta logging audit Transparansi Akses.
  3. Lapisan infrastruktur Google: Infrastruktur komputasi dan penyimpanan inti, termasuk pengelolaan cluster Borg, penyimpanan terdistribusi Colossus, dan database global Spanner.
  4. Lapisan keamanan fisik: Keamanan dasar yang didukung oleh pusat data perusahaan Google, kontrol biometrik multi-faktor, dan chip keamanan Titan kustom (roots of trust).

Misalnya, jika Transparansi Akses diaktifkan, spesialis dukungan atau engineer Google yang mengakses data tenant Anda untuk menyelesaikan tiket dukungan harus mengirimkan justifikasi akses kriptografi yang valid. Permintaan akses ini dicatat dengan aman dan ditampilkan di log audit Anda secara hampir real-time.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.