Mengumpulkan Google Cloud Log Aliran VPC
Versi Parser: 6.0
Dokumen ini menjelaskan cara menyerap Google Cloud Log Aliran VPC ke Google Security Operations menggunakan Cloud Storage.
Log Aliran VPC mencatat sampel aliran jaringan yang dikirim dari dan diterima oleh instance VM, termasuk instance yang digunakan sebagai node Google Kubernetes Engine. Log ini dapat digunakan untuk pemantauan jaringan, forensik, analisis keamanan real-time, dan pengoptimalan biaya. Log alur digabungkan berdasarkan koneksi pada interval yang dapat dikonfigurasi dan diekspor mendekati real-time melalui Cloud Logging. Sink Logging merutekan Log Aliran VPC ke bucket Cloud Storage, tempat Google SecOps menyerapnya.
Sebelum memulai
Pastikan Anda memiliki prasyarat berikut:
- Instance Google SecOps
- Project Google Cloud dengan API berikut diaktifkan:
- Cloud Storage API
- Cloud Logging API
- Compute Engine API
- Izin untuk:
- Mengaktifkan Log Aliran Traffic VPC di subnet
- Membuat dan mengelola bucket Cloud Storage
- Mengelola kebijakan Identity and Access Management (IAM) di bucket Cloud Storage
- Membuat dan mengelola sink Cloud Logging API
- Setidaknya satu subnet VPC tempat Anda ingin mengaktifkan Log Aliran VPC
Mengaktifkan Log Aliran Traffic VPC di subnet
Sebelum mengonfigurasi pipeline penyerapan, pastikan Log Aliran VPC diaktifkan di subnet target. Google Cloud mendukung dua API untuk mengelola Log Aliran VPC: Network Management API (direkomendasikan) dan Compute Engine API.
Menggunakan konsol Google Cloud (Network Management API)
- Di konsolGoogle Cloud , buka Jaringan VPC > Jaringan VPC.
- Klik tab Subnets in current project.
- Pilih subnet tempat Anda ingin mengaktifkan log alur.
- Klik Manage flow logs.
- Klik Tambahkan konfigurasi baru.
- Masukkan nama konfigurasi.
- Konfigurasikan setelan opsional berikut:
- Aggregation interval: Pilih interval agregasi (default: 5 detik). Interval yang lebih pendek memberikan data yang lebih terperinci, tetapi meningkatkan volume log.
- Include metadata: Pilih Include all metadata untuk menyertakan detail instance VM dan VPC.
- Secondary sampling rate: Tetapkan frekuensi sampling (default: 100% untuk Network Management API). Rasio yang lebih tinggi menangkap lebih banyak aliran, tetapi meningkatkan volume log.
- Filter expression: Ekspresi filter CEL opsional untuk menyertakan atau mengecualikan flow tertentu (maksimum 2.048 karakter).
- Klik Simpan.
Menggunakan alat command line gcloud (Network Management API)
Gunakan sintaksis berikut:
gcloud network-management vpc-flow-logs-configs create <CONFIG_NAME> \ --location=global \ --subnet=projects/<PROJECT_ID>/regions/<REGION>/subnetworks/<SUBNET_NAME> \ --aggregation-interval=INTERVAL_5_SEC \ --metadata=INCLUDE_ALL_METADATA \ --flow-sampling=1.0
Ganti:
<CONFIG_NAME>: Nama konfigurasi deskriptif (misalnya,vpc-flow-logs-config)<PROJECT_ID>: Project ID Google Cloud Anda<REGION>: Region subnet (misalnya,us-central1)<SUBNET_NAME>: Nama subnet Anda
Menggunakan alat command line gcloud (Compute Engine API)
Gunakan sintaksis berikut:
gcloud compute networks subnets update <SUBNET_NAME> \ --region=<REGION> \ --enable-flow-logs \ --logging-aggregation-interval=interval-5-sec \ --logging-metadata=include-all \ --logging-flow-sampling=0.5 \ --project=<PROJECT_ID>
Ganti:
<SUBNET_NAME>: Nama subnet Anda<REGION>: Region subnet (misalnya,us-central1)<PROJECT_ID>: Project ID Google Cloud Anda
Membuat bucket Cloud Storage
- Buka konsolGoogle Cloud .
- Pilih project Anda.
- Di menu navigasi, buka Cloud Storage > Buckets.
- Klik Create bucket.
Berikan detail konfigurasi berikut:
Setelan Nilai Memberi nama bucket Anda Masukkan nama yang unik secara global (misalnya, vpc-flow-logs-bucket)Location type Pilih sesuai kebutuhan Anda (Region, Dual-region, Multi-region) Location Pilih lokasi (misalnya, us-central1)Kelas penyimpanan Standard (direkomendasikan untuk log yang sering diakses) Kontrol akses Seragam (direkomendasikan) Alat perlindungan Opsional: Mengaktifkan pembuatan versi objek atau kebijakan retensi Klik Create.
Membuat sink Logging untuk mengekspor Log Aliran VPC ke Cloud Storage
Sink Logging merutekan Log Aliran VPC dari Logging ke bucket Cloud Storage. Google SecOps kemudian menyerap objek yang diekspor dari bucket.
Membuat sink log
- Di konsolGoogle Cloud , buka Logging > Log Router.
- Klik Create sink.
- Berikan detail konfigurasi berikut:
- Sink name: Masukkan nama deskriptif (misalnya,
vpc-flow-to-gcs). - Deskripsi sink: Masukkan
Route VPC Flow Logs to Cloud Storage for Google SecOps ingestion.
- Sink name: Masukkan nama deskriptif (misalnya,
- Klik Berikutnya.
- Di bagian Select sink service:
- Sink service: Pilih bucket Cloud Storage.
- Pilih bucket Cloud Storage: Pilih bucket
vpc-flow-logs-bucket.
- Klik Berikutnya.
Di bagian Choose logs to include in sink, masukkan filter berikut untuk mengambil VPC Flow Logs:
resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows")resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows") AND resource.labels.subnetwork_name="<SUBNET_NAME>"- Ganti
<SUBNET_NAME>dengan nama subnet target.
- Ganti
Klik Berikutnya.
Tinjau konfigurasi, lalu klik Create sink.
Memberikan izin kepada penulis sink untuk menulis ke bucket
Setelah membuat sink, Logging akan menetapkan akun layanan penulis (identitas penulis) ke sink. Berikan izin kepada identitas ini untuk menulis objek ke bucket.
- Buka Logging > Log Router.
- Temukan sink
vpc-flow-to-gcs, klik menu tiga titik, lalu pilih View sink details. - Salin nilai Writer identity (dalam format
serviceAccount:p<PROJECT_NUMBER>-<ID>@gcp-sa-logging.iam.gserviceaccount.com). - Buka Cloud Storage > Buckets.
- Klik bucket
vpc-flow-logs-bucket. - Buka tab Izin.
- Klik Grant access.
- Berikan detail konfigurasi berikut:
- Add principals: Tempelkan identitas penulis sink (tanpa awalan
serviceAccount:). - Assign roles: Pilih Storage Object Creator (
roles/storage.objectCreator).
- Add principals: Tempelkan identitas penulis sink (tanpa awalan
- Klik Simpan.
Memastikan log diekspor
- Buka Cloud Storage > Buckets.
- Klik bucket
vpc-flow-logs-bucket. - Tunggu beberapa menit hingga sink menulis objek pertama.
Pastikan folder bernama
compute.googleapis.com/vpc_flows/(atau jalur bertanggal) telah dibuat dan berisi file log yang diekspor.
Mengonfigurasi feed di Google SecOps untuk menyerap Log Aliran VPC
- Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
- Klik Tambahkan Feed Berita Baru.
- Klik Konfigurasi satu feed.
- Di kolom Nama feed, masukkan nama untuk feed (misalnya,
GCP VPC Flow Logs). - Pilih Google Cloud Storage V2 sebagai Source type.
- Pilih GCP VPC Flow sebagai Log type.
Klik Get Service Account. Email akun layanan yang unik akan ditampilkan, misalnya:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comSalin alamat email ini. Anda akan menggunakannya pada langkah berikutnya.
Klik Berikutnya.
Tentukan nilai untuk parameter input berikut:
Storage bucket URI: Masukkan URI bucket Cloud Storage dengan jalur awalan:
gs://vpc-flow-logs-bucket/compute.googleapis.com/vpc_flows/- Ganti:
vpc-flow-logs-bucket: Nama bucket Cloud Storage Anda.compute.googleapis.com/vpc_flows: Jalur awalan/folder opsional tempat sink menulis log (biarkan kosong untuk root).
- Ganti:
Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda:
- Never: Tidak pernah menghapus file apa pun setelah transfer (direkomendasikan untuk pengujian).
- Delete transferred files: Menghapus file setelah transfer berhasil.
- Delete transferred files and empty directories: Menghapus file dan direktori kosong setelah transfer berhasil.
Usia File Maksimum (Hari): Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.
Namespace aset: Namespace aset.
Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.
Klik Berikutnya.
Tinjau konfigurasi feed berita baru Anda di layar Finalize, lalu klik Submit.
Memberikan izin IAM ke akun layanan Google SecOps
Akun layanan Google SecOps memerlukan peran Storage Object Viewer di bucket Cloud Storage Anda.
- Buka Cloud Storage > Buckets.
- Klik bucket
vpc-flow-logs-bucket. - Buka tab Izin.
- Klik Grant access.
- Berikan detail konfigurasi berikut:
- Add principals: Tempel email akun layanan Google SecOps.
- Assign roles: Pilih Storage Object Viewer (
roles/storage.objectViewer).
Klik Simpan.
Tabel pemetaan UDM
| Kolom Log | Pemetaan UDM | Logika |
|---|---|---|
_field |
additional.fields |
Digabung |
textpayload_label |
additional.fields |
Digabung |
tunnel_id_label |
additional.fields |
Digabung |
description |
metadata.description |
Dipetakan secara langsung |
timestamp |
metadata.event_timestamp |
Diurai sebagai ISO8601 |
ts |
metadata.event_timestamp |
Diurai sebagai ISO8601 |
event_type |
metadata.event_type |
Dipetakan secara langsung |
product_event_type |
metadata.product_event_type |
Dipetakan secara langsung |
product_log_id |
metadata.product_log_id |
Dipetakan secara langsung |
product_name |
metadata.product_name |
Dipetakan secara langsung |
product_version |
metadata.product_version |
Dipetakan secara langsung |
vendor_name |
metadata.vendor_name |
Dipetakan secara langsung |
ip_protocol_out |
network.ip_protocol |
Dipetakan secara langsung |
jsonPayload.bytes_sent |
network.sent_bytes |
Diganti namanya/dipetakan |
jsonPayload.packets_sent |
network.sent_packets |
Diganti namanya/dipetakan |
principal.ip |
principal.asset.ip |
Digabung |
target.ip |
principal.asset.ip |
Digabung |
jsonPayload.src_instance.vm_name |
principal.hostname |
Dipetakan secara langsung |
target.hostname |
principal.hostname |
Diganti namanya/dipetakan |
jsonPayload.connection.src_ip |
principal.ip |
Dipetakan secara langsung |
target.ip |
principal.ip |
Digabung |
jsonPayload.src_location.city |
principal.location.city |
Dipetakan secara langsung |
target.location.city |
principal.location.city |
Diganti namanya/dipetakan |
jsonPayload.src_location.country |
principal.location.country_or_region |
Dipetakan secara langsung |
target.location.country_or_region |
principal.location.country_or_region |
Diganti namanya/dipetakan |
jsonPayload.src_instance.region |
principal.location.name |
Dipetakan secara langsung |
resource.labels.location |
principal.location.name |
Dipetakan secara langsung |
target.location.name |
principal.location.name |
Diganti namanya/dipetakan |
jsonPayload.src_location.region |
principal.location.state |
Dipetakan secara langsung |
target.location.state |
principal.location.state |
Diganti namanya/dipetakan |
jsonPayload.src_vpc.project_id |
principal.namespace |
Dipetakan secara langsung |
jsonPayload.src_vpc.vpc_name |
principal.namespace |
Dipetakan secara langsung |
target.namespace |
principal.namespace |
Diganti namanya/dipetakan |
jsonPayload.connection.src_port |
principal.port |
Dipetakan secara langsung |
_field |
principal.resource.attribute.labels |
Digabung |
key |
principal.resource.attribute.labels |
Dipetakan: jsonPayload_src_google_service_type → _field |
src_gke_cluster_location |
principal.resource.attribute.labels |
Digabung |
src_gke_cluster_name |
principal.resource.attribute.labels |
Digabung |
src_gke_namespace |
principal.resource.attribute.labels |
Digabung |
src_gke_pod_name |
principal.resource.attribute.labels |
Digabung |
logName |
security_result.category_details |
Digabung |
severity |
security_result.severity |
Dipetakan: DEBUG → LOW |
principal.ip |
target.asset.ip |
Digabung |
target.ip |
target.asset.ip |
Digabung |
jsonPayload.dest_instance.vm_name |
target.hostname |
Dipetakan secara langsung |
principal.hostname |
target.hostname |
Diganti namanya/dipetakan |
jsonPayload.connection.dest_ip |
target.ip |
Dipetakan secara langsung |
principal.ip |
target.ip |
Digabung |
jsonPayload.dest_location.city |
target.location.city |
Dipetakan secara langsung |
principal.location.city |
target.location.city |
Diganti namanya/dipetakan |
jsonPayload.dest_location.country |
target.location.country_or_region |
Dipetakan secara langsung |
principal.location.country_or_region |
target.location.country_or_region |
Diganti namanya/dipetakan |
jsonPayload.dest_instance.region |
target.location.name |
Dipetakan secara langsung |
principal.location.name |
target.location.name |
Diganti namanya/dipetakan |
jsonPayload.dest_location.region |
target.location.state |
Dipetakan secara langsung |
principal.location.state |
target.location.state |
Diganti namanya/dipetakan |
jsonPayload.dest_vpc.project_id |
target.namespace |
Dipetakan secara langsung |
jsonPayload.dest_vpc.vpc_name |
target.namespace |
Dipetakan secara langsung |
principal.namespace |
target.namespace |
Diganti namanya/dipetakan |
jsonPayload.connection.dest_port |
target.port |
Diganti namanya/dipetakan |
dest_gke_cluster_location |
target.resource.attribute.labels |
Digabung |
dest_gke_cluster_name |
target.resource.attribute.labels |
Digabung |
dest_gke_namespace |
target.resource.attribute.labels |
Digabung |
dest_gke_pod_name |
target.resource.attribute.labels |
Digabung |
service_name_label |
target.resource.attribute.labels |
Digabung |
service_namespace_label |
target.resource.attribute.labels |
Digabung |
subnetwork_id_field |
target.user.attribute.labels |
Digabung |
| T/A | network.direction |
Konstanta: OUTBOUND |
| T/A | network.ip_protocol |
Konstanta: network.ip_protocol |
| T/A | network.sent_bytes |
Konstanta: network.sent_bytes |
| T/A | principal.hostname |
Konstanta: target.hostname |
| T/A | principal.location.city |
Konstanta: target.location.city |
| T/A | principal.location.country_or_region |
Konstanta: target.location.country_or_region |
| T/A | principal.location.name |
Konstanta: target.location.name |
| T/A | principal.location.state |
Konstanta: target.location.state |
| T/A | principal.namespace |
Konstanta: target.namespace |
| T/A | principal.port |
Konstanta: principal.port |
| T/A | security_result.severity |
Konstanta: LOW |
| T/A | target.hostname |
Konstanta: principal.hostname |
| T/A | target.location.city |
Konstanta: principal.location.city |
| T/A | target.location.country_or_region |
Konstanta: principal.location.country_or_re... |
| T/A | target.location.name |
Konstanta: principal.location.name |
| T/A | target.location.state |
Konstanta: principal.location.state |
| T/A | target.namespace |
Konstanta: principal.namespace |
| T/A | target.port |
Konstanta: -99 |
resource.labels.subnetwork_id |
target.user.attribute.labels |
Dipetakan dari log perubahan |
Log Perubahan
Melihat Log Perubahan untuk parser ini
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.