Mengumpulkan Google Cloud Log Aliran VPC

Versi Parser: 6.0

Didukung di:

Dokumen ini menjelaskan cara menyerap Google Cloud Log Aliran VPC ke Google Security Operations menggunakan Cloud Storage.

Log Aliran VPC mencatat sampel aliran jaringan yang dikirim dari dan diterima oleh instance VM, termasuk instance yang digunakan sebagai node Google Kubernetes Engine. Log ini dapat digunakan untuk pemantauan jaringan, forensik, analisis keamanan real-time, dan pengoptimalan biaya. Log alur digabungkan berdasarkan koneksi pada interval yang dapat dikonfigurasi dan diekspor mendekati real-time melalui Cloud Logging. Sink Logging merutekan Log Aliran VPC ke bucket Cloud Storage, tempat Google SecOps menyerapnya.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps
  • Project Google Cloud dengan API berikut diaktifkan:
    • Cloud Storage API
    • Cloud Logging API
    • Compute Engine API
  • Izin untuk:
    • Mengaktifkan Log Aliran Traffic VPC di subnet
    • Membuat dan mengelola bucket Cloud Storage
    • Mengelola kebijakan Identity and Access Management (IAM) di bucket Cloud Storage
    • Membuat dan mengelola sink Cloud Logging API
  • Setidaknya satu subnet VPC tempat Anda ingin mengaktifkan Log Aliran VPC

Mengaktifkan Log Aliran Traffic VPC di subnet

Sebelum mengonfigurasi pipeline penyerapan, pastikan Log Aliran VPC diaktifkan di subnet target. Google Cloud mendukung dua API untuk mengelola Log Aliran VPC: Network Management API (direkomendasikan) dan Compute Engine API.

Menggunakan konsol Google Cloud (Network Management API)

  1. Di konsolGoogle Cloud , buka Jaringan VPC > Jaringan VPC.
  2. Klik tab Subnets in current project.
  3. Pilih subnet tempat Anda ingin mengaktifkan log alur.
  4. Klik Manage flow logs.
  5. Klik Tambahkan konfigurasi baru.
  6. Masukkan nama konfigurasi.
  7. Konfigurasikan setelan opsional berikut:
    • Aggregation interval: Pilih interval agregasi (default: 5 detik). Interval yang lebih pendek memberikan data yang lebih terperinci, tetapi meningkatkan volume log.
    • Include metadata: Pilih Include all metadata untuk menyertakan detail instance VM dan VPC.
    • Secondary sampling rate: Tetapkan frekuensi sampling (default: 100% untuk Network Management API). Rasio yang lebih tinggi menangkap lebih banyak aliran, tetapi meningkatkan volume log.
    • Filter expression: Ekspresi filter CEL opsional untuk menyertakan atau mengecualikan flow tertentu (maksimum 2.048 karakter).
  8. Klik Simpan.

Menggunakan alat command line gcloud (Network Management API)

  • Gunakan sintaksis berikut:

    gcloud network-management vpc-flow-logs-configs create <CONFIG_NAME> \
            --location=global \
            --subnet=projects/<PROJECT_ID>/regions/<REGION>/subnetworks/<SUBNET_NAME> \
            --aggregation-interval=INTERVAL_5_SEC \
            --metadata=INCLUDE_ALL_METADATA \
            --flow-sampling=1.0
    

Ganti:

  • <CONFIG_NAME>: Nama konfigurasi deskriptif (misalnya, vpc-flow-logs-config)
  • <PROJECT_ID>: Project ID Google Cloud Anda
  • <REGION>: Region subnet (misalnya, us-central1)
  • <SUBNET_NAME>: Nama subnet Anda

Menggunakan alat command line gcloud (Compute Engine API)

  • Gunakan sintaksis berikut:

    gcloud compute networks subnets update <SUBNET_NAME> \
            --region=<REGION> \
            --enable-flow-logs \
            --logging-aggregation-interval=interval-5-sec \
            --logging-metadata=include-all \
            --logging-flow-sampling=0.5 \
            --project=<PROJECT_ID>
    

Ganti:

  • <SUBNET_NAME>: Nama subnet Anda
  • <REGION>: Region subnet (misalnya, us-central1)
  • <PROJECT_ID>: Project ID Google Cloud Anda

Membuat bucket Cloud Storage

  1. Buka konsolGoogle Cloud .
  2. Pilih project Anda.
  3. Di menu navigasi, buka Cloud Storage > Buckets.
  4. Klik Create bucket.
  5. Berikan detail konfigurasi berikut:

    Setelan Nilai
    Memberi nama bucket Anda Masukkan nama yang unik secara global (misalnya, vpc-flow-logs-bucket)
    Location type Pilih sesuai kebutuhan Anda (Region, Dual-region, Multi-region)
    Location Pilih lokasi (misalnya, us-central1)
    Kelas penyimpanan Standard (direkomendasikan untuk log yang sering diakses)
    Kontrol akses Seragam (direkomendasikan)
    Alat perlindungan Opsional: Mengaktifkan pembuatan versi objek atau kebijakan retensi
  6. Klik Create.

Membuat sink Logging untuk mengekspor Log Aliran VPC ke Cloud Storage

Sink Logging merutekan Log Aliran VPC dari Logging ke bucket Cloud Storage. Google SecOps kemudian menyerap objek yang diekspor dari bucket.

Membuat sink log

  1. Di konsolGoogle Cloud , buka Logging > Log Router.
  2. Klik Create sink.
  3. Berikan detail konfigurasi berikut:
    • Sink name: Masukkan nama deskriptif (misalnya, vpc-flow-to-gcs).
    • Deskripsi sink: Masukkan Route VPC Flow Logs to Cloud Storage for Google SecOps ingestion.
  4. Klik Berikutnya.
  5. Di bagian Select sink service:
    • Sink service: Pilih bucket Cloud Storage.
    • Pilih bucket Cloud Storage: Pilih bucket vpc-flow-logs-bucket.
  6. Klik Berikutnya.
  7. Di bagian Choose logs to include in sink, masukkan filter berikut untuk mengambil VPC Flow Logs:

    resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows")
    
    resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows") AND resource.labels.subnetwork_name="<SUBNET_NAME>"
    
    • Ganti <SUBNET_NAME> dengan nama subnet target.
  8. Klik Berikutnya.

  9. Tinjau konfigurasi, lalu klik Create sink.

Memberikan izin kepada penulis sink untuk menulis ke bucket

Setelah membuat sink, Logging akan menetapkan akun layanan penulis (identitas penulis) ke sink. Berikan izin kepada identitas ini untuk menulis objek ke bucket.

  1. Buka Logging > Log Router.
  2. Temukan sink vpc-flow-to-gcs, klik menu tiga titik, lalu pilih View sink details.
  3. Salin nilai Writer identity (dalam format serviceAccount:p<PROJECT_NUMBER>-<ID>@gcp-sa-logging.iam.gserviceaccount.com).
  4. Buka Cloud Storage > Buckets.
  5. Klik bucket vpc-flow-logs-bucket.
  6. Buka tab Izin.
  7. Klik Grant access.
  8. Berikan detail konfigurasi berikut:
    • Add principals: Tempelkan identitas penulis sink (tanpa awalan serviceAccount:).
    • Assign roles: Pilih Storage Object Creator (roles/storage.objectCreator).
  9. Klik Simpan.

Memastikan log diekspor

  1. Buka Cloud Storage > Buckets.
  2. Klik bucket vpc-flow-logs-bucket.
  3. Tunggu beberapa menit hingga sink menulis objek pertama.
  4. Pastikan folder bernama compute.googleapis.com/vpc_flows/ (atau jalur bertanggal) telah dibuat dan berisi file log yang diekspor.

Mengonfigurasi feed di Google SecOps untuk menyerap Log Aliran VPC

  1. Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
  2. Klik Tambahkan Feed Berita Baru.
  3. Klik Konfigurasi satu feed.
  4. Di kolom Nama feed, masukkan nama untuk feed (misalnya, GCP VPC Flow Logs).
  5. Pilih Google Cloud Storage V2 sebagai Source type.
  6. Pilih GCP VPC Flow sebagai Log type.
  7. Klik Get Service Account. Email akun layanan yang unik akan ditampilkan, misalnya:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Salin alamat email ini. Anda akan menggunakannya pada langkah berikutnya.

  9. Klik Berikutnya.

  10. Tentukan nilai untuk parameter input berikut:

    • Storage bucket URI: Masukkan URI bucket Cloud Storage dengan jalur awalan:

      gs://vpc-flow-logs-bucket/compute.googleapis.com/vpc_flows/
      
      • Ganti:
        • vpc-flow-logs-bucket: Nama bucket Cloud Storage Anda.
        • compute.googleapis.com/vpc_flows: Jalur awalan/folder opsional tempat sink menulis log (biarkan kosong untuk root).
    • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda:

      • Never: Tidak pernah menghapus file apa pun setelah transfer (direkomendasikan untuk pengujian).
      • Delete transferred files: Menghapus file setelah transfer berhasil.
      • Delete transferred files and empty directories: Menghapus file dan direktori kosong setelah transfer berhasil.
    • Usia File Maksimum (Hari): Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.

    • Namespace aset: Namespace aset.

    • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.

  11. Klik Berikutnya.

  12. Tinjau konfigurasi feed berita baru Anda di layar Finalize, lalu klik Submit.

Memberikan izin IAM ke akun layanan Google SecOps

Akun layanan Google SecOps memerlukan peran Storage Object Viewer di bucket Cloud Storage Anda.

  1. Buka Cloud Storage > Buckets.
  2. Klik bucket vpc-flow-logs-bucket.
  3. Buka tab Izin.
  4. Klik Grant access.
  5. Berikan detail konfigurasi berikut:
    • Add principals: Tempel email akun layanan Google SecOps.
    • Assign roles: Pilih Storage Object Viewer (roles/storage.objectViewer).
  6. Klik Simpan.

Tabel pemetaan UDM

Kolom Log Pemetaan UDM Logika
_field additional.fields Digabung
textpayload_label additional.fields Digabung
tunnel_id_label additional.fields Digabung
description metadata.description Dipetakan secara langsung
timestamp metadata.event_timestamp Diurai sebagai ISO8601
ts metadata.event_timestamp Diurai sebagai ISO8601
event_type metadata.event_type Dipetakan secara langsung
product_event_type metadata.product_event_type Dipetakan secara langsung
product_log_id metadata.product_log_id Dipetakan secara langsung
product_name metadata.product_name Dipetakan secara langsung
product_version metadata.product_version Dipetakan secara langsung
vendor_name metadata.vendor_name Dipetakan secara langsung
ip_protocol_out network.ip_protocol Dipetakan secara langsung
jsonPayload.bytes_sent network.sent_bytes Diganti namanya/dipetakan
jsonPayload.packets_sent network.sent_packets Diganti namanya/dipetakan
principal.ip principal.asset.ip Digabung
target.ip principal.asset.ip Digabung
jsonPayload.src_instance.vm_name principal.hostname Dipetakan secara langsung
target.hostname principal.hostname Diganti namanya/dipetakan
jsonPayload.connection.src_ip principal.ip Dipetakan secara langsung
target.ip principal.ip Digabung
jsonPayload.src_location.city principal.location.city Dipetakan secara langsung
target.location.city principal.location.city Diganti namanya/dipetakan
jsonPayload.src_location.country principal.location.country_or_region Dipetakan secara langsung
target.location.country_or_region principal.location.country_or_region Diganti namanya/dipetakan
jsonPayload.src_instance.region principal.location.name Dipetakan secara langsung
resource.labels.location principal.location.name Dipetakan secara langsung
target.location.name principal.location.name Diganti namanya/dipetakan
jsonPayload.src_location.region principal.location.state Dipetakan secara langsung
target.location.state principal.location.state Diganti namanya/dipetakan
jsonPayload.src_vpc.project_id principal.namespace Dipetakan secara langsung
jsonPayload.src_vpc.vpc_name principal.namespace Dipetakan secara langsung
target.namespace principal.namespace Diganti namanya/dipetakan
jsonPayload.connection.src_port principal.port Dipetakan secara langsung
_field principal.resource.attribute.labels Digabung
key principal.resource.attribute.labels Dipetakan: jsonPayload_src_google_service_type → _field
src_gke_cluster_location principal.resource.attribute.labels Digabung
src_gke_cluster_name principal.resource.attribute.labels Digabung
src_gke_namespace principal.resource.attribute.labels Digabung
src_gke_pod_name principal.resource.attribute.labels Digabung
logName security_result.category_details Digabung
severity security_result.severity Dipetakan: DEBUG → LOW
principal.ip target.asset.ip Digabung
target.ip target.asset.ip Digabung
jsonPayload.dest_instance.vm_name target.hostname Dipetakan secara langsung
principal.hostname target.hostname Diganti namanya/dipetakan
jsonPayload.connection.dest_ip target.ip Dipetakan secara langsung
principal.ip target.ip Digabung
jsonPayload.dest_location.city target.location.city Dipetakan secara langsung
principal.location.city target.location.city Diganti namanya/dipetakan
jsonPayload.dest_location.country target.location.country_or_region Dipetakan secara langsung
principal.location.country_or_region target.location.country_or_region Diganti namanya/dipetakan
jsonPayload.dest_instance.region target.location.name Dipetakan secara langsung
principal.location.name target.location.name Diganti namanya/dipetakan
jsonPayload.dest_location.region target.location.state Dipetakan secara langsung
principal.location.state target.location.state Diganti namanya/dipetakan
jsonPayload.dest_vpc.project_id target.namespace Dipetakan secara langsung
jsonPayload.dest_vpc.vpc_name target.namespace Dipetakan secara langsung
principal.namespace target.namespace Diganti namanya/dipetakan
jsonPayload.connection.dest_port target.port Diganti namanya/dipetakan
dest_gke_cluster_location target.resource.attribute.labels Digabung
dest_gke_cluster_name target.resource.attribute.labels Digabung
dest_gke_namespace target.resource.attribute.labels Digabung
dest_gke_pod_name target.resource.attribute.labels Digabung
service_name_label target.resource.attribute.labels Digabung
service_namespace_label target.resource.attribute.labels Digabung
subnetwork_id_field target.user.attribute.labels Digabung
T/A network.direction Konstanta: OUTBOUND
T/A network.ip_protocol Konstanta: network.ip_protocol
T/A network.sent_bytes Konstanta: network.sent_bytes
T/A principal.hostname Konstanta: target.hostname
T/A principal.location.city Konstanta: target.location.city
T/A principal.location.country_or_region Konstanta: target.location.country_or_region
T/A principal.location.name Konstanta: target.location.name
T/A principal.location.state Konstanta: target.location.state
T/A principal.namespace Konstanta: target.namespace
T/A principal.port Konstanta: principal.port
T/A security_result.severity Konstanta: LOW
T/A target.hostname Konstanta: principal.hostname
T/A target.location.city Konstanta: principal.location.city
T/A target.location.country_or_region Konstanta: principal.location.country_or_re...
T/A target.location.name Konstanta: principal.location.name
T/A target.location.state Konstanta: principal.location.state
T/A target.namespace Konstanta: principal.namespace
T/A target.port Konstanta: -99
resource.labels.subnetwork_id target.user.attribute.labels Dipetakan dari log perubahan

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.