Mengumpulkan log pfSense

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap log pfSense ke Google Security Operations menggunakan Bindplane.

pfSense adalah distribusi software firewall dan router open source yang berbasis FreeBSD. pfSense menyediakan pemfilteran paket stateful, VPN, pembentukan traffic, NAT, server DHCP, forwarder DNS, dan kemampuan deteksi penyusupan, yang semuanya dikelola melalui antarmuka berbasis web. Parser mengekstrak kolom dari log berformat syslog pfSense. Parser ini menggunakan grok untuk mengurai pesan log, lalu memetakan nilai ini ke Model Data Terpadu (UDM). Layanan ini juga menetapkan nilai metadata default untuk sumber dan jenis peristiwa.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

• Instance Google SecOps
• Windows Server 2016 atau yang lebih baru, atau host Linux dengan systemd
• Jika beroperasi dari balik proxy, pastikan port firewall terbuka sesuai dengan persyaratan agen Bindplane
• Akses istimewa ke antarmuka web pfSense

Mendapatkan kredensial Google SecOps untuk agen Bindplane

Untuk mengautentikasi agen Bindplane ke Google SecOps, pilih salah satu metode berikut:

• Deployment baru: Gunakan Chronicle API (Opsi 1).
• Deployment lama: Terus gunakan file autentikasi penyerapan (Opsi 2) hingga Ingestion API dihentikan pada 20 Juli 2027.

Opsi 1: Membuat akun layanan untuk Chronicle API (direkomendasikan)

1. Login ke konsolGoogle Cloud dan pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
2. Buka IAM & Admin > Service Accounts.
3. Klik Create service account.
4. Berikan detail konfigurasi berikut:
   • Nama akun layanan: Masukkan nama untuk akun (misalnya, bindplane-ingest).
   • Deskripsi akun layanan: Masukkan deskripsi (misalnya, Bindplane agent log ingestion).
5. Klik Create and continue.
6. Di bagian Grant this service account access to project, klik Select a role, lalu pilih Chronicle Editor.
7. Klik Continue lalu klik Done.
8. Klik akun layanan yang Anda buat, lalu buka tab Keys.
9. Klik Add key > Create new key.
10. Pilih JSON, lalu klik Create. File kunci akan didownload ke komputer Anda.
11. Simpan file kunci sebagai ingestion-auth.json di direktori Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.json di Linux atau C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json di Windows), atau perbarui creds_file_path di config.yaml agar sesuai dengan jalur tempat Anda menyimpannya.
12. Buka IAM & Admin > Settings dan salin Project number. Anda akan memerlukannya untuk konfigurasi pengekspor.

Catatan: Kunci JSON adalah kredensial. Batasi akses ke file di host Bindplane dan ganti kunci sesuai dengan kebijakan organisasi Anda.

Opsi 2: Mendownload file autentikasi penyerapan (lama)

1. Login ke konsol Google SecOps.
2. Buka SIEM Settings > Collection Agents.
3. Download file autentikasi penyerapan.
4. Simpan file dengan aman di sistem tempat agen Bindplane akan diinstal.

Catatan: File ini mengautentikasi agen ke Ingestion API lama (malachiteingestion-pa.googleapis.com), yang dijadwalkan Google untuk dihentikan pada 20 Juli 2027. Rencanakan untuk beralih ke Opsi 1 sebelum tanggal tersebut.

Mendapatkan ID pelanggan Google SecOps

1. Login ke konsol Google SecOps.
2. Buka Setelan SIEM > Profil.
3. Salin dan simpan ID Pelanggan dari bagian Detail Organisasi.

Catatan: ID pelanggan diperlukan untuk mengonfigurasi pengekspor agen Bindplane.

Menginstal agen Bindplane

Instal agen Bindplane di sistem operasi Windows atau Linux Anda sesuai dengan petunjuk berikut.

Penginstalan Windows

1. Buka Command Prompt atau PowerShell sebagai administrator.

2. Jalankan perintah berikut:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sc query observiq-otel-collector
   

Layanan akan ditampilkan sebagai RUNNING.

Penginstalan Linux

1. Buka terminal dengan hak istimewa root atau sudo.

2. Jalankan perintah berikut:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sudo systemctl status observiq-otel-collector
   

Layanan akan ditampilkan sebagai active (running).

Referensi penginstalan tambahan

Untuk opsi pemasangan dan pemecahan masalah tambahan, lihat Panduan pemasangan agen Bindplane.

Catatan: Konfigurasi pengekspor Chronicle API memerlukan Bindplane collector v1.106.0 atau yang lebih baru. Perintah sebelumnya akan menginstal rilis terbaru. Jika Anda mengupdate penginstalan yang ada, upgrade kolektor sebelum mengubah konfigurasi.

Mengonfigurasi agen Bindplane untuk menyerap syslog dan mengirimkannya ke Google SecOps

Menemukan file konfigurasi

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Mengedit file konfigurasi

• Ganti seluruh konten config.yaml dengan konfigurasi berikut:

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/chronicle_w_labels:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/path/to/ingestion-authentication-file.json'
      customer_id: 'YOUR_CUSTOMER_ID'
      endpoint: chronicle.googleapis.com
      log_type: 'PFSENSE'
      raw_log_field: body
      ingestion_labels:
  
  service:
    pipelines:
      logs/source0__chronicle_w_labels-0:
        receivers:
          - udplog
        exporters:
          - chronicle/chronicle_w_labels
  

Parameter konfigurasi

• Ganti placeholder berikut:

  • Konfigurasi penerima:

    • udplog: Gunakan udplog untuk syslog UDP atau tcplog untuk syslog TCP
    • 0.0.0.0: Alamat IP yang akan didengarkan (0.0.0.0 untuk mendengarkan semua antarmuka)
    • 514: Nomor port yang akan diproses (port syslog standar)

  • Konfigurasi pengekspor:

    • creds_file_path: Jalur lengkap ke file kunci JSON akun layanan (Opsi 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • YOUR_CUSTOMER_ID: ID pelanggan dari bagian Mendapatkan ID pelanggan
    • location: Ganti <LOCATION> dengan region instance Google SecOps Anda (misalnya, us, europe, atau asia-southeast1). Pengekspor mengawali chronicle.googleapis.com dengan nilai ini. Lihat Endpoint Regional untuk mengetahui daftar lengkapnya.
    • project: Ganti <PROJECT_NUMBER> dengan nomor project dari IAM & Admin > Settings.
    • endpoint: Tetap disetel ke chronicle.googleapis.com.
    • log_type: Jenis log persis seperti yang muncul di Chronicle (PFSENSE)

Pengekspor API penyerapan lama

• Jika Anda menggunakan file autentikasi penyerapan dari Opsi 2, ganti blok exporters dengan kode berikut. Tetapkan creds_file_path ke jalur file autentikasi penyerapan, dan jika instance Anda berada di luar Amerika Serikat, ganti malachiteingestion-pa.googleapis.com dengan endpoint regional Anda (misalnya, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/chronicle_w_labels:
      compression: gzip
      creds_file_path: '/path/to/ingestion-authentication-file.json'
      customer_id: 'YOUR_CUSTOMER_ID'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: 'PFSENSE'
      raw_log_field: body
      ingestion_labels:
  

Catatan: Pengekspor ini akan berhenti berfungsi saat Ingestion API dihentikan pada 20 Juli 2027.

Menyimpan file konfigurasi

• Setelah mengedit, simpan file:
  • Linux: Tekan Ctrl+O, lalu Enter, lalu Ctrl+X
  • Windows: Klik File > Simpan

Mulai ulang agen Bindplane untuk menerapkan perubahan

• Untuk memulai ulang agen Bindplane di Linux, jalankan perintah berikut:

  sudo systemctl restart observiq-otel-collector
  

  1. Pastikan layanan sedang berjalan:

       sudo systemctl status observiq-otel-collector
     

  2. Periksa log untuk mengetahui error:

       sudo journalctl -u observiq-otel-collector -f
     

• Untuk memulai ulang agen Bindplane di Windows, pilih salah satu opsi berikut:

  • Command Prompt atau PowerShell sebagai administrator:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Konsol Services:

    1. Tekan Win+R, ketik services.msc, lalu tekan Enter.
    2. Cari observIQ OpenTelemetry Collector.

    3. Klik kanan, lalu pilih Restart.

    4. Pastikan layanan sedang berjalan:

       sc query observiq-otel-collector
       

    5. Periksa log untuk mengetahui error:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Mengonfigurasi penerusan Syslog di pfSense

pfSense berjalan di FreeBSD dan menyediakan antarmuka berbasis web untuk semua tugas konfigurasi, termasuk penerusan syslog jarak jauh.

1. Login ke antarmuka web pfSense.
2. Buka Status > Log Sistem > Settings.
3. Buka bagian Remote Logging Options.
4. Pilih Aktifkan Logging Jarak Jauh.
5. Berikan detail konfigurasi berikut:
   • Source Address: Pilih Any (atau antarmuka tertentu).
   • IP Protocol: Pilih IPv4.
   • Remote log servers: Masukkan BINDPLANE_IP:514 di kolom pertama yang tersedia. Ganti BINDPLANE_IP dengan alamat IP host agen Bindplane.
6. Di bagian Remote Syslog Contents, pilih kategori log yang akan diteruskan:
   • Peristiwa Sistem
   • Peristiwa Firewall
   • Peristiwa DNS (Resolver/unbound, Forwarder/dnsmasq)
   • Peristiwa DHCP (layanan DHCP)
   • Peristiwa PPP
   • Peristiwa Autentikasi (Portal Auth, RADIUS)
   • Peristiwa VPN (IPsec, OpenVPN, L2TP)
   • Peristiwa Gateway (Monitor gateway)
   • Peristiwa Pemilihan Rute (Daemon pemilihan rute)
   • Peristiwa NTP
   • Paket (paket terinstal)
7. Klik Simpan.
8. Pastikan pesan syslog dikirim dengan memeriksa log agen Bindplane.

Tabel pemetaan UDM

Kolom Log	Pemetaan UDM	Logika
application	principal.application	Nilai diekstrak dari pesan log menggunakan pola grok. Untuk pesan syslog, nama aplikasi biasanya ditemukan setelah nama host dan stempel waktu.
perintah	principal.process.command_line	Diekstrak dari kolom deskripsi saat log menunjukkan eksekusi perintah.
deskripsi	metadata.description	Kolom deskripsi dipetakan ke deskripsi metadata UDM, kecuali untuk log aplikasi syslog-ng yang dipetakan ke metadata.description. Untuk peristiwa DHCP, dhcp_type ditambahkan ke awal deskripsi.
dhcp_type	metadata.product_event_type	Jenis pesan DHCP (misalnya, DHCPDISCOVER, DHCPOFFER) diekstrak dan dipetakan.
host	intermediary.hostname OR intermediary.ip	Jika nilai host adalah alamat IP yang valid, nilai tersebut dipetakan ke intermediary.ip. Jika tidak, nilai ini dipetakan ke intermediary.hostname.
host	principal.hostname, principal.asset.hostname	Jika tidak ada IP utama, host akan diperlakukan sebagai nama host utama.
mac	principal.mac, network.dhcp.chaddr	Alamat MAC yang terkait dengan permintaan DHCP diekstrak dan dipetakan.
src_ip	principal.ip, principal.asset.ip	Diekstrak dari format log tertentu menggunakan pola grok.
src_mac	principal.mac	Diekstrak dari format log tertentu menggunakan pola grok.
dst_mac	target.mac	Diekstrak dari format log tertentu menggunakan pola grok.
timestamp	metadata.event_timestamp	Stempel waktu diekstrak dari pesan log dan dikonversi ke format stempel waktu UDM. Informasi zona waktu (tz) ditambahkan ke stempel waktu sebelum konversi jika tersedia.
timestamp_no_year	metadata.event_timestamp	Jika ada stempel waktu tanpa tahun, stempel waktu tersebut akan diuraikan, dan tahun saat ini akan ditambahkan selama proses penguraian.
pengguna	principal.user.userid	Nama pengguna yang terkait dengan peristiwa diekstrak dan dipetakan.
kolom1	security_result.rule_id	Dipetakan dari kolom CSV pertama jika deskripsi dalam format CSV.
column6	security_result.rule_type	Dipetakan dari kolom CSV keenam jika deskripsi dalam format CSV.
column7	security_result.action	Dipetakan dari kolom CSV ketujuh jika deskripsi dalam format CSV. Dikonversi menjadi "BLOCK" atau "ALLOW".
column8	network.direction	Dipetakan dari kolom CSV kedelapan jika deskripsi dalam format CSV. Dikonversi menjadi "MASUK" atau "KELUAR".
column13	network.ip_protocol (jika UDP atau ICMP)	Dipetakan dari kolom CSV ketiga belas jika deskripsi dalam format CSV dan protokolnya adalah UDP atau ICMP. Untuk peristiwa TCP/UDP, ID ini digunakan untuk membuat kolom tambahan dengan kunci "Id".
column16	principal.ip, principal.asset.ip (jika IPv6 dan column9 adalah 6)	Dipetakan dari kolom CSV keenam belas jika deskripsi dalam format CSV dan column9 adalah 6. Untuk peristiwa TCP/UDP, kolom ini digunakan untuk identifikasi protokol jika kolom9 bernilai 4.
column17	target.ip, target.asset.ip (jika IPv6 dan bukan ip_failure)	Dipetakan dari kolom CSV ketujuh belas jika deskripsi dalam format CSV, kolom9 adalah 6, dan nilainya adalah IP yang valid. Untuk peristiwa TCP/UDP, kolom ini digunakan untuk identifikasi protokol.
column18	principal.port (jika UDP)	Dipetakan dari kolom CSV kedelapan belas jika deskripsi dalam format CSV dan protokolnya adalah UDP. Untuk peristiwa TCP/UDP, peristiwa ini dipetakan ke network.received_bytes.
column19	target.port (jika UDP)	Dipetakan dari kolom CSV kesembilan belas jika deskripsi dalam format CSV dan protokolnya adalah UDP. Untuk peristiwa DHCP, alamat IP ini dipetakan ke network.dhcp.yiaddr. Untuk peristiwa lainnya, peristiwa ini dipetakan ke principal.ip, principal.asset.ip.
column20	additional.fields (key: "data_length") (jika UDP)	Dipetakan dari kolom CSV kedua puluh jika deskripsi dalam format CSV dan protokolnya adalah UDP. Untuk peristiwa lainnya, peristiwa ini dipetakan ke target.ip, target.asset.ip.
column21	principal.port (jika TCP/UDP)	Dipetakan dari kolom CSV kedua puluh satu jika deskripsi dalam format CSV dan protokolnya adalah TCP atau UDP.
column22	target.port (jika TCP/UDP)	Dipetakan dari kolom CSV kedua puluh dua jika deskripsi dalam format CSV dan protokolnya adalah TCP atau UDP.
column23	additional.fields (key: "data_length") (jika TCP/UDP)	Dipetakan dari kolom CSV kedua puluh tiga jika deskripsi dalam format CSV dan protokolnya adalah TCP atau UDP.
column24	additional.fields (key: "tcp_flags") (jika TCP)	Dipetakan dari kolom CSV kedua puluh empat jika deskripsi dalam format CSV dan protokolnya adalah TCP.
column25	additional.fields (key: "sequence_number") (jika TCP/UDP)	Dipetakan dari kolom CSV ke-25 jika deskripsi dalam format CSV dan protokolnya adalah TCP atau UDP.
column29	additional.fields (key: "tcp_options") (if TCP)	Dipetakan dari kolom CSV ke-29 jika deskripsi dalam format CSV dan protokolnya adalah TCP.
compression_algo	additional.fields (kunci: "Compression Algorithm")	Diekstrak dari kolom deskripsi dan ditambahkan sebagai kolom tambahan.
menurun	metadata.description	Diekstrak dari kolom pesan dan digunakan sebagai deskripsi.
principal_ip	principal.ip, principal.asset.ip	Diekstrak dari kolom deskripsi dan mewakili alamat IP utama.
principal_username	principal.user.userid	Diekstrak dari kolom deskripsi dan merepresentasikan nama pengguna utama.
status	security_result.detection_fields (kunci: "status")	Diekstrak dari kolom deskripsi dan ditambahkan sebagai kolom deteksi dalam hasil keamanan.
target_host	target.hostname, target.asset.hostname	Diekstrak dari kolom deskripsi dan merepresentasikan nama host target.
src_port	principal.port	Diekstrak dari kolom deskripsi dan mewakili port sumber. Ditentukan berdasarkan berbagai kolom log dan logika parser. Dapat berupa NETWORK_CONNECTION, NETWORK_DHCP, STATUS_UPDATE, atau GENERIC_EVENT. Dikodekan secara permanen ke "PFSENSE". Dihardcode ke "PFSENSE". Dikodekan secara permanen ke "PFSENSE". Disetel ke "DHCP" untuk peristiwa DHCP. Tetapkan ke "BOOTREQUEST" untuk DHCPDISCOVER dan DHCPREQUEST, serta "BOOTREPLY" untuk DHCPOFFER dan DHCPACK. Tetapkan ke "DISCOVER", "REQUEST", "OFFER", atau "ACK" berdasarkan kolom dhcp_type.
pid	intermediary.process.pid	Dipetakan dari log perubahan
application	intermediary.application	Dipetakan dari log perubahan
ipv4" and "ipv6	principal.ip	Dipetakan dari log perubahan
security_result.category	AUTH_VIOLATION	Dipetakan dari log perubahan
method	network.http.method	Dipetakan dari log perubahan
referer	network.http.referral_url	Dipetakan dari log perubahan
response_code	network.http.response_code	Dipetakan dari log perubahan
user_agent	network.http.user_agent	Dipetakan dari log perubahan
sent_bytes	network.sent_bytes	Dipetakan dari log perubahan
url	target.url	Dipetakan dari log perubahan
http_version	additional.fields	Dipetakan dari log perubahan
column19" which is "source-address	network.dhcp.yiaddr	Dipetakan dari log perubahan
column17" which is "destination-address	target.ip	Dipetakan dari log perubahan
column16" which is "source-address	principal.ip	Dipetakan dari log perubahan
column12" which is "hop_limit	additional.fields	Dipetakan dari log perubahan
column13" which is "ip_protocol	network.ip_protocol	Dipetakan dari log perubahan
ttl	additional.fields	Dipetakan dari log perubahan
Offset	additional.fields	Dipetakan dari log perubahan
Data length	additional.fields	Dipetakan dari log perubahan
Length	additional.fields	Dipetakan dari log perubahan
Sequence-number	additional.fields	Dipetakan dari log perubahan

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.