Mengumpulkan log HAProxy

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap log HAProxy ke Google Security Operations menggunakan agen Bindplane.

HAProxy adalah load balancer dan server proxy dengan ketersediaan tinggi yang menghasilkan pesan syslog untuk permintaan HTTP, peristiwa koneksi, health check backend, dan aktivitas proses. Parser menggunakan pencocokan pola Grok untuk mengekstrak kolom dari berbagai format log HAProxy dan memetakannya ke Model Data Terpadu (UDM).

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

• Instance Google SecOps
• Windows Server 2016 atau yang lebih baru, atau host Linux dengan systemd
• Konektivitas jaringan antara agen Bindplane dan server HAProxy
• Jika beroperasi dari balik proxy, pastikan port firewall terbuka sesuai dengan persyaratan agen Bindplane
• Akses administratif ke konfigurasi HAProxy

Mendapatkan kredensial Google SecOps untuk agen Bindplane

Untuk mengautentikasi agen Bindplane ke Google SecOps, pilih salah satu metode berikut:

• Deployment baru: Gunakan Chronicle API (Opsi 1).
• Deployment lama: Terus gunakan file autentikasi penyerapan (Opsi 2) hingga Ingestion API dihentikan pada 20 Juli 2027.

Opsi 1: Buat akun layanan untuk Chronicle API (direkomendasikan)

1. Login ke Google Cloud konsol dan pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
2. Buka IAM & Admin > Service Accounts.
3. Klik Create service account.
4. Berikan detail konfigurasi berikut:
   • Service account name: Masukkan nama akun (misalnya, bindplane-ingest).
   • Deskripsi akun layanan: Masukkan deskripsi (misalnya, Bindplane agent log ingestion).
5. Klik Create and continue.
6. Di bagian Grant this service account access to project, klik Select a role, lalu pilih Chronicle Editor.
7. Klik Continue lalu klik Done.
8. Klik akun layanan yang Anda buat, lalu buka tab Keys.
9. Klik Add key > Create new key.
10. Pilih JSON, lalu klik Create. File kunci akan didownload ke komputer Anda.
11. Simpan file kunci sebagai ingestion-auth.json di direktori Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.json di Linux atau C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json di Windows), atau perbarui creds_file_path di config.yaml agar sesuai dengan jalur tempat Anda menyimpannya.
12. Buka IAM & Admin > Settings dan salin Project number. Anda akan memerlukannya untuk konfigurasi pengekspor.

Catatan: Kunci JSON adalah kredensial. Batasi akses ke file di host Bindplane dan rotasikan kunci sesuai dengan kebijakan organisasi Anda.

Opsi 2: Mendownload file autentikasi penyerapan (lama)

1. Login ke konsol Google SecOps.
2. Buka Setelan SIEM > Agen Pengumpulan.
3. Download file autentikasi penyerapan.
4. Simpan file dengan aman di sistem tempat agen Bindplane akan diinstal.

Catatan: File ini mengautentikasi agen ke Ingestion API lama (malachiteingestion-pa.googleapis.com), yang dijadwalkan Google untuk dihentikan pada 20 Juli 2027. Rencanakan untuk beralih ke Opsi 1 sebelum tanggal tersebut.

Mendapatkan ID pelanggan Google SecOps

1. Login ke konsol Google SecOps.
2. Buka SIEM Settings > Profile.

3. Salin dan simpan ID Pelanggan dari bagian Detail Organisasi.

   Catatan: ID pelanggan diperlukan untuk mengonfigurasi pengekspor agen Bindplane.

Menginstal agen Bindplane

Instal agen Bindplane di sistem operasi Windows atau Linux Anda sesuai dengan petunjuk berikut.

Penginstalan Windows

1. Buka Command Prompt atau PowerShell sebagai administrator.

2. Jalankan perintah berikut:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sc query observiq-otel-collector
   

   Layanan akan ditampilkan sebagai RUNNING.

Penginstalan Linux

1. Buka terminal dengan hak istimewa root atau sudo.

2. Jalankan perintah berikut:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sudo systemctl status observiq-otel-collector
   

   Layanan akan ditampilkan sebagai aktif (berjalan).

Referensi penginstalan tambahan

Untuk mengetahui opsi penginstalan dan pemecahan masalah tambahan, lihat Panduan penginstalan agen Bindplane.

Catatan: Konfigurasi pengekspor Chronicle API memerlukan Bindplane collector v1.106.0 atau yang lebih baru. Perintah sebelumnya akan menginstal rilis terbaru. Jika Anda mengupdate penginstalan yang ada, upgrade kolektor sebelum mengubah konfigurasi.

Mengonfigurasi agen Bindplane untuk menyerap syslog dan mengirimkannya ke Google SecOps

Cari file konfigurasi

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Mengedit file konfigurasi

• Ganti seluruh konten config.yaml dengan konfigurasi berikut:

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/haproxy:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: HAPROXY
      raw_log_field: body
  
  service:
    pipelines:
      logs/haproxy_to_chronicle:
        receivers:
          - udplog
        exporters:
          - chronicle/haproxy
  

Parameter konfigurasi

Ganti placeholder berikut:

• Konfigurasi penerima:

  • listen_address: Alamat IP dan port yang akan diproses:
    • 0.0.0.0 untuk memproses semua antarmuka (direkomendasikan)
    • Port 514 adalah port syslog standar (memerlukan root di Linux; gunakan 1514 untuk non-root)

• Konfigurasi pengekspor:

  • creds_file_path: Jalur lengkap ke file kunci JSON akun layanan (Opsi 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id: ID Pelanggan yang disalin dari konsol Google SecOps
  • location: Ganti <LOCATION> dengan region instance Google SecOps Anda (misalnya, us, europe, atau asia-southeast1). Pengekspor akan menambahkan awalan chronicle.googleapis.com dengan nilai ini. Lihat Endpoint Regional untuk mengetahui daftar lengkapnya.
  • project: Ganti <PROJECT_NUMBER> dengan nomor project dari IAM & Admin > Settings.
  • endpoint: Tetap tetapkan ke chronicle.googleapis.com.

Pengekspor API penyerapan lama

• Jika Anda menggunakan file autentikasi penyerapan dari Opsi 2, ganti blok exporters dengan kode berikut. Tetapkan creds_file_path ke jalur ke file autentikasi penyerapan, dan jika instance Anda berada di luar AS, ganti malachiteingestion-pa.googleapis.com dengan endpoint regional Anda (misalnya, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/haproxy:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: HAPROXY
      raw_log_field: body
  

Catatan: Pengekspor ini akan berhenti berfungsi saat Ingestion API dihentikan pada 20 Juli 2027.

Simpan file konfigurasi

• Setelah mengedit, simpan file:
  • Linux: Tekan Ctrl+O, lalu Enter, lalu Ctrl+X
  • Windows: Klik File > Simpan

Mulai ulang agen Bindplane untuk menerapkan perubahan

• Untuk memulai ulang agen Bindplane di Linux, jalankan perintah berikut:

  sudo systemctl restart observiq-otel-collector
  

  1. Pastikan layanan sedang berjalan:

     sudo systemctl status observiq-otel-collector
     

  2. Periksa log untuk mengetahui error:

     sudo journalctl -u observiq-otel-collector -f
     

• Untuk memulai ulang agen Bindplane di Windows, pilih salah satu opsi berikut:

  • Command Prompt atau PowerShell sebagai administrator:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Konsol Services:

    1. Tekan Win+R, ketik services.msc, lalu tekan Enter.
    2. Cari observIQ OpenTelemetry Collector.
    3. Klik kanan, lalu pilih Restart.

    4. Pastikan layanan sedang berjalan:

       sc query observiq-otel-collector
       

    5. Periksa log untuk mengetahui error:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Mengonfigurasi syslog untuk HAProxy

1. Login ke HAProxy menggunakan CLI.

2. Tambahkan perintah log di bagian global ke Configuration untuk meneruskan pesan syslog melalui UDP.

   • Ganti <bindplane-ip> dengan alamat IP agen Bindplane yang sebenarnya.

   global
       log <bindplane-ip>:514 local0
   
   defaults
       log global
   

Tabel pemetaan UDM

Kolom log	Pemetaan UDM	Logika
accept_date_ms
actconn
backend_name
backend_queue
beconn
bytes_read	network.received_bytes	Diekstrak dari kolom bytes_read di log dan dikonversi menjadi bilangan bulat yang tidak bertanda tangan.
captured_request_headers
client_ip	principal.ip	Diekstrak dari kolom client_ip di log.
client_port	principal.port	Diekstrak dari kolom client_port di log dan dikonversi menjadi bilangan bulat.
command_description	metadata.description	Diekstrak dari kolom command_description dalam log, jika tersedia. Jika tidak, ID ini berasal dari kolom lain seperti action atau status, bergantung pada pesan log.
datetime	metadata.event_timestamp.seconds	Diekstrak dari kolom datetime di log, jika tersedia. Jika tidak, ID ini berasal dari kolom timestamp di entri log.
deskripsi	metadata.description	Diekstrak dari kolom description di log, jika tersedia. Jika tidak, nilai ini berasal dari kolom lain seperti command_description atau action, bergantung pada pesan log.
feconn
frontend_name
http_request	target.url	Diekstrak dari kolom http_request di log.
http_status_code	network.http.response_code	Diekstrak dari kolom http_status_code di log dan dikonversi menjadi bilangan bulat.
http_verb	network.http.method	Diekstrak dari kolom http_verb di log.
http_version	metadata.product_version	Diekstrak dari kolom http_version dalam log dan diformat sebagai HTTP/{version}.
inisiator	target.application	Diekstrak dari kolom initiator di log.
modul
msg	security_result.summary	Diekstrak dari kolom msg di log.
pid	target.process.pid	Diekstrak dari kolom pid di log.
mundur
process_name	target.application	Diekstrak dari kolom process_name di log.
retries
server_name	target.hostname	Diekstrak dari kolom server_name di log. Jika kosong, nilai defaultnya adalah nilai syslog_server.
tingkat keseriusan,	security_result.severity	Dipetakan dari kolom severity di log. WARNING dipetakan ke MEDIUM, ALERT dipetakan ke CRITICAL, dan NOTICE dipetakan ke INFORMATIONAL.
shell
srv_queue
srvconn
status
syslog_server	target.hostname, intermediary.hostname	Diekstrak dari kolom syslog_server di log. Digunakan untuk nama host target (jika server_name kosong) dan nama host perantara.
syslog_timestamp
syslog_timestamp_1
syslog_timestamp_2
syslog_timestamp_4
target_ip
time_backend_connect
time_backend_response
time_duration
time_queue
time_request
timestamp	metadata.event_timestamp.seconds	Diekstrak dari kolom timestamp dalam log dan diurai untuk informasi tanggal dan waktu. Digunakan sebagai stempel waktu peristiwa.
unknown_parameters1
unknown_parameters2
user_name	target.user.userid	Diekstrak dari kolom user_name di log.
	metadata.event_type	Setel ke NETWORK_HTTP secara default. Diubah menjadi jenis peristiwa tertentu seperti PROCESS_UNCATEGORIZED, STATUS_UPDATE, atau USER_UNCATEGORIZED berdasarkan pesan log dan kolom yang diuraikan.
	metadata.vendor_name	Tetapkan ke HAProxy Enterprise.
	metadata.product_name	Tetapkan ke HAProxy.
	network.application_protocol	Tetapkan ke HTTP jika kolom message berisi HTTP.
	metadata.log_type	Tetapkan ke HAPROXY.
source_ip	event.idm.read_only_udm.principal.ip	Dipetakan dari log perubahan
source_ip	event.idm.read_only_udm.principal.asset.ip	Dipetakan dari log perubahan
source_port	event.idm.read_only_udm.principal.port	Dipetakan dari log perubahan
status_code	event.idm.read_only_udm.network.http.response_code	Dipetakan dari log perubahan
bytes	event.idm.read_only_udm.network.received_bytes	Dipetakan dari log perubahan
inter_ip	event.idm.read_only_udm.intermediary.ip	Dipetakan dari log perubahan
inter_port	event.idm.read_only_udm.intermediary.port	Dipetakan dari log perubahan
destination_ip	event.idm.read_only_udm.target.ip	Dipetakan dari log perubahan
destination_ip	event.idm.read_only_udm.target.asset.ip	Dipetakan dari log perubahan
destination_port	event.idm.read_only_udm.target.port	Dipetakan dari log perubahan
referer	event.idm.read_only_udm.network.http.referral_url	Dipetakan dari log perubahan
user_agent	event.idm.read_only_udm.network.http.user_agent	Dipetakan dari log perubahan
time_stamp	event.idm.read_only_udm.security_result.detection_fields	Dipetakan dari log perubahan
x_forwarded_for	event.idm.read_only_udm.security_result.detection_fields	Dipetakan dari log perubahan
content_length	event.idm.read_only_udm.security_result.detection_fields	Dipetakan dari log perubahan
datetime	event.idm.read_only_udm.metadata.event_timestamp	Dipetakan dari log perubahan

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.