Mengumpulkan log Apache Tomcat

Versi Parser: 3.0

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap log Apache Tomcat ke Google Security Operations menggunakan agen Bindplane.

Apache Tomcat adalah server aplikasi web yang menghasilkan log akses JSON untuk permintaan HTTP, peristiwa autentikasi, dan aktivitas server. Parser mengekstrak kolom dari log berformat JSON dan berformat syslog, lalu memetakannya ke Model Data Terpadu (UDM).

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

• Instance Google SecOps
• Windows Server 2016 atau yang lebih baru, atau host Linux dengan systemd
• Agen Bindplane diinstal di server Tomcat (untuk membaca file log lokal)
• Jika beroperasi dari balik proxy, pastikan port firewall terbuka sesuai dengan persyaratan agen Bindplane
• Akses administratif ke server Tomcat

Mendapatkan kredensial Google SecOps untuk agen Bindplane

Untuk mengautentikasi agen Bindplane ke Google SecOps, pilih salah satu metode berikut:

• Deployment baru: Gunakan Chronicle API (Opsi 1).
• Deployment lama: Terus menggunakan file autentikasi penyerapan (Opsi 2) hingga Ingestion API dihentikan pada 20 Juli 2027.

Opsi 1: Membuat akun layanan untuk Chronicle API (direkomendasikan)

1. Login ke konsolGoogle Cloud dan pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
2. Buka IAM & Admin > Service Accounts.
3. Klik Create service account.
4. Berikan detail konfigurasi berikut:
   • Nama akun layanan: Masukkan nama untuk akun (misalnya, bindplane-ingest).
   • Deskripsi akun layanan: Masukkan deskripsi (misalnya, Bindplane agent log ingestion).
5. Klik Create and continue.
6. Di bagian Grant this service account access to project, klik Select a role, lalu pilih Chronicle Editor.
7. Klik Continue lalu klik Done.
8. Klik akun layanan yang Anda buat, lalu buka tab Keys.
9. Klik Add key > Create new key.
10. Pilih JSON, lalu klik Create. File kunci akan didownload ke komputer Anda.
11. Simpan file kunci sebagai ingestion-auth.json di direktori Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.json di Linux atau C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json di Windows), atau perbarui creds_file_path di config.yaml agar sesuai dengan jalur tempat Anda menyimpannya.
12. Buka IAM & Admin > Settings dan salin Project number. Anda akan memerlukannya untuk konfigurasi pengekspor.

Catatan: Kunci JSON adalah kredensial. Batasi akses ke file di host Bindplane dan rotasikan kunci sesuai dengan kebijakan organisasi Anda.

Opsi 2: Mendownload file autentikasi penyerapan (lama)

1. Login ke konsol Google SecOps.
2. Buka Setelan SIEM > Agen Pengumpulan.
3. Download file autentikasi penyerapan.
4. Simpan file dengan aman di sistem tempat agen Bindplane akan diinstal.

Catatan: File ini mengautentikasi agen ke Ingestion API lama (malachiteingestion-pa.googleapis.com), yang dijadwalkan Google untuk dihentikan pada 20 Juli 2027. Rencanakan untuk beralih ke Opsi 1 sebelum tanggal tersebut.

Mendapatkan ID pelanggan Google SecOps

1. Login ke konsol Google SecOps.
2. Buka SIEM Settings > Profile.

3. Salin dan simpan ID Pelanggan dari bagian Detail Organisasi.

   Catatan: ID pelanggan diperlukan untuk mengonfigurasi pengekspor agen Bindplane.

Instal agen Bindplane di server Tomcat untuk mengumpulkan file log

Instal agen Bindplane di server Tomcat itu sendiri, karena agen tersebut perlu membaca file log lokal.

Penginstalan Windows

1. Buka Command Prompt atau PowerShell sebagai administrator.

2. Jalankan perintah berikut:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sc query observiq-otel-collector
   

   Layanan akan ditampilkan sebagai RUNNING.

Penginstalan Linux

1. Buka terminal dengan hak istimewa root atau sudo.

2. Jalankan perintah berikut:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sudo systemctl status observiq-otel-collector
   

   Layanan akan ditampilkan sebagai aktif (berjalan).

Referensi penginstalan tambahan

Untuk opsi penginstalan dan pemecahan masalah tambahan, lihat Panduan penginstalan agen BindPlane.

Catatan: Konfigurasi pengekspor Chronicle API memerlukan Bindplane collector v1.106.0 atau yang lebih baru. Perintah sebelumnya akan menginstal rilis terbaru. Jika Anda mengupdate penginstalan yang ada, upgrade kolektor sebelum mengubah konfigurasi.

Mengonfigurasi agen Bindplane untuk menyerap log Tomcat dan mengirimkannya ke Google SecOps

Menemukan file konfigurasi

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Edit file konfigurasi

• Ganti seluruh konten config.yaml dengan konfigurasi berikut:

  receivers:
    filelog/tomcat:
      include:
        - /path/to/tomcat/logs/access-log.*.json
      start_at: beginning
  
  exporters:
    chronicle/tomcat:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: TOMCAT
      raw_log_field: body
  
  service:
    pipelines:
      logs/tomcat_to_chronicle:
        receivers:
          - filelog/tomcat
        exporters:
          - chronicle/tomcat
  

Parameter konfigurasi

Ganti placeholder berikut:

• Konfigurasi penerima:

  • include: Jalur ke file log akses JSON Tomcat. Sesuaikan agar cocok dengan pola file dan direktori log Tomcat Anda.
  • start_at: Tetapkan ke beginning untuk membaca log yang ada, atau end untuk hanya membaca entri baru.

• Konfigurasi pengekspor:

  • creds_file_path: Jalur lengkap ke file kunci JSON akun layanan (Opsi 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id: ID Pelanggan yang disalin dari konsol Google SecOps
  • location: Ganti <LOCATION> dengan region instance Google SecOps Anda (misalnya, us, europe, atau asia-southeast1). Pengekspor mengawali chronicle.googleapis.com dengan nilai ini. Lihat Endpoint Regional untuk mengetahui daftar lengkapnya.
  • project: Ganti <PROJECT_NUMBER> dengan nomor project dari IAM & Admin > Settings.
  • endpoint: Tetap tetapkan ke chronicle.googleapis.com.

Pengekspor API penyerapan lama

• Jika Anda menggunakan file autentikasi penyerapan dari Opsi 2, ganti blok exporters dengan kode berikut. Tetapkan creds_file_path ke jalur ke file autentikasi penyerapan, dan jika instance Anda berada di luar AS, ganti malachiteingestion-pa.googleapis.com dengan endpoint regional Anda (misalnya, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/tomcat:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: TOMCAT
      raw_log_field: body
  

Catatan: Pengekspor ini akan berhenti berfungsi saat Ingestion API dihentikan pada 20 Juli 2027.

Simpan file konfigurasi

• Setelah mengedit, simpan file:
  • Linux: Tekan Ctrl+O, lalu Enter, lalu Ctrl+X
  • Windows: Klik File > Save

Mulai ulang agen Bindplane untuk menerapkan perubahan

• Untuk memulai ulang agen Bindplane di Linux, jalankan perintah berikut:

  sudo systemctl restart observiq-otel-collector
  

  1. Pastikan layanan sedang berjalan:

     sudo systemctl status observiq-otel-collector
     

  2. Periksa log untuk mengetahui error:

     sudo journalctl -u observiq-otel-collector -f
     

• Untuk memulai ulang agen Bindplane di Windows, pilih salah satu opsi berikut:

  • Command Prompt atau PowerShell sebagai administrator:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Konsol layanan:

    1. Tekan Win+R, ketik services.msc, lalu tekan Enter.
    2. Cari observIQ OpenTelemetry Collector.
    3. Klik kanan, lalu pilih Restart.

    4. Pastikan layanan sedang berjalan:

       sc query observiq-otel-collector
       

    5. Periksa log untuk mengetahui error:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Mengonfigurasi log akses JSON di Tomcat

1. Buka file konfigurasi Tomcat di $CATALINA_BASE/conf/server.xml.

2. Temukan tag <Host> dan tambahkan kode berikut di dalamnya:

   <Valve className="org.apache.catalina.valves.JsonAccessLogValve"
          directory="logs"
          prefix="access-log"
          suffix=".json"
          rotatable="true"
          maxDays="7"/>
   

3. Mulai ulang Tomcat untuk menerapkan perubahan:

   cd /path/to/tomcat
   bin/catalina.sh stop
   bin/catalina.sh start
   

4. File log JSON baru akan muncul setiap hari (misalnya, logs/access-log.2025-07-02.json).

Tabel pemetaan UDM

Kolom Log	Pemetaan UDM	Logika
@timestamp	metadata.event_timestamp	Nilai @timestamp dari log mentah dipetakan langsung ke kolom UDM ini. Kolom ini menunjukkan waktu terjadinya peristiwa.
agent.ephemeral_id	additional.fields[ephemeral_id].value.string_value	ID sementara dari agen ditambahkan sebagai pasangan nilai kunci di kolom additional.
agent.hostname	observer.hostname	Nama host agen digunakan sebagai nama host observer.
agent.id	observer.asset_id	ID agen digabungkan dengan jenis agen untuk membuat ID aset pengamat (misalnya, filebeat: <agent_id>).
agent.type	observer.application	Jenis agen digunakan sebagai aplikasi pengamat.
agent.version	observer.platform_version	Versi agen digunakan sebagai versi platform observer.
host.hostname	principal.hostname	Nama host host digunakan sebagai nama host utama.
host.id	principal.asset.asset_id	ID host diawali dengan Host Id: untuk membuat ID aset utama.
host.ip	principal.ip, observer.ip	Alamat IP host digunakan untuk IP utama dan pengamat. Jika ada beberapa IP, IP tersebut akan digabungkan ke dalam array.
host.mac	principal.mac	Alamat MAC host digunakan sebagai alamat MAC utama. Jika ada beberapa MAC, MAC tersebut akan digabungkan ke dalam array.
host.os.family	principal.platform	Jika family OS host adalah rhel atau redhat, platform utama ditetapkan ke LINUX.
host.os.kernel	principal.platform_patch_level	Versi kernel OS host digunakan sebagai level patch platform utama.
host.os.name	additional.fields[os_name].value.string_value	Nama OS host ditambahkan sebagai pasangan nilai kunci di kolom additional.
host.os.version	principal.platform_version	Versi OS host digunakan sebagai versi platform utama.
log.file.path	principal.process.file.full_path	Jalur log digunakan sebagai jalur lengkap file proses utama.
log_level	security_result.severity, security_result.severity_details, security_result.action	Tingkat log digunakan untuk menentukan tingkat keparahan hasil keamanan, detail tingkat keparahan, dan tindakan. DEBUG, INFO, dan AUDIT dipetakan ke tingkat keparahan INFORMASI dan tindakan IZINKAN. ERROR dipetakan ke tingkat keparahan ERROR dan tindakan BLOCK. WARNING dan WARN dipetakan ke tingkat keparahan SEDANG dan tindakan BLOCK. Nilai log_level mentah juga dipetakan ke severity_details.
logstash.irm_environment	additional.fields[irm_environment].value.string_value	Lingkungan Iron Mountain dari Logstash ditambahkan sebagai pasangan nilai kunci di kolom additional.
logstash.irm_region	additional.fields[irm_region].value.string_value	Wilayah Iron Mountain dari Logstash ditambahkan sebagai pasangan nilai kunci di kolom additional.
logstash.irm_site	additional.fields[irm_site].value.string_value	Situs Iron Mountain dari Logstash ditambahkan sebagai pasangan nilai kunci di kolom additional.
logstash.process.host	intermediary.hostname	Host pemrosesan Logstash digunakan sebagai nama host perantara.
logstash.process.timestamp	metadata.collected_timestamp	Stempel waktu pemrosesan Logstash digunakan sebagai stempel waktu yang dikumpulkan.
logstash.xyz_environment	additional.fields[xyz_environment].value.string_value	Lingkungan xyz dari Logstash ditambahkan sebagai key-value pair di kolom additional.
logstash.xyz_region	additional.fields[xyz_region].value.string_value	Region xyz dari Logstash ditambahkan sebagai key-value pair di kolom additional.
logstash.xyz_site	additional.fields[xyz_site].value.string_value	Situs xyz dari Logstash ditambahkan sebagai pasangan nilai kunci di kolom additional.
message	metadata.description	Kolom pesan diurai sebagai JSON dan kolom event_message-nya digunakan sebagai deskripsi metadata. Aplikasi perantara di-hardcode ke logstash. Jenis peristiwa metadata di-hardcode menjadi USER_UNCATEGORIZED. Jenis log metadata ditetapkan ke TOMCAT dari batch.type atau batch.log_type log mentah. Nama produk metadata di-hardcode menjadi Tomcat. Nama vendor metadata di-hardcode ke Tomcat.
user	principal.user.userid	Kolom pengguna dari log mentah digunakan sebagai ID pengguna utama.
product_event	metadata.product_event_type	Dipetakan dari log perubahan
summary	security_result.summary	Dipetakan dari log perubahan
query	additional.fields	Dipetakan dari log perubahan

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.