Mengumpulkan log Apache Cassandra

Versi Parser: 4.0

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap log Apache Cassandra ke Google Security Operations menggunakan agen Bindplane.

Apache Cassandra membuat log untuk operasi database, peristiwa cluster, dan aktivitas sistem. Parser mengekstrak kolom menggunakan pola grok dan filter JSON, lalu memetakannya ke Model Data Terpadu (UDM).

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

• Instance Google SecOps
• Windows Server 2016 atau yang lebih baru, atau host Linux dengan systemd
• Konektivitas jaringan antara agen Bindplane dan host Apache Cassandra
• Jika beroperasi dari balik proxy, pastikan port firewall terbuka sesuai dengan persyaratan agen Bindplane
• Akses administratif (SSH) ke host Apache Cassandra

Mendapatkan kredensial Google SecOps untuk agen Bindplane

Untuk mengautentikasi agen Bindplane ke Google SecOps, pilih salah satu metode berikut:

• Deployment baru: Gunakan Chronicle API (Opsi 1).
• Deployment lama: Terus gunakan file autentikasi penyerapan (Opsi 2) hingga Ingestion API dihentikan pada 20 Juli 2027.

Opsi 1: Membuat akun layanan untuk Chronicle API (direkomendasikan)

1. Login ke Google Cloud konsol dan pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
2. Buka IAM & Admin > Service Accounts.
3. Klik Create service account.
4. Berikan detail konfigurasi berikut:
   • Nama akun layanan: Masukkan nama untuk akun (misalnya, bindplane-ingest).
   • Deskripsi akun layanan: Masukkan deskripsi (misalnya, Bindplane agent log ingestion).
5. Klik Create and continue.
6. Di bagian Grant this service account access to project, klik Select a role, lalu pilih Chronicle Editor.
7. Klik Continue lalu klik Done.
8. Klik akun layanan yang Anda buat, lalu buka tab Keys.
9. Klik Add key > Create new key.
10. Pilih JSON, lalu klik Create. File kunci didownload ke komputer Anda.
11. Simpan file kunci sebagai ingestion-auth.json di direktori Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.json di Linux atau C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json di Windows), atau perbarui creds_file_path di config.yaml agar sesuai dengan jalur tempat Anda menyimpannya.
12. Buka IAM & Admin > Settings dan salin Project number. Anda akan memerlukannya untuk konfigurasi pengekspor.

Catatan: Kunci JSON adalah kredensial. Batasi akses ke file di host Bindplane dan rotasikan kunci sesuai dengan kebijakan organisasi Anda.

Opsi 2: Mendownload file autentikasi penyerapan (lama)

1. Login ke konsol Google SecOps.
2. Buka SIEM Settings > Collection Agents.
3. Download file autentikasi penyerapan.
4. Simpan file dengan aman di sistem tempat agen Bindplane akan diinstal.

Catatan: File ini mengautentikasi agen ke Ingestion API lama (malachiteingestion-pa.googleapis.com), yang dijadwalkan Google untuk dihentikan pada 20 Juli 2027. Rencanakan untuk beralih ke Opsi 1 sebelum tanggal tersebut.

Mendapatkan ID pelanggan Google SecOps

1. Login ke konsol Google SecOps.
2. Buka SIEM Settings > Profile.

3. Salin dan simpan ID Pelanggan dari bagian Detail Organisasi.

   Catatan: ID pelanggan diperlukan untuk mengonfigurasi pengekspor agen Bindplane.

Menginstal agen Bindplane

Instal agen Bindplane di sistem operasi Windows atau Linux Anda sesuai dengan petunjuk berikut.

Penginstalan Windows

1. Buka Command Prompt atau PowerShell sebagai administrator.

2. Jalankan perintah berikut:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sc query observiq-otel-collector
   

   Layanan akan ditampilkan sebagai RUNNING.

Penginstalan Linux

1. Buka terminal dengan hak istimewa root atau sudo.

2. Jalankan perintah berikut:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sudo systemctl status observiq-otel-collector
   

   Layanan akan ditampilkan sebagai active (running).

Referensi penginstalan tambahan

Untuk opsi pemasangan dan pemecahan masalah tambahan, lihat Panduan pemasangan agen BindPlane.

Catatan: Konfigurasi pengekspor Chronicle API memerlukan Bindplane collector v1.106.0 atau yang lebih baru. Perintah sebelumnya akan menginstal rilis terbaru. Jika Anda mengupdate penginstalan yang ada, upgrade kolektor sebelum mengubah konfigurasi.

Mengonfigurasi agen Bindplane untuk menyerap syslog dan mengirimkannya ke Google SecOps

Cari file konfigurasi

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Mengedit file konfigurasi

• Ganti seluruh konten config.yaml dengan konfigurasi berikut:

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/cassandra:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: CASSANDRA
      raw_log_field: body
  
  service:
    pipelines:
      logs/cassandra_to_chronicle:
        receivers:
          - udplog
        exporters:
          - chronicle/cassandra
  

Parameter konfigurasi

Ganti placeholder berikut:

• Konfigurasi penerima:

  • listen_address: Alamat IP dan port untuk diproses:
    • 0.0.0.0 untuk mendengarkan di semua antarmuka (direkomendasikan)
    • Port 514 adalah port syslog standar (memerlukan root di Linux; gunakan 1514 untuk non-root)

• Konfigurasi pengekspor:

  • creds_file_path: Jalur lengkap ke file kunci JSON akun layanan (Opsi 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id: ID Pelanggan yang disalin dari konsol Google SecOps
  • location: Ganti <LOCATION> dengan region instance Google SecOps Anda (misalnya, us, europe, atau asia-southeast1). Pengekspor mengawali chronicle.googleapis.com dengan nilai ini. Lihat Endpoint Regional untuk mengetahui daftar lengkapnya.
  • project: Ganti <PROJECT_NUMBER> dengan nomor project dari IAM & Admin > Settings.
  • endpoint: Tetap tetapkan ke chronicle.googleapis.com.

Pengekspor API penyerapan lama

• Jika Anda menggunakan file autentikasi penyerapan dari Opsi 2, ganti blok exporters dengan kode berikut. Tetapkan creds_file_path ke jalur ke file autentikasi penyerapan, dan jika instance Anda berada di luar AS, ganti malachiteingestion-pa.googleapis.com dengan endpoint regional Anda (misalnya, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/cassandra:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: CASSANDRA
      raw_log_field: body
  

Catatan: Pengekspor ini akan berhenti berfungsi saat Ingestion API dihentikan pada 20 Juli 2027.

Simpan file konfigurasi

• Setelah mengedit, simpan file:
  • Linux: Tekan Ctrl+O, lalu Enter, lalu Ctrl+X
  • Windows: Klik File > Save

Mulai ulang agen Bindplane untuk menerapkan perubahan

• Untuk memulai ulang agen Bindplane di Linux, jalankan perintah berikut:

  sudo systemctl restart observiq-otel-collector
  

  1. Pastikan layanan sedang berjalan:

     ```bash
     sudo systemctl status observiq-otel-collector
     ```
     

  2. Periksa log untuk mengetahui error:

     ```bash
     sudo journalctl -u observiq-otel-collector -f
     ```
     

• Untuk memulai ulang agen Bindplane di Windows, pilih salah satu opsi berikut:

  • Command Prompt atau PowerShell sebagai administrator:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Konsol layanan:

    1. Tekan Win+R, ketik services.msc, lalu tekan Enter.
    2. Cari observIQ OpenTelemetry Collector.
    3. Klik kanan, lalu pilih Mulai ulang.

    4. Pastikan layanan sedang berjalan:

       sc query observiq-otel-collector
       

    5. Periksa log untuk mengetahui error:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Mengonfigurasi ekspor syslog di Apache Cassandra

1. Login ke host Apache Cassandra menggunakan SSH.

2. Buka file konfigurasi logback.xml:

   • Apache Cassandra (sebagian besar versi): $(CASSANDRA_HOME)/conf
   • Datastax Enterprise (penginstalan paket): /etc/dse
   • Datastax Enterprise (penginstalan tar): $(TARBALL_ROOT)/resources/cassandra/conf

3. Tambahkan definisi Appender berikut ke file logback.xml di Baris 28:

   <appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender">
       <syslogHost>BINDPLANE_IP</syslogHost>
       <port>BINDPLANE_PORT</port>
       <facility>LOCAL7</facility>
       <throwableExcluded>true</throwableExcluded>
       <suffixPattern>%thread:%level:%logger{36}:%msg</suffixPattern>
   </appender>
   

4. Ganti BINDPLANE_IP dan BINDPLANE_PORT dengan alamat IP dan port agen Bindplane yang sebenarnya.

5. Tambahkan kode berikut ke blok root logger <root level="INFO"> di file logback.xml:

   Lokasi penyisipan baris ini bergantung pada versi Apache Cassandra Anda:

   • Apache Cassandra 5.0.x, Baris 123
   • Apache Cassandra 4.0.x dan 4.1.x, Baris 115
   • Apache Cassandra 3.11.x dan 3.0.x, Baris 92
   • Datastax Enterprise (semua versi), Baris 121

   <appender-ref ref="SYSLOG" />
   

Tabel pemetaan UDM

Kolom Log	Pemetaan UDM	Logika
agent.ephemeral_id	observer.labels.value	Nilai agent.ephemeral_id dari pesan JSON dalam.
agent.hostname	observer.hostname	Nilai agent.hostname dari pesan JSON dalam.
agent.id	observer.asset_id	Penggabungan filebeat: dan nilai agent.id dari pesan JSON dalam.
agent.name	observer.user.userid	Nilai agent.name dari pesan JSON dalam.
agent.type	observer.application	Nilai agent.type dari pesan JSON dalam.
agent.version	observer.platform_version	Nilai agent.version dari pesan JSON dalam.
cloud.availability_zone	principal.cloud.availability_zone	Nilai cloud.availability_zone dari pesan JSON dalam.
cloud.instance.id	principal.resource.product_object_id	Nilai cloud.instance.id dari pesan JSON dalam.
cloud.instance.name	principal.resource.name	Nilai cloud.instance.name dari pesan JSON dalam.
cloud.machine.type	principal.resource.attribute.labels.value	Nilai cloud.machine.type dari pesan JSON dalam, dengan key yang sesuai adalah machine_type.
cloud.provider	principal.resource.attribute.labels.value	Nilai cloud.provider dari pesan JSON dalam, dengan key yang sesuai adalah provider.
event_metadata._id	metadata.product_log_id	Nilai event_metadata._id dari pesan JSON dalam.
event_metadata.version	metadata.product_version	Nilai event_metadata.version dari pesan JSON dalam.
host.architecture	target.asset.hardware.cpu_platform	Nilai host.architecture dari pesan JSON dalam.
host.fqdn	target.administrative_domain	Nilai host.fqdn dari pesan JSON dalam.
host.hostname	target.hostname	Nilai host.hostname dari pesan JSON dalam.
host.id	target.asset.asset_id	Penggabungan Host Id: dan nilai host.id dari pesan JSON dalam.
host.ip	target.asset.ip	Array alamat IP dari host.ip dalam pesan JSON dalam.
host.mac	target.mac	Array alamat MAC dari host.mac dalam pesan JSON dalam.
host.os.kernel	target.platform_patch_level	Nilai host.os.kernel dari pesan JSON dalam.
host.os.platform	target.platform	Tetapkan ke LINUX jika host.os.platform adalah debian.
host.os.version	target.platform_version	Nilai host.os.version dari pesan JSON dalam.
hostname	principal.hostname	Nilai hostname yang diekstrak dari kolom message menggunakan grok.
key	security_result.detection_fields.value	Nilai key diekstrak dari kolom message menggunakan grok, dengan key yang sesuai adalah key.
log.file.path	principal.process.file.full_path	Nilai log.file.path dari pesan JSON dalam.
log_level	security_result.severity	Dipetakan berdasarkan nilai log_level: DEBUG, INFO, AUDIT dipetakan ke INFORMATIONAL; ERROR dipetakan ke ERROR; WARNING dipetakan ke MEDIUM.
log_level	security_result.severity_details	Nilai log_level yang diekstrak dari kolom message menggunakan grok.
log_type	metadata.log_type	Nilai log_type dari log mentah.
message	security_result.description	Deskripsi diekstrak dari kolom message menggunakan grok.
message	target.process.command_line	Command line diekstrak dari kolom message menggunakan grok.
now	security_result.detection_fields.value	Nilai now diekstrak dari kolom message menggunakan grok, dengan key yang sesuai adalah now. Diurai dari kolom event_time yang diekstrak dari kolom message menggunakan grok. Tetapkan ke USER_RESOURCE_ACCESS jika hostname dan host.hostname ada, jika tidak, tetapkan ke GENERIC_EVENT. Tetapkan ke CASSANDRA. Tetapkan ke CASSANDRA. Tetapkan ke ephemeral_id. Tetapkan ke VIRTUAL_MACHINE jika cloud.instance.name ada. Tetapkan ke key dan now untuk kolom deteksi yang sesuai.
timestamp	timestamp	Dari kolom create_time log mentah.
authenticated_var	event.idm.read_only_udm.principal.user.userid	Dipetakan dari log perubahan
authenticated_var	event.idm.read_only_udm.target.user.userid	Dipetakan dari log perubahan
user_var	event.idm.read_only_udm.target.user.userid	Dipetakan dari log perubahan
operation	event.idm.read_only_udm.security_result.description	Dipetakan dari log perubahan
operation	event.idm.read_only_udm.target.process.command_line	Dipetakan dari log perubahan

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.