Mengumpulkan log Threat Intelligence STIX

Didukung di:

Google SecOps SIEM

Dokumen ini menjelaskan cara menyerap log STIX Threat Intelligence ke Google Security Operations menggunakan agen Bindplane.

STIX (Structured Threat Information Expression) adalah bahasa dan format standar untuk berbagi indikator penyusupan (IOC) dan data threat intelligence antarorganisasi. Data STIX biasanya diterima sebagai file JSON atau file XML dari server TAXII atau platform threat intelligence. Agen Bindplane mengumpulkan file data STIX langsung dari sistem file lokal.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

• Instance Google SecOps
• Windows Server 2016 atau yang lebih baru, atau host Linux dengan systemd
• Jika beroperasi dari balik proxy, pastikan port firewall terbuka sesuai dengan persyaratan agen Bindplane
• Klien TAXII atau platform threat intelligence yang menyimpan file berformat STIX (JSON atau XML) ke direktori lokal

Mendapatkan kredensial Google SecOps untuk agen Bindplane

Untuk mengautentikasi agen Bindplane ke Google SecOps, pilih salah satu metode berikut:

• Deployment baru: Gunakan Chronicle API (Opsi 1).
• Deployment lama: Terus gunakan file autentikasi penyerapan (Opsi 2) hingga Ingestion API dihentikan pada 20 Juli 2027.

Opsi 1: Buat akun layanan untuk Chronicle API (direkomendasikan)

1. Login ke konsolGoogle Cloud dan pilih project Google Cloud yang ditautkan ke instance Google SecOps Anda.
2. Buka IAM & Admin > Service Accounts.
3. Klik Create service account.
4. Berikan detail konfigurasi berikut:
   • Nama akun layanan: Masukkan nama untuk akun (misalnya, bindplane-ingest).
   • Deskripsi akun layanan: Masukkan deskripsi (misalnya, Bindplane agent log ingestion).
5. Klik Create and continue.
6. Di bagian Grant this service account access to project, klik Select a role, lalu pilih Chronicle Editor.
7. Klik Continue lalu klik Done.
8. Klik akun layanan yang Anda buat, lalu buka tab Keys.
9. Klik Add key > Create new key.
10. Pilih JSON, lalu klik Create. File kunci akan didownload ke komputer Anda.
11. Simpan file kunci sebagai ingestion-auth.json di direktori pengumpul Bindplane (/opt/observiq-otel-collector/ingestion-auth.json di Linux atau C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json di Windows), atau perbarui creds_file_path di config.yaml agar cocok dengan jalur tempat Anda menyimpannya.
12. Buka IAM & Admin > Settings dan salin Project number. Anda akan memerlukannya untuk konfigurasi pengekspor.

Catatan: Kunci JSON adalah kredensial. Batasi akses ke file di host Bindplane dan rotasikan kunci sesuai dengan kebijakan organisasi Anda.

Opsi 2: Mendownload file autentikasi penyerapan (lama)

1. Login ke konsol Google SecOps.
2. Buka SIEM Settings > Collection Agents.
3. Download file autentikasi penyerapan.
4. Simpan file dengan aman di sistem tempat agen BindPlane akan diinstal.

Catatan: File ini mengautentikasi agen ke Ingestion API lama (malachiteingestion-pa.googleapis.com), yang dijadwalkan Google untuk dihentikan pada 20 Juli 2027. Rencanakan untuk beralih ke Opsi 1 sebelum tanggal tersebut.

Mendapatkan ID pelanggan Google SecOps

1. Login ke konsol Google SecOps.
2. Buka Setelan SIEM > Profil.

3. Salin dan simpan ID Pelanggan dari bagian Detail Organisasi.

   Catatan: ID pelanggan diperlukan untuk mengonfigurasi pengekspor agen Bindplane.

Menginstal agen Bindplane

Instal agen Bindplane di sistem operasi Windows atau Linux Anda sesuai dengan petunjuk berikut.

Penginstalan Windows

1. Buka Command Prompt atau PowerShell sebagai administrator.

2. Jalankan perintah berikut:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sc query observiq-otel-collector
   

   Layanan akan ditampilkan sebagai RUNNING.

Penginstalan Linux

1. Buka terminal dengan hak istimewa root atau sudo.

2. Jalankan perintah berikut:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Tunggu hingga penginstalan selesai.

4. Verifikasi penginstalan dengan menjalankan:

   sudo systemctl status observiq-otel-collector
   

   Layanan akan ditampilkan sebagai aktif (berjalan).

Referensi penginstalan tambahan

Untuk mengetahui opsi penginstalan dan pemecahan masalah tambahan, lihat Panduan penginstalan agen Bindplane.

Catatan: Konfigurasi pengekspor Chronicle API memerlukan pengumpul Bindplane v1.106.0 atau yang lebih baru. Perintah sebelumnya akan menginstal rilis terbaru. Jika Anda mengupdate penginstalan yang ada, upgrade kolektor sebelum mengubah konfigurasi.

Mengonfigurasi agen Bindplane untuk menyerap log dan mengirimkannya ke Google SecOps

Cari file konfigurasi

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Mengedit file konfigurasi

• Ganti seluruh konten config.yaml dengan konfigurasi berikut:

  receivers:
    filelog:
      include:
        - /var/log/stix/*.json
      start_at: beginning
  
  exporters:
    chronicle/stix:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: STIX
      raw_log_field: body
      ingestion_labels:
        env: production
  
  service:
    pipelines:
      logs/stix_to_chronicle:
        receivers:
          - filelog
        exporters:
          - chronicle/stix
  

Parameter konfigurasi

Ganti placeholder berikut:

• Konfigurasi penerima:

  • filelog: Jenis penerima untuk mengumpulkan file log dari disk
  • include: Daftar jalur file yang akan dipantau. Tetapkan ini ke direktori tempat file STIX disimpan:
    • Linux: /var/log/stix/*.json
    • Windows: C:\Logs\stix\*.json
  • start_at: Tetapkan ke beginning untuk membaca log yang ada atau end untuk hanya membaca entri baru

• Konfigurasi pengekspor:

  • stix: Nama deskriptif untuk pengekspor
  • creds_file_path: Jalur lengkap ke file kunci JSON akun layanan (Opsi 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • <customer_id>: ID Pelanggan dari langkah sebelumnya
  • location: Ganti <LOCATION> dengan region instance Google SecOps Anda (misalnya, us, europe, atau asia-southeast1). Pengekspor akan menambahkan awalan chronicle.googleapis.com dengan nilai ini. Lihat Endpoint Regional untuk mengetahui daftar lengkapnya.
  • project: Ganti <PROJECT_NUMBER> dengan nomor project dari IAM & Admin > Settings.
  • endpoint: Tetap disetel ke chronicle.googleapis.com.
  • STIX: Jenis log persis seperti yang muncul di Chronicle
  • ingestion_labels: Label opsional dalam format YAML (misalnya, env: production)

• Konfigurasi pipeline:

  • stix_to_chronicle: Nama deskriptif untuk pipeline

Pengekspor API penyerapan lama

• Jika Anda menggunakan file autentikasi penyerapan dari Opsi 2, ganti blok exporters dengan kode berikut. Tetapkan creds_file_path ke jalur file autentikasi penyerapan, dan jika instance Anda berada di luar Amerika Serikat, ganti malachiteingestion-pa.googleapis.com dengan endpoint regional Anda (misalnya, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/stix:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: STIX
      raw_log_field: body
      ingestion_labels:
        env: production
  

Catatan: Pengekspor ini akan berhenti berfungsi saat Ingestion API dihentikan pada 20 Juli 2027.

Menyimpan file konfigurasi

• Setelah mengedit, simpan file:
  • Linux: Tekan Ctrl+O, lalu Enter, lalu Ctrl+X
  • Windows: Klik File > Simpan

Mulai ulang agen Bindplane untuk menerapkan perubahan

• Untuk memulai ulang agen Bindplane di Linux, jalankan perintah berikut:

  sudo systemctl restart observiq-otel-collector
  

  1. Pastikan layanan sedang berjalan:

     sudo systemctl status observiq-otel-collector
     

  2. Periksa log untuk mengetahui error:

     sudo journalctl -u observiq-otel-collector -f
     

• Untuk memulai ulang agen Bindplane di Windows, pilih salah satu opsi berikut:

  • Command Prompt atau PowerShell sebagai administrator:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Konsol layanan:

    1. Tekan Win+R, ketik services.msc, lalu tekan Enter.
    2. Cari observIQ OpenTelemetry Collector.
    3. Klik kanan, lalu pilih Restart.

    4. Pastikan layanan sedang berjalan:

       sc query observiq-otel-collector
       

    5. Periksa log untuk mengetahui error:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Mengonfigurasi pengumpulan file data STIX

STIX adalah format data, bukan produk. Data threat intelligence STIX biasanya diterima sebagai file JSON atau file XML dari klien TAXII, platform threat intelligence, atau download manual. Anda harus memastikan file ini ditempatkan di direktori yang dipantau oleh agen Bindplane.

Linux

1. Buat direktori untuk menyimpan file data STIX:

   sudo mkdir -p /var/log/stix
   

2. Konfigurasi klien TAXII atau platform intelijen ancaman Anda untuk menyimpan file STIX ke /var/log/stix/.

3. Pastikan akun layanan agen Bindplane memiliki akses baca ke direktori:

   sudo chmod 755 /var/log/stix
   

Windows

1. Buat direktori untuk menyimpan file data STIX:

   mkdir C:\Logs\stix
   

2. Konfigurasikan klien TAXII atau platform threat intelligence Anda untuk menyimpan file STIX ke `C:\Logs\stix`.

3. Perbarui jalur include agen Bindplane di config.yaml agar cocok:

   include:
     - C:\Logs\stix\*.json
   

   Catatan: Data STIX dapat dalam format JSON (STIX 2.x) atau XML (STIX 1.x). Sesuaikan pola glob include agar sesuai dengan format file Anda (misalnya, *.json, *.xml, atau keduanya menggunakan beberapa entri include). Akun layanan agen Bindplane harus memiliki akses baca ke direktori data.

Tabel pemetaan UDM

Kolom Log	Pemetaan UDM	Logika
	entity.administrative_domain	Tetapkan ke "TEST"
assetid_value	entity.asset.asset_id	Nilai dari assetid_value jika tidak kosong
condition_label, related_indicators_relationship_label, related_indicators_scope, indicator_types_label, valid_start_time_label, controlled_structure_label, marking_structure_label	entity.asset.attribute.labels	Digabungkan dari berbagai label
nama	entity.file.full_path	Nilai disalin secara langsung
val, hash.simple_hash_value, MD5_val, hash_value	entity.file.md5	Nilai dari val jika cocok dengan ekspresi reguler MD5, atau hash.simple_hash_value jika jenisnya MD5, atau MD5_val, atau hash_value
nilai	entity.file.names	Nilai disalin langsung
val, hash.simple_hash_value, sha1_val, hash_value	entity.file.sha1	Nilai dari val jika cocok dengan ekspresi reguler sha1, atau hash.simple_hash_value jika jenisnya SHA1, atau sha1_val, atau hash_value
val, hash.simple_hash_value, sha256val, sha_value, sha_value	entity.file.sha256	Nilai dari val jika cocok dengan regex sha256, atau hash.simple_hash_value jika jenisnya SHA256, atau sha256val, atau sha_value
observable.object.properties.value, dom, value, host, name, external_references.0.source_name	entity.hostname	Value dari observable.object.properties.value jika jenisnya FQDN, jika tidak, dom dari grok, jika tidak, value jika jenisnya domain-name, jika tidak, host, jika tidak, name jika main_observable_type domain/hostname, jika tidak, external_references.0.source_name
ip_val, ipval, ip, source_ip, value, src_ip	entity.ip	Nilai dari ip_val jika grok cocok, jika tidak, ipval jika kategori ipv4-addr, jika tidak, ip dari pola grok, jika tidak, source_ip, jika tidak, nilai jika jenis ipv4, jika tidak, src_ip dari grok
source_port, src_port	entity.port	Nilai dari source_port atau src_port
indicator_label, extension_value1, extension_value2, extension_value3, extension_value4, revoked_value, spec_version_value, object_marking_ref_value, label_value	entity.resource.attribute.labels	Digabungkan dari berbagai label
observable.object.properties.value, url_val, value, observable_properties_value	entity.url	Nilai dari observable.object.properties.value jika jenisnya URL, atau url_val dari grok, atau nilai jika jenisnya url, atau observable_properties_value jika tidak kosong
email_val, mail, value	entity.user.email_addresses	Nilai dari email_val jika grok cocok, atau email dari grok, atau nilai jika jenisnya email-addr
timestamp	metadata.collected_timestamp	Dikonversi menggunakan kecocokan tanggal ISO8601/RFC 3339
judul, deskripsi	metadata.description	Nilai dari judul atau deskripsi
entity_type	metadata.entity_type	Nilai disalin langsung
timestamp, valid_until	metadata.interval.end_time	Dikonversi dari stempel waktu atau valid_until menggunakan pencocokan tanggal ISO8601/RFC 3339
timestamp, valid_from, created	metadata.interval.start_time	Dikonversi dari stempel waktu, valid_from, created, atau timestamp menggunakan kecocokan tanggal ISO8601/RFC 3339
id	metadata.product_entity_id	Nilai disalin langsung
versi	metadata.product_version	Nilai disalin langsung
threat_detail	metadata.threat	Digabungkan dari threat_detail
threat_detail_category	threat.category	Nilai disalin langsung
confidence_value, confidence, x_stix_confidence, x_ctix_confidence_score	threat.confidence_details	Nilai dari confidence_value, jika tidak, confidence jika no_value, jika tidak, x_stix_confidence, jika tidak, x_ctix_confidence_score
value, confidence, x_ctix_confidence_score	threat.confidence_score	Nilai dari value jika namanya adalah Confidence Score, jika tidak, confidence, jika tidak, x_ctix_confidence_score, dikonversi menjadi float
property_label, sha512_value, observable_id, observable_object_id, keyword_label	threat.detection_fields	Digabungkan dari berbagai label
deskripsi	threat.description	Nilai disalin secara langsung
value, extensions.extension-definition--ea279b3e-5c71-4632-ac08-831c66a786ba.score	threat.risk_score	Nilai dari nilai jika nama Risiko, jika tidak, skor ekstensi, dikonversi menjadi float
	metadata.product_name	Tetapkan ke "STIX"
	metadata.vendor_name	Setel ke "STIX"
dom	event.idm.entity.entity.hostname	Dipetakan dari log perubahan
name	event.idm.entity.entity.url	Dipetakan dari log perubahan
valid_from	event.idm.entity.entity.resource.attribute.labels	Dipetakan dari log perubahan
valid_until	event.idm.entity.entity.resource.attribute.labels	Dipetakan dari log perubahan
pattern_version	event.idm.entity.entity.resource.attribute.labels	Dipetakan dari log perubahan
observable.object.properties.value.condition	event.idm.entity.entity.asset.attribute.labels	Dipetakan dari log perubahan
handling.controlled_structure	event.idm.entity.entity.asset.attribute.labels	Dipetakan dari log perubahan
handling.marking_structures.color	event.idm.entity.entity.asset.attribute.labels	Dipetakan dari log perubahan
related_indicators.related_indicators	event.idm.entity.entity.asset.attribute.labels	Dipetakan dari log perubahan
related_indicators.scope	event.idm.entity.entity.asset.attribute.labels	Dipetakan dari log perubahan
indicator_types	event.idm.entity.entity.asset.attribute.labels	Dipetakan dari log perubahan
valid_time_positions	event.idm.entity.entity.asset.attribute.labels	Dipetakan dari log perubahan
observable.object.properties.custom_properties	event.idm.entity.metadata.threat.detection_fields	Dipetakan dari log perubahan
observable.object.properties.value	event.ioc.domain_and_ports.domain	Dipetakan dari log perubahan
mitre-extension-definition.extension_type	entity.resource.attribute.labels.value	Dipetakan dari log perubahan
sco-extension-definition.extension_type	entity.resource.attribute.labels.value	Dipetakan dari log perubahan
x_ctix_confidence_score	threat_detail.confidence_score	Dipetakan dari log perubahan
modified	timestamp	Dipetakan dari log perubahan
valid_from	entity_event.metadata.interval.start_time	Dipetakan dari log perubahan
confidence	threat_detail.confidence_score	Dipetakan dari log perubahan
name	entity.entity.file.full_path	Dipetakan dari log perubahan
description	threat_detail.description	Dipetakan dari log perubahan
external_references.0.source_name	entity_event.entity.hostname	Dipetakan dari log perubahan
entity_type	IP_ADDRESS	Dipetakan dari log perubahan
entity_type	USER	Dipetakan dari log perubahan
entity_type	FILE	Dipetakan dari log perubahan
entity_type	DOMAIN_NAME	Dipetakan dari log perubahan

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.