Mengumpulkan log Cloudian HyperStore

Versi Parser: 2.0

Didukung di:

Dokumen ini menjelaskan cara menyerap log Cloudian HyperStore ke Google Security Operations menggunakan agen Bindplane.

Parser mengekstrak kolom dari pesan syslog Cloudian HyperStore menggunakan pola grok, termasuk stempel waktu, alamat IP, nama pengguna, dan deskripsi. Parser memetakan kolom yang diekstrak ke Unified Data Model (UDM) dan menetapkan jenis peristiwa yang sesuai berdasarkan aktivitas yang diidentifikasi.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps
  • Windows Server 2016 atau yang lebih baru, atau host Linux dengan systemd
  • Konektivitas jaringan antara agen Bindplane dan sistem Cloudian HyperStore
  • Jika beroperasi dari balik proxy, pastikan port firewall terbuka sesuai dengan persyaratan agen Bindplane
  • Akses istimewa ke Cloudian HyperStore

Mendapatkan kredensial Google SecOps untuk agen Bindplane

Untuk mengautentikasi agen Bindplane ke Google SecOps, pilih salah satu metode berikut:

  • Deployment baru: Gunakan Chronicle API (Opsi 1).
  • Deployment lama: Terus gunakan file autentikasi penyerapan (Opsi 2) hingga Ingestion API dihentikan pada 20 Juli 2027.
  1. Login ke Google Cloud konsol dan pilih Google Cloud project yang ditautkan ke instance Google SecOps Anda.
  2. Buka IAM & Admin > Service Accounts.
  3. Klik Create service account.
  4. Berikan detail konfigurasi berikut:
    • Nama akun layanan: Masukkan nama akun (misalnya, bindplane-ingest).
    • Deskripsi akun layanan: Masukkan deskripsi (misalnya, Bindplane agent log ingestion).
  5. Klik Create and continue.
  6. Di bagian Grant this service account access to project , klik Select a role , lalu pilih Chronicle Editor.
  7. Klik Continue, lalu klik Done.
  8. Klik akun layanan yang Anda buat, lalu buka tab Keys.
  9. Klik Add key > Create new key.
  10. Pilih JSON , lalu klik Create. File kunci akan didownload ke komputer Anda.
  11. Simpan file kunci sebagai ingestion-auth.json di direktori pengumpul Bindplane (/opt/observiq-otel-collector/ingestion-auth.json di Linux atau C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json di Windows), atau perbarui creds_file_path di config.yaml agar sesuai dengan jalur tempat Anda menyimpannya.
  12. Buka IAM & Admin > Settings , lalu salin Project number. Anda akan memerlukannya untuk konfigurasi pengekspor.

Opsi 2: Mendownload file autentikasi penyerapan (lama)

  1. Login ke konsol Google SecOps.
  2. Buka SIEM Settings > Collection Agents.
  3. Download ingestion authentication file.
  4. Simpan file dengan aman di sistem tempat agen Bindplane akan diinstal.

Mendapatkan ID pelanggan Google SecOps

  1. Login ke konsol Google SecOps.
  2. Buka SIEM Settings > Profile.

  3. Salin dan simpan Customer ID dari bagian Organization Details.

Menginstal agen Bindplane

Instal agen Bindplane di sistem operasi Windows atau Linux Anda sesuai dengan petunjuk berikut.

Penginstalan Windows

  1. Buka Command Prompt atau PowerShell sebagai administrator.

  2. Jalankan perintah berikut:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. Tunggu hingga penginstalan selesai.

  4. Verifikasi penginstalan dengan menjalankan:

    sc query observiq-otel-collector

    Layanan akan ditampilkan sebagai RUNNING.

Penginstalan Linux

  1. Buka terminal dengan hak akses root atau sudo.

  2. Jalankan perintah berikut:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. Tunggu hingga penginstalan selesai.

  4. Verifikasi penginstalan dengan menjalankan:

    sudo systemctl status observiq-otel-collector

    Layanan akan ditampilkan sebagai active (running).

Referensi penginstalan tambahan

Untuk opsi pemasangan dan pemecahan masalah tambahan, lihat panduan pemasangan agen Bindplane.

Mengonfigurasi agen Bindplane untuk menyerap syslog dan mengirim ke Google SecOps

Menemukan file konfigurasi

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

Mengedit file konfigurasi

  • Ganti seluruh konten config.yaml dengan konfigurasi berikut:

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/cloudian_hyperstore:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: chronicle.googleapis.com
    log_type: CLOUDIAN_HYPERSTORE
    raw_log_field: body

service:
  pipelines:
    logs/cloudian_hyperstore_to_chronicle:
      receivers:
        - udplog
      exporters:
        - chronicle/cloudian_hyperstore

Parameter konfigurasi

Ganti placeholder berikut:

  • Konfigurasi penerima:

    • listen_address: Alamat IP dan port untuk diproses:
      • 0.0.0.0 untuk diproses di semua antarmuka (direkomendasikan)
      • Port 514 adalah port syslog standar (memerlukan root di Linux; gunakan 1514 untuk non-root)

  • Konfigurasi pengekspor:

    • creds_file_path: Jalur lengkap ke file kunci JSON akun layanan (Opsi 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id: ID Pelanggan yang disalin dari konsol Google SecOps
    • location: Ganti <LOCATION> dengan region instance Google SecOps Anda (misalnya, us, europe, atau asia-southeast1). Pengekspor menambahkan awalan chronicle.googleapis.com dengan nilai ini. Lihat Endpoint Regional untuk mengetahui daftar lengkapnya.
    • project: Ganti <PROJECT_NUMBER> dengan nomor project dari IAM & Admin > Settings.
    • endpoint: Tetapkan ke chronicle.googleapis.com.

Pengekspor Ingestion API lama

  • Jika Anda menggunakan file autentikasi penyerapan dari Opsi 2, ganti blok exporters dengan blok berikut. Tetapkan creds_file_path ke jalur file autentikasi penyerapan, dan jika instance Anda berada di luar AS, ganti malachiteingestion-pa.googleapis.com dengan endpoint regional Anda (misalnya, europe-malachiteingestion-pa.googleapis.com).

    exporters:
  chronicle/cloudian_hyperstore:
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: CLOUDIAN_HYPERSTORE
    raw_log_field: body

Menyimpan file konfigurasi

  • Setelah mengedit, simpan file:
    • Linux: Tekan Ctrl+O, lalu Enter, lalu Ctrl+X
    • Windows: Klik File > Save

Memulai ulang agen Bindplane untuk menerapkan perubahan

  • Untuk memulai ulang agen Bindplane di Linux, jalankan perintah berikut:

    sudo systemctl restart observiq-otel-collector

    1. Pastikan layanan sedang berjalan:

      sudo systemctl status observiq-otel-collector

    2. Periksa log untuk mengetahui error:

      sudo journalctl -u observiq-otel-collector -f

  • Untuk memulai ulang agen Bindplane di Windows, pilih salah satu opsi berikut:

    • Command Prompt atau PowerShell sebagai administrator:

      net stop observiq-otel-collector && net start observiq-otel-collector

    • Konsol layanan:

      1. Tekan Win+R, ketik services.msc, lalu tekan Enter.
      2. Temukan observIQ OpenTelemetry Collector.
      3. Klik kanan, lalu pilih Restart.

      4. Pastikan layanan sedang berjalan:

        sc query observiq-otel-collector

      5. Periksa log untuk mengetahui error:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

Mengonfigurasi syslog Cloudian HyperStore

  1. Login ke node HyperStore Config Controller menggunakan CLI.

  2. Jalankan perintah hsctl berikut:

    hsctl config set logging.syslog.remote.enabled=true
hsctl config set logging.syslog.remote.host=<BINDPLANE_IP>
hsctl config set logging.syslog.remote.protocol=<UDP_OR_TCP>
hsctl config set logging.syslog.remote.port=<BINDPLANE_PORT>
hsctl config apply ALL
hsctl service restart s3 iam hyperstore firewall --nodes=ALL
hsctl config set monitoring.agent.logging.level=INFO
hsctl config apply monitoring
    • Ganti <BINDPLANE_IP> dengan alamat IP agen Bindplane.
    • Ganti <UDP_OR_TCP> dengan protokol yang dikonfigurasi di agen Bindplane.
    • Ganti <BINDPLANE_PORT> dengan nomor port agen Bindplane.

Tabel pemetaan UDM

Kolom Log Pemetaan UDM Logika
description metadata.description Dipetakan secara langsung
datetime metadata.event_timestamp Diuraikan sebagai RFC 3339
method network.http.method Diganti nama/dipetakan
url network.http.referral_url Dipetakan secara langsung
status_code network.http.response_code Diganti nama/dipetakan
session_id network.session_id Dipetakan secara langsung
application principal.application Dipetakan secara langsung
hostname principal.hostname Dipetakan secara langsung
source_ip principal.ip Digabungkan
request_id principal.process.pid Dipetakan secara langsung
target_ip target.ip Digabungkan
port target.port Diganti nama/dipetakan
file_path target.process.file.full_path Dipetakan secara langsung
user target.user.user_display_name Dipetakan secara langsung
T/A extensions.auth.type Konstanta: AUTHTYPE_UNSPECIFIED
T/A metadata.event_type Konstanta: NETWORK_CONNECTION
T/A metadata.product_name Konstanta: Cloudian Hyperstore
T/A metadata.vendor_name Konstanta: Cloudian

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.