Mengumpulkan log Fivetran

Versi Parser: 1.0

Didukung di:

Dokumen ini menjelaskan cara mengonfigurasi Fivetran untuk mengirimkan log ke Google Security Operations menggunakan webhook.

Fivetran adalah platform integrasi data yang mengotomatiskan pipeline data dari berbagai sumber ke data warehouse. Fivetran menghasilkan peristiwa operasional, termasuk peristiwa sinkronisasi konektor, peristiwa transformasi, dan perubahan status koneksi. Peristiwa ini dapat dikirim ke endpoint eksternal melalui webhook keluar untuk pemantauan, pemberitahuan, dan analisis keamanan.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps.
  • Akun Fivetran dengan izin tingkat akun atau admin.
  • Akses ke Konsol Google Cloud (untuk pembuatan kunci API).
  • Akun Fivetran dengan akses REST API diaktifkan.

Membuat feed webhook di Google SecOps

Buat feed

  1. Buka Setelan SIEM > Feed.
  2. Klik + Tambahkan Baru.
  3. Pilih Konfigurasi satu feed.
  4. Di kolom Nama feed, masukkan nama (misalnya, Fivetran Events).
  5. Pilih Webhook sebagai Jenis sumber.
  6. Pilih Fivetran sebagai Jenis log.
  7. Klik Berikutnya.
  8. Tentukan nilai untuk parameter input berikut:
    • Pemisah pemisahan (opsional): Biarkan kosong.
    • Namespace aset: Namespace aset.
    • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.
  9. Klik Berikutnya.
  10. Tinjau konfigurasi feed baru Anda, lalu klik Kirim.

Buat dan simpan kunci rahasia

  1. Di halaman detail feed, klik Buat Kunci Rahasia.
  2. Dialog akan menampilkan kunci rahasia.
  3. Salin dan simpan kunci rahasia dengan aman.

Mendapatkan URL endpoint feed

  1. Buka tab Detail untuk feed tersebut.
  2. Di bagian Endpoint Information, salin Feed endpoint URL.
  3. Simpan URL ini untuk langkah berikutnya.
  4. Klik Done.

Membuat kunci Google Cloud API

Google SecOps memerlukan kunci API untuk autentikasi.

Buat kunci API

  1. Buka halaman Kredensial Konsol Google Cloud.
  2. Pilih project Anda.
  3. Klik Create credentials > API key.
  4. Klik Edit API key untuk membatasi kunci.

Membatasi kunci API

  1. Di setelan kunci API:
    • Name: Masukkan nama deskriptif (misalnya, SecOps Webhook API Key).
  2. Di bagian Pembatasan API:
    1. Pilih Restrict key.
    2. Di dropdown, telusuri dan pilih Google SecOps API (atau Chronicle API).
  3. Klik Simpan.
  4. Salin nilai kunci API dan simpan dengan aman.

Konfigurasi webhook Fivetran

Buat URL webhook

  • Gabungkan URL endpoint dan kunci API:

    <ENDPOINT_URL>?key=<API_KEY>

Membuat webhook menggunakan Fivetran REST API

Mendapatkan kredensial API Fivetran

  1. Login ke akun Fivetran Anda.
  2. Buka Setelan Akun > Konfigurasi API.
  3. Klik Generate API Key jika Anda belum memilikinya.
  4. Salin Kunci API dan Rahasia API.

Membuat webhook tingkat akun

Gunakan metode ini untuk menerima peristiwa dari semua konektor di akun Anda.

  1. Buka terminal dan jalankan perintah berikut:

    curl -X POST [https://api.fivetran.com/v1/webhooks/account](https://api.fivetran.com/v1/webhooks/account) \
        -u "API_KEY:API_SECRET" \
        -H "Content-Type: application/json" \
        -H "Accept: application/json" \
        -d '{
                "url": "[https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY](https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY)",
                "events": [
                        "sync_start",
                        "sync_end",
                        "transformation_start",
                        "transformation_succeeded",
                        "transformation_failed",
                        "connection_successful",
                        "connection_failure",
                        "create_connector",
                        "pause_connector",
                        "resume_connector",
                        "edit_connector",
                        "delete_connector",
                        "force_update_connector",
                        "resync_connector",
                        "resync_table"
                ],
                "active": true,
                "secret": "YOUR_CHRONICLE_SECRET_KEY"
        }'

Detail webhook

Peristiwa webhook yang tersedia

Acara Deskripsi
sync_start Sinkronisasi konektor dimulai
sync_end Sinkronisasi konektor selesai
transformation_start Transformasi dimulai
transformation_succeeded Transformasi berhasil diselesaikan
transformation_failed Transformasi gagal
connection_successful Uji koneksi berhasil
connection_failure Uji koneksi gagal
create_connector Konektor baru dibuat

Perilaku percobaan ulang webhook

Fivetran otomatis mencoba ulang webhook yang gagal hingga 24 jam dengan jadwal berikut:

Coba lagi Waktu Setelah Upaya Awal
Percobaan ulang ke-1 6 menit
Percobaan ulang ke-2 27 menit
Percobaan ulang ke-3 1 jam 45 menit
Percobaan ulang ke-4 6 jam 25 menit
Upaya coba lagi ke-5 23 jam 13 menit

Tabel pemetaan UDM

Kolom Log Pemetaan UDM Logika
jsonPayload.connector_id additional.connector_id Nilai disalin secara langsung.
jsonPayload.connector_type additional.connector_type Nilai disalin secara langsung.
jsonPayload.data.query additional.query Nilai disalin secara langsung.
T/A metadata.event_type Ditetapkan berdasarkan kehadiran subjek dan target.
jsonPayload.event metadata.product_event_type Nilai disalin secara langsung.
jsonPayload.sync_id metadata.product_log_id Nilai disalin secara langsung.
jsonPayload.connector_name principal.hostname Nilai disalin secara langsung.
resource.labels.email_id principal.user.email_addresses Dipetakan jika formatnya adalah email yang valid.
resource.labels.unique_id principal.user.userid Nilai disalin secara langsung.
severity security_result.severity "INFO" dipetakan ke INFORMATIONAL.
logName target.resource.name Nilai disalin secara langsung.
T/A target.resource.type Tetapkan ke DATABASE.
T/A metadata.product_name Setel ke FIVETRAN.
T/A metadata.vendor_name Setel ke FIVETRAN.

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.