Mengumpulkan log Fivetran

Versi Parser: 1.0

Didukung di:

Dokumen ini menjelaskan cara mengonfigurasi Fivetran untuk mengirim log ke Google Security Operations menggunakan webhook.

Fivetran adalah platform integrasi data yang mengotomatiskan pipeline data dari berbagai sumber ke data warehouse. Fivetran menghasilkan peristiwa operasional termasuk peristiwa sinkronisasi konektor, peristiwa transformasi, dan perubahan status koneksi. Peristiwa ini dapat dikirim ke endpoint eksternal melalui webhook keluar untuk pemantauan, pemberitahuan, dan analisis keamanan.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps.
  • Akun Fivetran dengan izin admin atau tingkat akun.
  • Akses ke Konsol Google Cloud (untuk pembuatan kunci API).
  • Akun Fivetran dengan akses REST API diaktifkan.

Membuat feed webhook di Google SecOps

Membuat feed

  1. Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
  2. Klik + Tambahkan Baru.
  3. Pilih Konfigurasi satu feed.
  4. Di kolom Nama feed, masukkan nama (misalnya, Fivetran Events).
  5. Pilih Webhook sebagai Jenis sumber.
  6. Pilih Fivetran sebagai Log type.
  7. Klik Berikutnya.
  8. Tentukan nilai untuk parameter input berikut:
    • Split delimiter (opsional): Biarkan kosong.
    • Namespace aset: Namespace aset.
    • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.
  9. Klik Berikutnya.
  10. Tinjau konfigurasi feed berita baru Anda, lalu klik Kirim.

Membuat dan menyimpan kunci rahasia

  1. Di halaman detail feed, klik Buat Kunci Rahasia.
  2. Dialog akan menampilkan kunci rahasia.
  3. Salin dan simpan kunci rahasia dengan aman.

Mendapatkan URL endpoint feed

  1. Buka tab Detail untuk feed tersebut.
  2. Di bagian Endpoint Information, salin Feed endpoint URL.
  3. Simpan URL ini untuk langkah berikutnya.
  4. Klik Done.

Membuat kunci Google Cloud API

Google SecOps memerlukan kunci API untuk autentikasi.

Membuat kunci API

  1. Buka halaman Credentials Konsol Google Cloud.
  2. Pilih project Anda.
  3. Klik Create credentials > kunci API.
  4. Klik Edit kunci API untuk membatasi kunci.

Membatasi kunci API

  1. Di setelan API key:
    • Name: Masukkan nama deskriptif (misalnya, SecOps Webhook API Key).
  2. Di bagian API restrictions:
    1. Pilih Restrict key.
    2. Di dropdown, telusuri dan pilih Google SecOps API (atau Chronicle API).
  3. Klik Simpan.
  4. Salin nilai kunci API dan simpan dengan aman.

Mengonfigurasi webhook Fivetran

Membuat URL webhook

  • Gabungkan URL endpoint dan kunci API:

    <ENDPOINT_URL>?key=<API_KEY>

Membuat webhook menggunakan REST API Fivetran

Mendapatkan kredensial Fivetran API

  1. Login ke akun Fivetran Anda.
  2. Buka Setelan Akun > Konfigurasi API.
  3. Klik Generate kunci API jika Anda belum memilikinya.
  4. Salin kunci API dan Rahasia API.

Membuat webhook tingkat akun

Gunakan metode ini untuk menerima peristiwa dari semua konektor di akun Anda.

  1. Buka terminal dan jalankan perintah berikut:

    curl -X POST https://api.fivetran.com/v1/webhooks/account \
        -u "API_KEY:API_SECRET" \
        -H "Content-Type: application/json" \
        -H "Accept: application/json" \
        -d '{
                "url": "https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import?key=YOUR_CHRONICLE_API_KEY",
                "events": [
                        "sync_start",
                        "sync_end",
                        "transformation_start",
                        "transformation_succeeded",
                        "transformation_failed",
                        "connection_successful",
                        "connection_failure",
                        "create_connector",
                        "pause_connector",
                        "resume_connector",
                        "edit_connector",
                        "delete_connector",
                        "force_update_connector",
                        "resync_connector",
                        "resync_table"
                ],
                "active": true,
                "secret": "YOUR_CHRONICLE_SECRET_KEY"
        }'
    • Dengan {region} adalah region instance Google SecOps Anda (misalnya, us, europe, atau asia-southeast1), dan {parent} adalah jalur resource dalam format projects/<PROJECT_ID>/locations/<LOCATION>/instances/<INSTANCE_ID>/logTypes/<LOG_TYPE>.

Detail webhook

Peristiwa webhook yang tersedia

Acara Deskripsi
sync_start Sinkronisasi konektor dimulai
sync_end Sinkronisasi konektor selesai
transformation_start Transformasi dimulai
transformation_succeeded Transformasi berhasil diselesaikan
transformation_failed Transformasi gagal
connection_successful Uji koneksi berhasil
connection_failure Uji koneksi gagal
create_connector Konektor baru dibuat

Perilaku percobaan ulang webhook

Fivetran otomatis mencoba ulang webhook yang gagal hingga 24 jam dengan jadwal berikut:

Coba lagi Waktu Setelah Upaya Awal
Upaya mencoba lagi ke-1 6 menit
Percobaan ulang ke-2 27 menit
Upaya mencoba lagi ke-3 1 jam 45 menit
Percobaan ulang ke-4 6 jam 25 menit
Percobaan ulang ke-5 23 jam 13 menit

Tabel pemetaan UDM

Kolom Log Pemetaan UDM Logika
jsonPayload.connector_id additional.connector_id Nilai disalin secara langsung.
jsonPayload.connector_type additional.connector_type Nilai disalin secara langsung.
jsonPayload.data.query additional.query Nilai disalin secara langsung.
T/A metadata.event_type Ditetapkan berdasarkan keberadaan akun utama dan target.
jsonPayload.event metadata.product_event_type Nilai disalin secara langsung.
jsonPayload.sync_id metadata.product_log_id Nilai disalin secara langsung.
jsonPayload.connector_name principal.hostname Nilai disalin secara langsung.
resource.labels.email_id principal.user.email_addresses Dipetakan jika formatnya adalah email yang valid.
resource.labels.unique_id principal.user.userid Nilai disalin secara langsung.
severity security_result.severity "INFO" dipetakan ke INFORMATIONAL.
logName target.resource.name Nilai disalin secara langsung.
T/A target.resource.type Tetapkan ke DATABASE.
T/A metadata.product_name Tetapkan ke FIVETRAN.
T/A metadata.vendor_name Tetapkan ke FIVETRAN.

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.