Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Mengumpulkan log Fivetran

Didukung di:

Google secops SIEM

Dokumen ini menjelaskan cara mengonfigurasi Fivetran untuk mengirim log ke Google Security Operations menggunakan webhook.

Fivetran adalah platform integrasi data yang mengotomatiskan pipeline data dari berbagai sumber ke data warehouse. Fivetran menghasilkan peristiwa operasional termasuk peristiwa sinkronisasi konektor, peristiwa transformasi, dan perubahan status koneksi. Peristiwa ini dapat dikirim ke endpoint eksternal melalui webhook keluar untuk pemantauan, pemberitahuan, dan analisis keamanan.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

Instance Google SecOps.
Akun Fivetran dengan izin admin atau tingkat akun.
Akses ke Konsol Google Cloud (untuk pembuatan kunci API).
Akun Fivetran dengan akses REST API diaktifkan.

Membuat feed webhook di Google SecOps

Membuat feed

Buka SIEM Settings > Feeds.
Klik + Add New.
Pilih Configure a single feed.
Di kolom Feed name, masukkan nama (misalnya, Fivetran Events).
Pilih Webhook sebagai Source type.
Pilih Fivetran sebagai Log type.
Klik Next.
Tentukan nilai untuk parameter input berikut:
- Split delimiter (opsional): Biarkan kosong.
- Asset namespace: Namespace aset.
- Ingestion labels: Label yang akan diterapkan ke peristiwa dari feed ini.
Klik Next.
Tinjau konfigurasi feed baru Anda, lalu klik Submit.

Membuat dan menyimpan kunci rahasia

Di halaman detail feed, klik Generate Secret Key.
Dialog akan menampilkan kunci rahasia.
Salin dan simpan kunci rahasia dengan aman.

Mendapatkan URL endpoint feed

Buka tab Details feed.
Di bagian Endpoint Information, salin Feed endpoint URL.
Simpan URL ini untuk langkah berikutnya.
Klik Done.

Membuat kunci API Google Cloud

Google SecOps memerlukan kunci API untuk autentikasi.

Membuat kunci API

Buka halaman Kredensial Konsol Google Cloud.
Pilih project Anda.
Klik Create credentials > API key.
Klik Edit API key untuk membatasi kunci.

Membatasi kunci API

Di setelan API key :
- Nama: Masukkan nama deskriptif (misalnya, SecOps Webhook API Key).
Di bagian API restrictions:
1. Pilih Restrict key.
2. Di menu dropdown, telusuri dan pilih Google SecOps API (atau Chronicle API).
Klik Save.
Salin nilai kunci API dan simpan dengan aman.

Mengonfigurasi webhook Fivetran

Membuat URL webhook

Gabungkan URL endpoint dan kunci API:
```
<ENDPOINT_URL>?key=<API_KEY>
```

Membuat webhook menggunakan Fivetran REST API

Mendapatkan kredensial Fivetran API

Login ke akun Fivetran Anda.
Buka Account Settings > API Config.
Klik Generate API Key jika Anda belum memilikinya.
Salin API Key dan API Secret.

Membuat webhook tingkat akun

Gunakan metode ini untuk menerima peristiwa dari semua konektor di akun Anda.

Buka terminal dan jalankan perintah berikut:

curl -X POST [https://api.fivetran.com/v1/webhooks/account](https://api.fivetran.com/v1/webhooks/account) \
        -u "API_KEY:API_SECRET" \
        -H "Content-Type: application/json" \
        -H "Accept: application/json" \
        -d '{
                "url": "[https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY](https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY)",
                "events": [
                        "sync_start",
                        "sync_end",
                        "transformation_start",
                        "transformation_succeeded",
                        "transformation_failed",
                        "connection_successful",
                        "connection_failure",
                        "create_connector",
                        "pause_connector",
                        "resume_connector",
                        "edit_connector",
                        "delete_connector",
                        "force_update_connector",
                        "resync_connector",
                        "resync_table"
                ],
                "active": true,
                "secret": "YOUR_CHRONICLE_SECRET_KEY"
        }'

Detail webhook

Peristiwa webhook yang tersedia

Peristiwa	Deskripsi
`sync_start`	Sinkronisasi konektor dimulai
`sync_end`	Sinkronisasi konektor selesai
`transformation_start`	Transformasi dimulai
`transformation_succeeded`	Transformasi berhasil diselesaikan
`transformation_failed`	Transformasi gagal
`connection_successful`	Pengujian koneksi berhasil
`connection_failure`	Pengujian koneksi gagal
`create_connector`	Konektor baru dibuat

Perilaku percobaan ulang webhook

Fivetran otomatis mencoba ulang webhook yang gagal hingga 24 jam dengan jadwal berikut:

Coba lagi	Waktu Setelah Upaya Awal
Upaya mencoba lagi ke-1	6 menit
Upaya mencoba lagi ke-2	27 menit
Upaya mencoba lagi ke-3	1 jam 45 menit
Upaya mencoba lagi ke-4	6 jam 25 menit
Upaya mencoba lagi ke-5	23 jam 13 menit

Tabel pemetaan UDM

Kolom Log	Pemetaan UDM	Logika
`jsonPayload.connector_id`	`additional.connector_id`	Nilai disalin langsung.
`jsonPayload.connector_type`	`additional.connector_type`	Nilai disalin langsung.
`jsonPayload.data.query`	`additional.query`	Nilai disalin langsung.
T/A	`metadata.event_type`	Ditetapkan berdasarkan keberadaan principal dan target.
`jsonPayload.event`	`metadata.product_event_type`	Nilai disalin langsung.
`jsonPayload.sync_id`	`metadata.product_log_id`	Nilai disalin langsung.
`jsonPayload.connector_name`	`principal.hostname`	Nilai disalin langsung.
`resource.labels.email_id`	`principal.user.email_addresses`	Dipetakan jika formatnya adalah email yang valid.
`resource.labels.unique_id`	`principal.user.userid`	Nilai disalin langsung.
`severity`	`security_result.severity`	"INFO" dipetakan ke INFORMATIONAL.
`logName`	`target.resource.name`	Nilai disalin langsung.
T/A	`target.resource.type`	Ditetapkan ke DATABASE.
T/A	`metadata.product_name`	Ditetapkan ke FIVETRAN.
T/A	`metadata.vendor_name`	Ditetapkan ke FIVETRAN.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.