Mengumpulkan log Fastly CDN
Versi Parser: 2.0
Dokumen ini menjelaskan cara menyerap log Fastly CDN ke Google Security Operations menggunakan Amazon S3.
Fastly adalah jaringan penayangan konten (CDN) dan platform edge cloud yang menyediakan layanan penayangan konten real-time, keamanan, dan edge computing. Fitur Real-Time Log Streaming Fastly dapat mengirimkan log akses CDN, peristiwa WAF, dan data telemetri lainnya ke berbagai tujuan, termasuk Amazon S3 untuk pemantauan dan analisis keamanan.
Sebelum memulai
Pastikan Anda memiliki prasyarat berikut:
- Instance Google SecOps
- Akses istimewa ke panel kontrol atau API Fastly
- Akses istimewa ke AWS (S3, IAM)
- Token Fastly API dengan cakupan
globalatauglobal:read
Membuat token Fastly API
- Login ke panel kontrol Fastly di https://manage.fastly.com.
- Klik ikon pengguna di sudut kanan atas.
- Buka Account > Personal API tokens.
- Klik Create Token.
- Dalam dialog Create API Token, berikan informasi berikut:
- Name: Masukkan nama deskriptif (misalnya,
Google SecOps S3 Logging Configuration). - Type: Pilih User token.
- Scope: Pilih Global access (diperlukan untuk mengonfigurasi endpoint logging).
- Expiration: Pilih Never expire atau tetapkan tanggal habis masa berlaku yang sesuai.
- Name: Masukkan nama deskriptif (misalnya,
- Klik Create Token.
- Salin dan simpan token API dengan aman.
Mengonfigurasi bucket AWS S3 dan IAM untuk Google SecOps
- Buat bucket Amazon S3 dengan mengikuti panduan pengguna ini: Membuat bucket.
- Simpan Name dan Region bucket untuk referensi di masa mendatang (misalnya,
fastly-cdn-logs). - Buat Pengguna dengan mengikuti panduan pengguna ini: Membuat pengguna IAM.
- Pilih User yang dibuat.
- Pilih tab kredensial keamanan.
- Klik Create Access Key di bagian Access Keys.
- Pilih Layanan pihak ketiga sebagai Kasus penggunaan.
- Klik Berikutnya.
- Opsional: Tambahkan tag deskripsi.
- Klik Create access key.
- Klik Download .csv file untuk menyimpan Access Key dan Secret Access Key untuk referensi di masa mendatang.
- Klik Done.
- Pilih tab Izin.
- Klik Add permissions di bagian Kebijakan Izin.
- Pilih Add permissions.
- Pilih Attach policies directly.
- Telusuri kebijakan AmazonS3FullAccess.
- Pilih kebijakan.
- Klik Berikutnya.
- Klik Add permissions.
Mengonfigurasi endpoint logging Fastly S3
Opsi A: Konfigurasi melalui panel kontrol Fastly
- Login ke Fastly control panel di https://manage.fastly.com
- Pilih layanan yang ingin Anda konfigurasi logging-nya.
- Klik Edit konfigurasi dan pilih Buat clone versi aktif untuk membuat versi draf baru.
- Klik Logging di menu navigasi sebelah kiri.
- Di bagian Amazon Web Services S3, klik Create endpoint.
Di formulir Create an Amazon S3 endpoint, berikan detail konfigurasi berikut:
Setelan dasar:
- Name: Masukkan nama deskriptif (misalnya,
secops-s3-logs). - Placement: Pilih Format Version Default (direkomendasikan).
Log format: Masukkan string format JSON berikut:
{"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
- Timestamp format: Biarkan sebagai default (string yang kompatibel dengan strftime).
- Name: Masukkan nama deskriptif (misalnya,
Konfigurasi bucket S3:
- Bucket name: Masukkan nama bucket S3 (misalnya,
fastly-cdn-logs). - Domain: Kosongkan jika bucket Anda berada di region US Standard. Untuk region lain, masukkan endpoint S3 yang sesuai (misalnya,
s3-us-west-2.amazonaws.comuntuk region us-west-2). - Metode akses: Pilih Kredensial Pengguna
- Access key: Masukkan kunci akses AWS dari langkah 11.
- Secret key: Masukkan kunci akses rahasia AWS dari langkah 11.
- Period: Masukkan
3600(log diselesaikan setiap jam).
Klik Advanced options untuk meluaskan setelan tambahan:
Setelan lanjutan:
- Path: Masukkan
fastly-cdn/(awalan opsional untuk mengatur log dalam bucket). - Kunci publik PGP: Biarkan kosong (enkripsi tidak diperlukan untuk integrasi ini).
- Select a log line format: Pilih Blank (kita menggunakan format JSON kustom).
- Compression: Pilih gzip (direkomendasikan untuk mengurangi biaya penyimpanan).
- Redundancy level: Pilih Standard.
- ACL: Pilih private (direkomendasikan).
- Server side encryption: Pilih None (atau konfigurasikan sesuai dengan persyaratan keamanan Anda).
- Maximum bytes: Masukkan
0(tidak ada batas ukuran file maksimum).
- Path: Masukkan
Klik Create untuk membuat endpoint logging.
Klik Aktifkan di pojok kanan atas.
Pilih Activate on Production untuk men-deploy perubahan konfigurasi Anda.
Pada dialog konfirmasi, klik Activate untuk mengonfirmasi.
Opsi B: Mengonfigurasi melalui Fastly API
Jika Anda lebih suka mengonfigurasi logging melalui API, gunakan pendekatan berikut:
Dapatkan ID layanan Fastly Anda dari panel kontrol atau dengan mencantumkan layanan:
curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/serviceBuat clone versi aktif untuk membuat versi draf baru:
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"Buat endpoint logging S3 pada versi draf baru:
curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ -H "Content-Type: application/x-www-form-urlencoded" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \ --data-urlencode 'name=secops-s3-logs' \ --data-urlencode 'bucket_name=fastly-cdn-logs' \ --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \ --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \ --data-urlencode 'path=fastly-cdn/' \ --data-urlencode 'period=3600' \ --data-urlencode 'gzip_level=9' \ --data-urlencode 'format_version=2' \ --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'Aktifkan versi baru:
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
Memverifikasi pengiriman log ke S3
- Tunggu sekitar 1 jam (berdasarkan periode yang dikonfigurasi) hingga file log pertama selesai.
- Di AWS Console, buka S3 > Buckets.
- Klik nama bucket Anda (misalnya,
fastly-cdn-logs). - Buka folder awalan
fastly-cdn/. Pastikan file log dibuat dengan pola penamaan yang mirip dengan:
fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gzDownload contoh file log dan verifikasi bahwa format JSON cocok dengan konfigurasi Anda.
Mengonfigurasi feed di Google SecOps untuk menyerap log Fastly CDN
- Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
- Klik Tambahkan Feed Berita Baru.
- Di halaman berikutnya, klik Konfigurasi satu feed.
- Masukkan nama unik untuk Nama feed.
- Pilih Amazon S3 V2 sebagai Jenis sumber.
- Pilih Fastly CDN sebagai Log type.
- Klik Berikutnya, lalu klik Kirim.
Tentukan nilai untuk kolom berikut:
- S3 URI:
s3://fastly-cdn-logs/fastly-cdn/. - Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda.
- Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir (defaultnya adalah 180 hari).
- Access Key ID: Kunci akses pengguna dengan akses ke bucket S3.
- Secret Access Key: Kunci rahasia pengguna dengan akses ke bucket S3.
- Namespace aset: Namespace aset.
- Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.
- S3 URI:
Klik Berikutnya, lalu klik Kirim.
Tabel pemetaan UDM
| Kolom log | pemetaan UDM | Logika |
|---|---|---|
| request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge | additional.fields | Digabungkan dengan label yang dibuat dari setiap kolom jika tidak kosong |
| metadata.event_type | Ditetapkan ke "GENERIC_EVENT", lalu ke "STATUS_UPDATE" jika principal_mid_present bernilai benar (true) | |
| request_method | network.http.method | Nilai disalin langsung |
| request_user_agent | network.http.parsed_user_agent | Dikonversi ke parseduseragent, lalu diganti namanya |
| request_referer | network.http.referral_url | Nilai disalin langsung |
| response_status | network.http.response_code | Dikonversi ke string, lalu ke bilangan bulat |
| request_user_agent | network.http.user_agent | Nilai disalin langsung |
| host | principal.asset.hostname | Nilai disalin langsung |
| client_ip | principal.asset.ip | Nilai disalin secara langsung (setelah validasi grok sebagai IP) |
| host | principal.hostname | Nilai disalin langsung |
| client_ip | principal.ip | Nilai disalin secara langsung (setelah validasi grok sebagai IP) |
| geo_city | principal.location.city | Nilai disalin langsung |
| geo_country | principal.location.country_or_region | Nilai disalin langsung |
| security_result | security_result | Nilai disalin langsung |
| url | target.url | Nilai disalin langsung |
| metadata.product_name | Tetapkan ke "FASTLY_CDN" | |
| metadata.vendor_name | Tetapkan ke "FASTLY_CDN" |
Log Perubahan
Melihat Log Perubahan untuk parser ini
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.