Mengumpulkan log Fastly CDN

Versi Parser: 2.0

Didukung di:

Dokumen ini menjelaskan cara menyerap log Fastly CDN ke Google Security Operations menggunakan Amazon S3.

Fastly adalah jaringan penayangan konten (CDN) dan platform edge cloud yang menyediakan layanan penayangan konten real-time, keamanan, dan edge computing. Fitur Real-Time Log Streaming Fastly dapat mengirimkan log akses CDN, peristiwa WAF, dan data telemetri lainnya ke berbagai tujuan, termasuk Amazon S3 untuk pemantauan dan analisis keamanan.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps
  • Akses istimewa ke panel kontrol atau API Fastly
  • Akses istimewa ke AWS (S3, IAM)
  • Token Fastly API dengan cakupan global atau global:read

Membuat token Fastly API

  1. Login ke panel kontrol Fastly di https://manage.fastly.com.
  2. Klik ikon pengguna di sudut kanan atas.
  3. Buka Account > Personal API tokens.
  4. Klik Create Token.
  5. Dalam dialog Create API Token, berikan informasi berikut:
    • Name: Masukkan nama deskriptif (misalnya, Google SecOps S3 Logging Configuration).
    • Type: Pilih User token.
    • Scope: Pilih Global access (diperlukan untuk mengonfigurasi endpoint logging).
    • Expiration: Pilih Never expire atau tetapkan tanggal habis masa berlaku yang sesuai.
  6. Klik Create Token.
  7. Salin dan simpan token API dengan aman.

Mengonfigurasi bucket AWS S3 dan IAM untuk Google SecOps

  1. Buat bucket Amazon S3 dengan mengikuti panduan pengguna ini: Membuat bucket.
  2. Simpan Name dan Region bucket untuk referensi di masa mendatang (misalnya, fastly-cdn-logs).
  3. Buat Pengguna dengan mengikuti panduan pengguna ini: Membuat pengguna IAM.
  4. Pilih User yang dibuat.
  5. Pilih tab kredensial keamanan.
  6. Klik Create Access Key di bagian Access Keys.
  7. Pilih Layanan pihak ketiga sebagai Kasus penggunaan.
  8. Klik Berikutnya.
  9. Opsional: Tambahkan tag deskripsi.
  10. Klik Create access key.
  11. Klik Download .csv file untuk menyimpan Access Key dan Secret Access Key untuk referensi di masa mendatang.
  12. Klik Done.
  13. Pilih tab Izin.
  14. Klik Add permissions di bagian Kebijakan Izin.
  15. Pilih Add permissions.
  16. Pilih Attach policies directly.
  17. Telusuri kebijakan AmazonS3FullAccess.
  18. Pilih kebijakan.
  19. Klik Berikutnya.
  20. Klik Add permissions.

Mengonfigurasi endpoint logging Fastly S3

Opsi A: Konfigurasi melalui panel kontrol Fastly

  1. Login ke Fastly control panel di https://manage.fastly.com
  2. Pilih layanan yang ingin Anda konfigurasi logging-nya.
  3. Klik Edit konfigurasi dan pilih Buat clone versi aktif untuk membuat versi draf baru.
  4. Klik Logging di menu navigasi sebelah kiri.
  5. Di bagian Amazon Web Services S3, klik Create endpoint.
  6. Di formulir Create an Amazon S3 endpoint, berikan detail konfigurasi berikut:

    • Setelan dasar:

      • Name: Masukkan nama deskriptif (misalnya, secops-s3-logs).
      • Placement: Pilih Format Version Default (direkomendasikan).
      • Log format: Masukkan string format JSON berikut:

        {"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
        
      • Timestamp format: Biarkan sebagai default (string yang kompatibel dengan strftime).

    Konfigurasi bucket S3:

    • Bucket name: Masukkan nama bucket S3 (misalnya, fastly-cdn-logs).
    • Domain: Kosongkan jika bucket Anda berada di region US Standard. Untuk region lain, masukkan endpoint S3 yang sesuai (misalnya, s3-us-west-2.amazonaws.com untuk region us-west-2).
    • Metode akses: Pilih Kredensial Pengguna
    • Access key: Masukkan kunci akses AWS dari langkah 11.
    • Secret key: Masukkan kunci akses rahasia AWS dari langkah 11.
    • Period: Masukkan 3600 (log diselesaikan setiap jam).
  7. Klik Advanced options untuk meluaskan setelan tambahan:

    Setelan lanjutan:

    • Path: Masukkan fastly-cdn/ (awalan opsional untuk mengatur log dalam bucket).
    • Kunci publik PGP: Biarkan kosong (enkripsi tidak diperlukan untuk integrasi ini).
    • Select a log line format: Pilih Blank (kita menggunakan format JSON kustom).
    • Compression: Pilih gzip (direkomendasikan untuk mengurangi biaya penyimpanan).
    • Redundancy level: Pilih Standard.
    • ACL: Pilih private (direkomendasikan).
    • Server side encryption: Pilih None (atau konfigurasikan sesuai dengan persyaratan keamanan Anda).
    • Maximum bytes: Masukkan 0 (tidak ada batas ukuran file maksimum).
  8. Klik Create untuk membuat endpoint logging.

  9. Klik Aktifkan di pojok kanan atas.

  10. Pilih Activate on Production untuk men-deploy perubahan konfigurasi Anda.

  11. Pada dialog konfirmasi, klik Activate untuk mengonfirmasi.

Opsi B: Mengonfigurasi melalui Fastly API

Jika Anda lebih suka mengonfigurasi logging melalui API, gunakan pendekatan berikut:

  1. Dapatkan ID layanan Fastly Anda dari panel kontrol atau dengan mencantumkan layanan:

    curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service
    
  2. Buat clone versi aktif untuk membuat versi draf baru:

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"
    
  3. Buat endpoint logging S3 pada versi draf baru:

    curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      -H "Content-Type: application/x-www-form-urlencoded" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \
      --data-urlencode 'name=secops-s3-logs' \
      --data-urlencode 'bucket_name=fastly-cdn-logs' \
      --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \
      --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \
      --data-urlencode 'path=fastly-cdn/' \
      --data-urlencode 'period=3600' \
      --data-urlencode 'gzip_level=9' \
      --data-urlencode 'format_version=2' \
      --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'
    
  4. Aktifkan versi baru:

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
    

Memverifikasi pengiriman log ke S3

  1. Tunggu sekitar 1 jam (berdasarkan periode yang dikonfigurasi) hingga file log pertama selesai.
  2. Di AWS Console, buka S3 > Buckets.
  3. Klik nama bucket Anda (misalnya, fastly-cdn-logs).
  4. Buka folder awalan fastly-cdn/.
  5. Pastikan file log dibuat dengan pola penamaan yang mirip dengan:

    fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gz
    
  6. Download contoh file log dan verifikasi bahwa format JSON cocok dengan konfigurasi Anda.

Mengonfigurasi feed di Google SecOps untuk menyerap log Fastly CDN

  1. Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
  2. Klik Tambahkan Feed Berita Baru.
  3. Di halaman berikutnya, klik Konfigurasi satu feed.
  4. Masukkan nama unik untuk Nama feed.
  5. Pilih Amazon S3 V2 sebagai Jenis sumber.
  6. Pilih Fastly CDN sebagai Log type.
  7. Klik Berikutnya, lalu klik Kirim.
  8. Tentukan nilai untuk kolom berikut:

    • S3 URI: s3://fastly-cdn-logs/fastly-cdn/.
    • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda.
    • Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir (defaultnya adalah 180 hari).
    • Access Key ID: Kunci akses pengguna dengan akses ke bucket S3.
    • Secret Access Key: Kunci rahasia pengguna dengan akses ke bucket S3.
    • Namespace aset: Namespace aset.
    • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.
  9. Klik Berikutnya, lalu klik Kirim.

Tabel pemetaan UDM

Kolom log pemetaan UDM Logika
request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge additional.fields Digabungkan dengan label yang dibuat dari setiap kolom jika tidak kosong
metadata.event_type Ditetapkan ke "GENERIC_EVENT", lalu ke "STATUS_UPDATE" jika principal_mid_present bernilai benar (true)
request_method network.http.method Nilai disalin langsung
request_user_agent network.http.parsed_user_agent Dikonversi ke parseduseragent, lalu diganti namanya
request_referer network.http.referral_url Nilai disalin langsung
response_status network.http.response_code Dikonversi ke string, lalu ke bilangan bulat
request_user_agent network.http.user_agent Nilai disalin langsung
host principal.asset.hostname Nilai disalin langsung
client_ip principal.asset.ip Nilai disalin secara langsung (setelah validasi grok sebagai IP)
host principal.hostname Nilai disalin langsung
client_ip principal.ip Nilai disalin secara langsung (setelah validasi grok sebagai IP)
geo_city principal.location.city Nilai disalin langsung
geo_country principal.location.country_or_region Nilai disalin langsung
security_result security_result Nilai disalin langsung
url target.url Nilai disalin langsung
metadata.product_name Tetapkan ke "FASTLY_CDN"
metadata.vendor_name Tetapkan ke "FASTLY_CDN"

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.