Mengumpulkan log Fastly Next-Gen WAF (sebelumnya Signal Sciences)

Didukung di:

Dokumen ini menjelaskan cara menyerap log Fastly Next-Gen WAF (sebelumnya Signal Sciences) ke Google Security Operations menggunakan Google Cloud Storage V2.

Fastly Next-Gen WAF (sebelumnya Signal Sciences) adalah firewall aplikasi web generasi berikutnya berbasis cloud yang menyediakan deteksi dan pemblokiran ancaman real-time untuk aplikasi web, API, dan microservice. Solusi ini menggunakan pendekatan berbasis sinyal untuk mengidentifikasi dan memitigasi serangan seperti injeksi SQL, pembuatan skrip lintas situs, pengambilalihan akun, dan penyalahgunaan aplikasi. REST API Signal Sciences menyediakan akses terprogram ke data feed permintaan, yang berisi informasi mendetail tentang permintaan yang ditandai dan diblokir.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps
  • Project Google Cloud dengan Cloud Storage API diaktifkan
  • Izin untuk membuat dan mengelola bucket GCS
  • Izin untuk mengelola kebijakan IAM di bucket GCS
  • Izin untuk membuat layanan Cloud Run, topik Pub/Sub, dan tugas Cloud Scheduler
  • Akses istimewa ke dasbor Fastly Next-Gen WAF dengan izin akses API
  • Akun Fastly WAF generasi berikutnya dengan nama perusahaan dan minimal satu situs yang dikonfigurasi

Membuat bucket Google Cloud Storage

  1. Buka konsolGoogle Cloud .
  2. Pilih project Anda atau buat project baru.
  3. Di menu navigasi, buka Cloud Storage > Buckets.
  4. Klik Create bucket.
  5. Berikan detail konfigurasi berikut:

    Setelan Nilai
    Beri nama bucket Anda Masukkan nama yang unik secara global (misalnya, sigsci-waf-logs)
    Location type Pilih sesuai kebutuhan Anda (Region, Dual-region, Multi-region)
    Location Pilih lokasi (misalnya, us-central1)
    Kelas penyimpanan Standard (direkomendasikan untuk log yang sering diakses)
    Kontrol akses Seragam (direkomendasikan)
    Alat perlindungan Opsional: Mengaktifkan pembuatan versi objek atau kebijakan retensi
  6. Klik Create.

Mengumpulkan kredensial Fastly Next-Gen WAF API

Mendapatkan token akses API

  1. Login ke dasbor Fastly Next-Gen WAF.
  2. Klik nama pengguna Anda di pojok kanan atas, lalu pilih My Profile.
  3. Buka API Access Tokens.
  4. Klik Add token akses API.
  5. Masukkan nama deskriptif untuk token (misalnya, Google SecOps Integration).
  6. Klik Buat token akses API.
  7. Salin dan simpan detail berikut di lokasi yang aman:

    • API token: Nilai token yang dihasilkan (hanya ditampilkan sekali)
    • Alamat email: Alamat email akun Anda yang digunakan untuk autentikasi

Mendapatkan nama perusahaan dan situs

  1. Login ke dasbor Fastly Next-Gen WAF.
  2. Klik Manage > Corp > Corp Overview.
  3. Perhatikan Nama pendek perusahaan yang ditampilkan di halaman (misalnya, my_corp).
  4. Buka Kelola > Situs.
  5. Catat Nama pendek situs untuk situs yang ingin Anda kumpulkan lognya (misalnya, my_site).

Memverifikasi izin

Untuk memverifikasi bahwa akun memiliki izin yang diperlukan:

  1. Login ke dasbor Fastly Next-Gen WAF.
  2. Buka Kelola > Corp > Pengguna Corp.
  3. Temukan akun pengguna Anda dalam daftar.
  4. Pastikan peran Anda adalah Admin, Pemilik, atau Pengamat. Peran ini memiliki akses API yang diperlukan untuk mengambil data feed permintaan.
  5. Jika peran Anda tidak memiliki akses API, hubungi administrator Fastly Next-Gen WAF untuk memberikan peran yang sesuai.

Menguji akses API

  • Uji kredensial Anda terhadap endpoint feed permintaan yang digunakan kolektor. Feed permintaan hanya menerima nilai from dan until dalam menit penuh, dengan until setidaknya lima menit yang lalu dan from tidak lebih dari 24 jam yang lalu. Pengujian meminta 10 menit yang berakhir lima menit yang lalu:

    SIGSCI_EMAIL="your-email@example.com"
    SIGSCI_TOKEN="your-api-token"
    SIGSCI_CORP="your-corp-name"
    SIGSCI_SITE="your-site-name"
    
    UNTIL=$(( ($(date +%s) - 300) / 60 * 60 ))
    FROM=$(( UNTIL - 600 ))
    curl -sS -o feed-test.json -w "HTTP %{http_code}\n" \
        -H "x-api-user: ${SIGSCI_EMAIL}" \
        -H "x-api-token: ${SIGSCI_TOKEN}" \
        "https://dashboard.signalsciences.net/api/v0/corps/${SIGSCI_CORP}/sites/${SIGSCI_SITE}/feed/requests?from=${FROM}&until=${UNTIL}"
    head -c 500 feed-test.json; echo
    

Jika kredensial berfungsi, output akan dimulai dengan HTTP 200, dan feed-test.json akan berisi array data, yang dapat kosong jika situs tidak memiliki permintaan yang ditandai dalam 10 menit tersebut. HTTP 401 berarti email atau token salah. HTTP 400 dengan Invalid timestamp param berarti nilai from atau until melanggar batasan di atas.

Membuat akun layanan untuk fungsi Cloud Run

Fungsi Cloud Run memerlukan akun layanan dengan izin untuk menulis ke bucket GCS dan dipanggil oleh Pub/Sub.

Membuat akun layanan

  1. Di Konsol GCP, buka IAM & Admin > Service Accounts.
  2. Klik Create Service Account.
  3. Berikan detail konfigurasi berikut:
    • Service account name: Masukkan sigsci-waf-collector-sa
    • Service account description: Masukkan Service account for Cloud Run function to collect Fastly Next-Gen WAF logs
  4. Klik Create and Continue.
  5. Di bagian Grant this service account access to project, tambahkan peran berikut:
    1. Klik Pilih peran.
    2. Telusuri dan pilih Storage Object Admin.
    3. Klik + Add another role.
    4. Telusuri dan pilih Cloud Run Invoker.
    5. Klik + Add another role.
    6. Telusuri dan pilih Cloud Functions Invoker.
  6. Klik Lanjutkan.
  7. Klik Done.

Peran ini diperlukan untuk:

  • Storage Object Admin: Menulis log ke bucket GCS dan mengelola state file
  • Cloud Run Invoker: Mengizinkan Pub/Sub memanggil fungsi
  • Cloud Functions Invoker: Mengizinkan pemanggilan fungsi

Memberikan izin IAM pada bucket Cloud Storage

Beri akun layanan izin tulis di bucket GCS:

  1. Buka Cloud Storage > Buckets.
  2. Klik nama bucket Anda (misalnya, sigsci-waf-logs).
  3. Buka tab Izin.
  4. Klik Grant access.
  5. Berikan detail konfigurasi berikut:
    • Tambahkan entitas: Masukkan email akun layanan (misalnya, sigsci-waf-collector-sa@PROJECT_ID.iam.gserviceaccount.com)
    • Assign roles: Pilih Storage Object Admin
  6. Klik Simpan.

Membuat topik Pub/Sub

Buat topik Pub/Sub yang akan dipublikasikan oleh Cloud Scheduler dan di-subscribe oleh fungsi Cloud Run.

  1. Di Konsol GCP, buka Pub/Sub > Topics.
  2. Klik Create topic.
  3. Berikan detail konfigurasi berikut:
    • ID Topik: Masukkan sigsci-waf-logs-trigger
    • Biarkan setelan lainnya sesuai default
  4. Klik Create.

Membuat fungsi Cloud Run untuk mengumpulkan log

Fungsi Cloud Run akan dipicu oleh pesan Pub/Sub dari Cloud Scheduler untuk mengambil data feed permintaan dari Fastly Next-Gen WAF API dan menulis log ke GCS.

  1. Di Konsol GCP, buka Cloud Run.
  2. Klik Write a function.
  3. Di bagian Configure, berikan detail konfigurasi berikut:

    Setelan Nilai
    Nama layanan sigsci-waf-collector
    Region Pilih region yang cocok dengan bucket GCS Anda (misalnya, us-central1)
    Runtime Pilih Python 3.12 atau yang lebih baru
  4. Di bagian Trigger, klik Add trigger, lalu pilih Pub/Sub trigger.

  5. Di panel Eventarc trigger, berikan detail konfigurasi berikut:

    • Trigger name: Tetap gunakan nama yang dibuat atau masukkan nama untuk pemicu.
    • Jenis pemicu: Pilih Sumber Google.
    • Event provider: Pilih Pub/Sub.
    • Event type: Pilih google.cloud.pubsub.topic.v1.messagePublished.
    • Select a Cloud Pub/Sub topic: Pilih topik sigsci-waf-logs-trigger.
    • Region: Pilih region yang sama dengan fungsi.
    • Service account: Pilih akun layanan sigsci-waf-collector-sa.
  6. Klik Save trigger.

  7. Di bagian Authentication:

    1. Pilih Wajibkan autentikasi.
    2. Pilih Identity and Access Management (IAM).
  8. Scroll ke dan luaskan Containers, Networking, Security.

  9. Buka tab Keamanan:

    • Service account: Pilih akun layanan sigsci-waf-collector-sa.
  10. Buka tab Containers:

    1. Klik Variables & Secrets.
    2. Klik + Add variable untuk setiap variabel lingkungan:
    Nama Variabel Nilai Contoh Deskripsi
    GCS_BUCKET sigsci-waf-logs Nama bucket GCS
    GCS_PREFIX sigsci-waf Awalan untuk file log
    STATE_KEY sigsci-waf-state.json Jalur status, di luar awalan log
    SIGSCI_EMAIL your-email@example.com Email pengguna Fastly Next-Gen WAF API
    SIGSCI_TOKEN your-api-token Token akses Fastly Next-Gen WAF API
    SIGSCI_CORP your-corp-name Nama pendek perusahaan
    SIGSCI_SITE your-site-name Nama pendek situs
    LOOKBACK_HOURS 1 Jam yang akan dikumpulkan pada operasi pertama (maksimum 24)
    WINDOW_MINUTES 10 Menit data per permintaan dan per objek GCS
    MAX_WINDOW_MB 200 Jendela terbesar disimpan dalam memori; jendela yang lebih besar dibagi
    RUN_BUDGET_SECONDS 480 Berhenti memulai periode baru setelah waktu ini
    HTTP_TIMEOUT 60 Waktu tunggu baca API dalam detik
    MAX_RETRIES 5 Percobaan ulang untuk respons HTTP 429 dan 5xx
  11. Di bagian Variables & Secrets, scroll ke Requests:

    • Request timeout: Masukkan 600 detik (10 menit)
  12. Buka tab Setelan:

    • Di bagian Resources:
      • Memory: Pilih 1 GiB atau lebih tinggi
      • CPU: Pilih 1
  13. Di bagian Revision scaling:

    • Minimum number of instances: Masukkan 0
    • Maximum number of instances: Masukkan 1
  14. Klik Create.

  15. Tunggu hingga layanan dibuat (1-2 menit).

  16. Setelah layanan dibuat, editor kode inline akan terbuka secara otomatis.

Menambahkan kode fungsi

  1. Masukkan main di kolom Entry point.
  2. Di editor kode inline, buat dua file:

    • main.py:
    import functions_framework
    from google.api_core import exceptions as gcs_exceptions
    from google.cloud import storage
    import json
    import os
    import time
    from datetime import datetime, timedelta, timezone
    from urllib.parse import parse_qs, urlencode, urlsplit
    import urllib3
    
    http = urllib3.PoolManager(retries=False)
    storage_client = storage.Client()
    
    API_HOST = 'https://dashboard.signalsciences.net'
    # The request feed only serves full minutes that ended at least 5 minutes ago
    # and are no older than 24 hours and 5 minutes.
    FEED_DELAY = timedelta(minutes=5)
    FEED_MAX_AGE = timedelta(hours=24)
    RETRY_STATUSES = (429, 500, 502, 503, 504)
    
    class FeedApiError(Exception):
      """The request feed API returned an error that must stop the run."""
    
    class WindowTooLarge(Exception):
      """The records of one window do not fit in MAX_WINDOW_MB."""
    
    @functions_framework.cloud_event
    def main(cloud_event):
      """Fetch the Fastly Next-Gen WAF request feed and write it to GCS, one object per time window."""
      bucket_name = os.environ['GCS_BUCKET']
      prefix = os.environ.get('GCS_PREFIX', 'sigsci-waf').strip('/')
      state_key = os.environ.get('STATE_KEY', 'sigsci-waf-state.json')
      corp = os.environ['SIGSCI_CORP']
      site = os.environ['SIGSCI_SITE']
      headers = {
        'x-api-user': os.environ['SIGSCI_EMAIL'],
        'x-api-token': os.environ['SIGSCI_TOKEN'],
        'Accept': 'application/json',
        'User-Agent': 'GoogleSecOps-SignalSciencesWAFCollector/2.0',
      }
      lookback_hours = int(os.environ.get('LOOKBACK_HOURS', '1'))
      window = timedelta(minutes=int(os.environ.get('WINDOW_MINUTES', '10')))
      max_window_bytes = int(float(os.environ.get('MAX_WINDOW_MB', '200')) * 1024 * 1024)
      http_timeout = int(os.environ.get('HTTP_TIMEOUT', '60'))
      max_retries = int(os.environ.get('MAX_RETRIES', '5'))
      run_budget = int(os.environ.get('RUN_BUDGET_SECONDS', '480'))
    
      feed_path = f'/api/v0/corps/{corp}/sites/{site}/feed/requests'
      bucket = storage_client.bucket(bucket_name)
      state, generation = load_state(bucket, state_key)
      deadline = time.monotonic() + run_budget
    
      now = datetime.now(timezone.utc)
      latest_until = minute_floor(now - FEED_DELAY)
      oldest_from = minute_floor(now) - FEED_MAX_AGE
      start = resume_point(state) or minute_floor(now - timedelta(hours=lookback_hours))
      if start < oldest_from:
        print(f'WARNING: Records from {start.isoformat()} to {oldest_from.isoformat()} are older than '
            f'24 hours and can no longer be read from the request feed. Continuing from {oldest_from.isoformat()}.')
        start = oldest_from
    
      windows_done = 0
      while start < latest_until and time.monotonic() < deadline:
        end = min(start + window, latest_until)
        while True:
          try:
            written = write_window(bucket, prefix, feed_path, headers, start, end,
                        max_window_bytes, http_timeout, max_retries)
            break
          except WindowTooLarge:
            if end - start <= timedelta(minutes=1):
              raise RuntimeError(
                f'The records from {start.isoformat()} to {end.isoformat()} exceed MAX_WINDOW_MB. '
                'Increase MAX_WINDOW_MB and the function memory.')
            end = start + max(timedelta(minutes=1), minute_floor_delta((end - start) / 2))
            print(f'Window too large, retrying with {start.isoformat()} to {end.isoformat()}')
    
        # The window is stored, so the next run starts where this one ended.
        state = {'next_from': int(end.timestamp())}
        generation = save_state(bucket, state_key, state, generation)
        print(f'{start.isoformat()} to {end.isoformat()}: {written}')
        start = end
        windows_done += 1
    
      if start < latest_until:
        print(f'Run time budget reached after {windows_done} windows. The next run continues from {start.isoformat()}.')
      else:
        print(f'Request feed is up to date until {latest_until.isoformat()} ({windows_done} windows).')
    
    def minute_floor(dt):
      return dt.replace(second=0, microsecond=0)
    
    def minute_floor_delta(delta):
      return timedelta(minutes=int(delta.total_seconds() // 60))
    
    def resume_point(state):
      """Where the previous run stopped, or None for the first run."""
      if 'next_from' in state:
        return datetime.fromtimestamp(state['next_from'], tz=timezone.utc)
      if 'last_event_time' in state:
        # State written by the previous version of this function. It recorded the
        # run time, so start 5 minutes earlier to read records it could not see yet.
        return minute_floor(datetime.fromisoformat(state['last_event_time']) - FEED_DELAY)
      return None
    
    def write_window(bucket, prefix, feed_path, headers, start, end, max_window_bytes, timeout, max_retries):
      """Write all records from [start, end) to one GCS object and return a summary."""
      blob_name = (f'{prefix}/{start:%Y/%m/%d}/'
            f'{start:%Y%m%dT%H%M%SZ}_{end:%Y%m%dT%H%M%SZ}.ndjson')
      if bucket.get_blob(blob_name) is not None:
        # A previous run stored this window but did not save the state.
        return f'already stored in {blob_name}'
    
      lines = []
      size = 0
      for record in fetch_feed(feed_path, headers, start, end, timeout, max_retries):
        line = json.dumps(record, ensure_ascii=False).encode('utf-8') + b'\n'
        size += len(line)
        if size > max_window_bytes:
          raise WindowTooLarge()
        lines.append(line)
    
      if not lines:
        return 'no records'
      try:
        # if_generation_match=0 creates the object only if it does not exist.
        bucket.blob(blob_name).upload_from_string(
          b''.join(lines), content_type='application/x-ndjson', if_generation_match=0)
      except gcs_exceptions.PreconditionFailed:
        return f'already stored in {blob_name}'
      return f'wrote {len(lines)} records to gs://{bucket.name}/{blob_name}'
    
    def fetch_feed(feed_path, headers, start, end, timeout, max_retries):
      """Yield every record of the request feed between start and end."""
      query = urlencode({'from': int(start.timestamp()), 'until': int(end.timestamp())})
      page = call_api('GET', f'{API_HOST}{feed_path}?{query}', headers, None, timeout, max_retries)
      while True:
        yield from page.get('data') or []
        next_uri = (page.get('next') or {}).get('uri') or ''
        if not next_uri:
          return
    
        parsed = urlsplit(next_uri)
        cursors = parse_qs(parsed.query).get('next')
        if parsed.scheme or parsed.netloc or parsed.path != feed_path or not cursors:
          raise FeedApiError(f'Unexpected next.uri: {next_uri}')
    
        # Later pages are requested with POST and the decoded next cursor as a form field.
        # The cursor is valid for one minute.
        page = call_api('POST', f'{API_HOST}{parsed.path}', headers,
                {'next': cursors[0]}, timeout, max_retries)
    
    def call_api(method, url, headers, form, timeout, max_retries):
      """Return the decoded JSON response, retrying throttling and server errors."""
      failures = 0
      while True:
        try:
          if form is None:
            response = http.request(method, url, headers=headers,
                        timeout=urllib3.Timeout(connect=10.0, read=timeout))
          else:
            response = http.request(method, url, headers=headers, fields=form, encode_multipart=False,
                        timeout=urllib3.Timeout(connect=10.0, read=timeout))
        except urllib3.exceptions.HTTPError as e:
          response, error = None, str(e)
    
        if response is not None and response.status == 200:
          return json.loads(response.data)
        if response is not None:
          error = f'HTTP {response.status}: {response.data[:500].decode("utf-8", errors="replace")}'
          if response.status not in RETRY_STATUSES:
            raise FeedApiError(error)
    
        failures += 1
        if failures > max_retries:
          raise FeedApiError(f'{error} (after {max_retries} retries)')
        wait = min(30, 2 ** failures)
        retry_after = response.headers.get('Retry-After', '') if response is not None else ''
        if retry_after.isdigit():
          wait = int(retry_after)
        print(f'{error}. Retry {failures}/{max_retries} in {wait}s')
        time.sleep(wait)
    
    def load_state(bucket, key):
      """Return the saved state and its object generation (0 if there is no state yet)."""
      blob = bucket.get_blob(key)
      if blob is None:
        return {}, 0
      return json.loads(blob.download_as_text()), blob.generation
    
    def save_state(bucket, key, state, generation):
      """Save the state only if no other run changed it since it was loaded."""
      blob = bucket.blob(key)
      try:
        blob.upload_from_string(json.dumps(state), content_type='application/json',
                    if_generation_match=generation)
      except gcs_exceptions.PreconditionFailed:
        raise RuntimeError(f'{key} was changed by another run; stopping to avoid duplicate collection.')
      return blob.generation
    
    • requirements.txt:
    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3>=2.0.0
    
  3. Klik Deploy untuk menyimpan dan men-deploy fungsi.

  4. Tunggu hingga deployment selesai (2-3 menit).

Buat tugas Cloud Scheduler

Cloud Scheduler akan memublikasikan pesan ke topik Pub/Sub secara berkala, sehingga memicu fungsi Cloud Run.

  1. Di Konsol GCP, buka Cloud Scheduler.
  2. Klik Create Job.
  3. Berikan detail konfigurasi berikut:

    Setelan Nilai
    Nama sigsci-waf-collector-hourly
    Region Pilih region yang sama dengan fungsi Cloud Run
    Frekuensi 5 * * * * (setiap jam, pada menit kelima setelah jam spesifik)
    Zona Waktu Pilih zona waktu (UTC direkomendasikan)
    Jenis target Pub/Sub
    Topik Pilih topik sigsci-waf-logs-trigger
    Isi pesan {} (objek JSON kosong)
  4. Klik Create.

Opsi frekuensi jadwal

Feed permintaan ditayangkan setiap menit dari lima menit setelah berakhir hingga 24 jam kemudian. Setiap operasi mengumpulkan semua data dari tempat operasi sebelumnya berhenti hingga lima menit yang lalu, sehingga interval yang lebih singkat hanya akan menurunkan latensi. Jalankan tugas setidaknya setiap jam: jika fungsi berhenti selama lebih dari 24 jam, data yang lebih lama dari 24 jam tidak dapat lagi dikumpulkan.

Frekuensi Ekspresi Cron Kasus Penggunaan
Setiap 5 menit */5 * * * * Volume tinggi, latensi rendah
Setiap 15 menit */15 * * * * Volume sedang
Setiap jam 5 * * * * Standar (direkomendasikan)

Menguji integrasi

  1. Di konsol Cloud Scheduler, temukan tugas Anda.
  2. Klik Force run untuk memicu tugas secara manual.
  3. Tunggu beberapa detik.
  4. Buka Cloud Run > Services.
  5. Klik sigsci-waf-collector.
  6. Klik tab Logs.
  7. Pastikan fungsi berhasil dieksekusi. Cari baris seperti berikut, satu per jendela 10 menit:

    2026-01-15T09:00:00+00:00 to 2026-01-15T09:10:00+00:00: wrote 42 records to gs://sigsci-waf-logs/sigsci-waf/2026/01/15/20260115T090000Z_20260115T091000Z.ndjson
    2026-01-15T09:10:00+00:00 to 2026-01-15T09:20:00+00:00: no records
    Request feed is up to date until 2026-01-15T10:00:00+00:00 (6 windows).
    
  8. Buka Cloud Storage > Buckets.

  9. Klik nama bucket Anda (sigsci-waf-logs).

  10. Buka folder sigsci-waf/.

  11. Pastikan file .ndjson dibuat di folder YYYY/MM/DD/. Setiap nama file menyimpan awal dan akhir jendelanya.

Jika fungsi gagal, operasi akan berhenti tanpa menyimpan status, dan operasi berikutnya akan mengumpulkan periode yang sama lagi. Di log, cari:

  • HTTP 401: Periksa email dan token API di variabel lingkungan.
  • HTTP 403: Pastikan akun memiliki peran Admin, Owner, atau Observer di dasbor Fastly WAF generasi berikutnya.
  • HTTP 400 Invalid timestamp param: Nilai from atau until melanggar batasan feed permintaan. Periksa apakah kode fungsi cocok dengan halaman ini.
  • HTTP 429, 500, 502, 503, atau 504: Fungsi akan mencoba ulang hingga MAX_RETRIES kali, lalu berhenti. Operasi berikutnya akan mencoba kembali jendela tersebut.
  • can no longer be read from the request feed: Fungsi tidak berjalan selama lebih dari 24 jam. Data yang berusia lebih dari 24 jam tidak lagi tersedia dari feed permintaan.
  • exceed MAX_WINDOW_MB: Satu menit rekaman lebih besar dari MAX_WINDOW_MB. Tingkatkan MAX_WINDOW_MB dan memori fungsi.
  • was changed by another run: Dua operasi tumpang-tindih. Pastikan Maximum number of instances adalah 1.
  • KeyError: Variabel lingkungan yang diperlukan tidak ada.

Mengonfigurasi feed di Google SecOps untuk menyerap log Fastly Next-Gen WAF

  1. Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
  2. Klik Tambahkan Feed Berita Baru.
  3. Klik Konfigurasi satu feed.
  4. Di kolom Nama feed, masukkan nama untuk feed (misalnya, Signal Sciences WAF Logs).
  5. Pilih Google Cloud Storage V2 sebagai Source type.
  6. Pilih Signal Sciences WAF sebagai Log type.
  7. Klik Get Service Account. Email akun layanan yang unik akan ditampilkan, misalnya:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Salin alamat email ini.

  9. Klik Berikutnya.

  10. Tentukan nilai untuk parameter input berikut:

    • Storage bucket URL: Masukkan URI bucket GCS dengan jalur awalan:

      gs://sigsci-waf-logs/sigsci-waf/
      
      • Ganti:
        • sigsci-waf-logs: Nama bucket GCS Anda.
        • sigsci-waf: Jalur awalan/folder opsional tempat log disimpan (biarkan kosong untuk root).
    • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda:

      • Jangan pernah menghapus file: Jangan pernah menghapus file dari sumber (direkomendasikan untuk pengujian).
      • Hapus file yang ditransfer dan direktori kosong: Hapus file dan direktori kosong dari sumber setelah pengambilan berhasil diselesaikan.
    • Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir (defaultnya adalah 180 hari)

    • Namespace aset: Namespace aset

    • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini

  11. Klik Berikutnya.

  12. Tinjau konfigurasi feed berita baru Anda di layar Finalize, lalu klik Submit.

Memberikan izin IAM ke akun layanan Google SecOps

Akun layanan Google SecOps memerlukan dua peran di bucket GCS Anda: Storage Object Viewer untuk membaca objek log, dan peran level bucket untuk membaca metadata bucket.

  1. Buka Cloud Storage > Buckets.
  2. Klik nama bucket Anda.
  3. Buka tab Izin.
  4. Klik Grant access.
  5. Berikan detail konfigurasi berikut:
    • Add principals: Tempel email akun layanan Google SecOps
    • Assign roles: Pilih kedua opsi berikut:
      • Storage Object Viewer: membaca objek log.
      • Storage Legacy Bucket Reader: membaca metadata bucket. Jika Anda memilih opsi penghapusan Delete transferred files and empty directories, pilih Storage Legacy Bucket Writer, yang juga memberikan izin penghapusan.
  6. Klik Simpan.

Tabel pemetaan UDM

Kolom Log Pemetaan UDM Logika
message_data metadata.description Dipetakan secara langsung
created metadata.event_timestamp Diurai sebagai ISO8601
timestamp metadata.event_timestamp Diurai sebagai RFC3339
event_type metadata.event_type Dipetakan secara langsung
has_target metadata.event_type Dipetakan: true → NETWORK_HTTP, false → STATUS_UPDATE
label metadata.ingestion_labels Digabung
eventType metadata.product_event_type Dipetakan secara langsung
proto network.application_protocol Dipetakan: HTTP/1.1 → HTTP
protocol network.application_protocol Dipetakan: HTTP/1.1 → HTTP
details.method network.http.method Dipetakan secara langsung
method network.http.method Dipetakan secara langsung
details.uri network.http.referral_url Dipetakan secara langsung
msgData.detailLink network.http.referral_url Dipetakan secara langsung
uri network.http.referral_url Dipetakan secara langsung
respcode network.http.response_code Diganti namanya/dipetakan
responseCode network.http.response_code Diganti namanya/dipetakan
details.userAgent network.http.user_agent Dipetakan secara langsung
msgData.sites network.http.user_agent Dipetakan secara langsung
userAgent network.http.user_agent Dipetakan secara langsung
resSize network.received_bytes Diganti namanya/dipetakan
responseSize network.received_bytes Diganti namanya/dipetakan
details.tlsCipher network.tls.cipher Dipetakan secara langsung
tlsCipher network.tls.cipher Dipetakan secara langsung
O network.tls.client.certificate.issuer Diganti namanya/dipetakan
details.tlsProtocol network.tls.version Dipetakan secara langsung
tlsProtocol network.tls.version Dipetakan secara langsung
details.serverHostname principal.asset.hostname Dipetakan secara langsung
serverHostname principal.asset.hostname Dipetakan secara langsung
details.serverName principal.asset.network_domain Dipetakan secara langsung
serverName principal.asset.network_domain Dipetakan secara langsung
details.serverHostname principal.hostname Dipetakan secara langsung
serverHostname principal.hostname Dipetakan secara langsung
details.id principal.process.pid Dipetakan secara langsung
id principal.process.pid Dipetakan secara langsung
security_result_headin security_result Digabung
security_result_headout security_result Digabung
security_result_tag security_result Digabung
sec_res_headOut security_result.about.resource.attribute.labels Digabung
sec_res_headin security_result.about.resource.attribute.labels Digabung
security_result_action security_result.action Digabung
msgData.conditions security_result.description Dipetakan secara langsung
detector_field security_result.detection_fields Digabung
link_field security_result.detection_fields Digabung
location_field security_result.detection_fields Digabung
redaction_field security_result.detection_fields Digabung
type_field security_result.detection_fields Digabung
value_field security_result.detection_fields Digabung
msgData.reason security_result.summary Dipetakan secara langsung
details.remoteHostname target.asset.hostname Dipetakan secara langsung
remoteHostname target.asset.hostname Dipetakan secara langsung
remoteIP target.asset.ip Digabung
target_ip target.asset.ip Digabung
details.remoteHostname target.hostname Dipetakan secara langsung
remoteHostname target.hostname Dipetakan secara langsung
remoteIP target.ip Digabung
target_ip target.ip Digabung
client_port target.port Dipetakan secara langsung
changes_label target.resource.attribute.labels Digabung
msgData.name target.resource.name Dipetakan secara langsung
URI target.url Dipetakan secara langsung
username target.user.user_display_name Dipetakan secara langsung
userid target.user.userid Dipetakan secara langsung
T/A metadata.event_type Konstanta: NETWORK_HTTP
T/A metadata.product_name Konstanta: Signal Sciences WAF
T/A metadata.vendor_name Konstanta: Signal Sciences
T/A network.application_protocol Konstanta: HTTP

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.