Mengumpulkan log konteks aset Qualys

Didukung di:

Dokumen ini menjelaskan cara menyerap log konteks aset Qualys ke Google Security Operations menggunakan Google Cloud Storage.

Konteks aset Qualys menyediakan data inventaris aset host (alamat IP, nama DNS, sistem operasi, metadata penyedia cloud, dan tag) dari platform Qualys. Karena data ini ditarik dari Qualys API, fungsi Cloud Run secara berkala mengkueri Qualys Host List API, mengonversi respons XML ke JSON, dan menulisnya ke bucket Cloud Storage, tempat Google SecOps menyerapnya.

Sebelum memulai

Pastikan Anda memiliki prasyarat berikut:

  • Instance Google SecOps
  • Project Google Cloud dengan Cloud Storage, Cloud Run, Pub/Sub, dan Cloud Scheduler API yang diaktifkan
  • Izin untuk membuat dan mengelola bucket Cloud Storage, akun layanan, fungsi Cloud Run, topik Pub/Sub, dan tugas Cloud Scheduler
  • Akun Qualys dengan akses API (pengguna dengan peran Manager, atau peran yang memiliki akses API dan visibilitas aset yang ingin Anda kumpulkan)

Membuat bucket Cloud Storage

  1. Buka Konsol Google Cloud.
  2. Pilih project Anda atau buat project baru.
  3. Buka Cloud Storage > Buckets.
  4. Klik Create bucket.
  5. Berikan detail konfigurasi berikut:
    • Beri nama bucket Anda: Masukkan nama yang unik secara global (misalnya, qualys-asset-context-logs).
    • Location type: Pilih berdasarkan kebutuhan Anda (Region, Dual-region, atau Multi-region).
    • Location: Pilih lokasi (misalnya, us-central1).
    • Storage class: Pilih Standard.
    • Kontrol akses: Pilih Uniform.
  6. Klik Create.

Mengumpulkan kredensial Qualys API

  1. Login ke aplikasi web Qualys.
  2. Identifikasi atau buat pengguna API:
    • Buka Users > User Management.
    • Gunakan pengguna yang ada, atau klik New > User dan tetapkan peran Manager (atau peran dengan akses API).
  3. Catat nama pengguna dan sandi pengguna.
  4. Identifikasi URL server API Qualys Anda (khusus untuk platform Qualys Anda, misalnya, https://qualysapi.qg3.apps.qualys.com). Untuk menemukannya, lihat Mengidentifikasi platform Qualys Anda.

Membuat akun layanan untuk fungsi Cloud Run

  1. Buka IAM & Admin > Service Accounts.
  2. Klik Create service account.
  3. Berikan detail konfigurasi berikut:
    • Service account name: Masukkan qualys-asset-context-sa.
    • Service account description: Masukkan Service account for Cloud Run function to collect Qualys asset context logs.
  4. Klik Create and continue.
  5. Berikan peran berikut:
    • Storage Object Admin: menulis data host ke bucket.
    • Cloud Run Invoker: mengizinkan Pub/Sub memanggil fungsi.
  6. Klik Continue lalu klik Done.

Memberikan akses akun layanan ke bucket Cloud Storage

  1. Buka Cloud Storage > Buckets.
  2. Klik nama bucket Anda.
  3. Buka tab Izin.
  4. Klik Grant access.
  5. Berikan detail konfigurasi berikut:
    • Add principals: Masukkan email akun layanan (qualys-asset-context-sa@<PROJECT_ID>.iam.gserviceaccount.com).
    • Assign roles: Pilih Storage Object Admin.
  6. Klik Simpan.

Membuat topik Pub/Sub

  1. Buka Pub/Sub > Topics.
  2. Klik Create topic.
  3. Di kolom Topic ID, masukkan qualys-asset-context-trigger.
  4. Klik Create.

Membuat fungsi Cloud Run untuk mengumpulkan log

Fungsi Cloud Run dipicu oleh pesan Pub/Sub dari Cloud Scheduler. Fungsi ini memanggil Qualys FO Host List API, mengonversi respons XML ke JSON, dan menulis data host ke bucket.

  1. Buka Cloud Run.
  2. Klik Create service.
  3. Pilih Function untuk menggunakan editor kode inline.
  4. Berikan detail konfigurasi berikut:
    • Nama layanan: Masukkan qualys-asset-context-collector.
    • Region: Pilih region yang cocok dengan bucket Anda (misalnya, us-central1).
    • Runtime: Pilih Python 3.12 atau yang lebih baru.
  5. Di bagian Pemicu:
    1. Klik Add trigger.
    2. Pilih Cloud Pub/Sub.
    3. Di Select a Cloud Pub/Sub topic, pilih qualys-asset-context-trigger.
    4. Klik Simpan.
  6. Di bagian Authentication, pilih Require authentication.
  7. Luaskan Containers, Networking, Security, dan di tab Security, tetapkan Service account ke qualys-asset-context-sa.
  8. Di tab Containers > Variables & Secrets, tambahkan variabel lingkungan berikut:

    Nama variabel Nilai contoh
    GCS_BUCKET qualys-asset-context-logs
    GCS_PREFIX qualys-asset-context/
    QUALYS_BASE_URL https://qualysapi.qg3.apps.qualys.com
    QUALYS_USERNAME your-qualys-username
    QUALYS_PASSWORD your-qualys-password
    TRUNCATION_LIMIT 1000
    HTTP_TIMEOUT 300
    MAX_PAGES 50
  9. Tetapkan Request timeout ke 600 detik dan Memory ke 512 MiB atau lebih tinggi.

  10. Klik Create. Setelah layanan dibuat, editor kode inline akan terbuka.

Menambahkan kode fungsi

  1. Di kolom Function entry point, masukkan main.
  2. Di editor kode inline, ganti konten main.py dengan kode berikut:

    import functions_framework
    from google.cloud import storage
    import os
    import time
    import uuid
    import json
    import base64
    import requests
    import xmltodict
    
    storage_client = storage.Client()
    
    GCS_BUCKET = os.environ.get('GCS_BUCKET')
    GCS_PREFIX = os.environ.get('GCS_PREFIX', 'qualys-asset-context/')
    QUALYS_BASE_URL = os.environ.get('QUALYS_BASE_URL')
    QUALYS_USERNAME = os.environ.get('QUALYS_USERNAME')
    QUALYS_PASSWORD = os.environ.get('QUALYS_PASSWORD')
    TRUNCATION_LIMIT = int(os.environ.get('TRUNCATION_LIMIT', '1000'))
    HTTP_TIMEOUT = int(os.environ.get('HTTP_TIMEOUT', '300'))
    MAX_PAGES = int(os.environ.get('MAX_PAGES', '50'))
    
    def _headers():
        """Qualys FO API requires Basic auth and the X-Requested-With header."""
        token = base64.b64encode(f'{QUALYS_USERNAME}:{QUALYS_PASSWORD}'.encode()).decode()
        return {'Authorization': f'Basic {token}', 'X-Requested-With': 'Cloud Run function'}
    
    def _extract_hosts(xml_text):
        """Parse the FO Host List XML into (list_of_host_dicts, next_page_url)."""
        doc = xmltodict.parse(xml_text)
        response = (doc.get('HOST_LIST_OUTPUT') or {}).get('RESPONSE') or {}
        host_list = (response.get('HOST_LIST') or {}).get('HOST')
        if host_list is None:
            hosts = []
        elif isinstance(host_list, list):
            hosts = host_list
        else:
            hosts = [host_list]
        # When the result is truncated, RESPONSE contains <WARNING><URL>...</URL></WARNING>.
        warning = response.get('WARNING')
        next_url = warning.get('URL') if isinstance(warning, dict) else None
        return hosts, next_url
    
    def _write_hosts(bucket, hosts, page_num):
        """Write one batch of hosts to GCS as JSON, one host per line."""
        ts_path = time.strftime('%Y/%m/%d', time.gmtime())
        uniq = f'{int(time.time() * 1e6)}_{uuid.uuid4().hex[:8]}'
        key = f'{GCS_PREFIX}{ts_path}/qualys_asset_context_p{page_num:03d}_{uniq}.json'
        lines = [json.dumps(host, separators=(',', ':')) for host in hosts]
        bucket.blob(key).upload_from_string('\n'.join(lines), content_type='application/x-ndjson')
        return key
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """Triggered by Pub/Sub to pull the Qualys host asset inventory and write it to GCS."""
        if not all([GCS_BUCKET, QUALYS_BASE_URL, QUALYS_USERNAME, QUALYS_PASSWORD]):
            print('Error: missing required environment variables')
            return
    
        bucket = storage_client.bucket(GCS_BUCKET)
        session = requests.Session()
        session.headers.update(_headers())
    
        url = f"{QUALYS_BASE_URL.rstrip('/')}/api/2.0/fo/asset/host/"
        params = {
            'action': 'list',
            'details': 'All',
            'truncation_limit': TRUNCATION_LIMIT,
            # show_cloud_tags, host_metadata, and show_tags add the cloud provider
            # tags, cloud instance metadata, and asset tags that the parser maps.
            'show_cloud_tags': 1,
            'host_metadata': 'all',
            'show_tags': 1,
        }
    
        pages = 0
        total = 0
        try:
            while pages < MAX_PAGES:
                resp = session.get(url, params=params, timeout=HTTP_TIMEOUT)
                resp.raise_for_status()
                hosts, next_url = _extract_hosts(resp.text)
                if hosts:
                    _write_hosts(bucket, hosts, pages + 1)
                    total += len(hosts)
                pages += 1
                if not next_url:
                    break
                # The pagination URL already includes every query parameter.
                url, params = next_url, None
    
            print(f'Wrote {total} hosts across {pages} pages')
        except Exception as e:
            print(f'Error collecting Qualys asset context: {e}')
            raise
    
  3. Buat file requirements.txt dengan konten berikut:

    functions-framework==3.*
    google-cloud-storage==2.*
    requests>=2.31.0
    xmltodict>=0.13.0
    
  4. Klik Deploy dan tunggu hingga deployment selesai.

Buat tugas Cloud Scheduler

  1. Buka Cloud Scheduler.
  2. Klik Create job.
  3. Berikan detail konfigurasi berikut:
    • Nama: Masukkan qualys-asset-context-collector-daily.
    • Region: Pilih region yang sama dengan fungsi Cloud Run.
    • Frequency: Masukkan 0 */6 * * * (setiap enam jam).
    • Timezone: Pilih UTC.
    • Target type: Pilih Pub/Sub.
    • Topic: Pilih qualys-asset-context-trigger.
    • Isi pesan: Masukkan {}.
  4. Klik Create.
  5. Untuk memverifikasi penyiapan, klik Force run pada tugas, lalu periksa log Cloud Run dan bucket untuk mengonfirmasi bahwa data host telah ditulis.

Mengonfigurasi feed di Google SecOps untuk menyerap log konteks aset Qualys

  1. Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
  2. Klik Tambahkan Feed Berita Baru.
  3. Di halaman berikutnya, klik Konfigurasi satu feed.
  4. Di kolom Nama feed, masukkan nama untuk feed (misalnya, Qualys asset context logs).
  5. Pilih Google Cloud Storage V2 sebagai Source type.
  6. Pilih Qualys asset context sebagai Log type.
  7. Klik Get Service Account di samping kolom Chronicle Service Account, lalu salin email akun layanan.
  8. Klik Berikutnya.
  9. Tentukan nilai untuk parameter input berikut:
    • Storage Bucket URI: Masukkan gs://qualys-asset-context-logs/qualys-asset-context/. URL ini harus diakhiri dengan garis miring (/).
    • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda.
    • Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.
  10. Klik Berikutnya.
  11. Tinjau konfigurasi feed berita baru Anda di layar Finalize, lalu klik Submit.

Memberi akun layanan Google SecOps akses ke bucket

  1. Buka Cloud Storage > Buckets.
  2. Klik nama bucket Anda.
  3. Buka tab Izin.
  4. Klik Grant access.
  5. Berikan detail konfigurasi berikut:
    • Add principals: Tempel email akun layanan Google SecOps dari penyiapan feed.
    • Assign roles: Pilih Storage Object Viewer (atau Storage Object Admin jika Anda memilih opsi penghapusan).
  6. Klik Simpan.

Tabel pemetaan UDM

Kolom Log Pemetaan UDM Logika
ASSET_ID entity.asset.asset_id Dipetakan secara langsung
DNS_DATA.HOSTNAME entity.asset.hostname Dipetakan secara langsung
IP entity.asset.ip Digabung
OS entity.asset.platform_software.platform Dipetakan: (?i)windows → WINDOWS
ID entity.asset.product_object_id Dipetakan secara langsung
dataset relations Digabung
T/A entity.asset.platform_software.platform Konstanta: WINDOWS
T/A metadata.entity_type Konstanta: ASSET
T/A metadata.product_name Konstanta: QUALYS ASSET CONTEXT
T/A metadata.vendor_name Konstanta: QUALYS ASSET CONTEXT
DNS_DATA.HOSTNAME entity.entity.asset.hostname Dipetakan dari log perubahan

Log Perubahan

Melihat Log Perubahan untuk parser ini

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.