Mengumpulkan log konteks aset Qualys
Dokumen ini menjelaskan cara menyerap log konteks aset Qualys ke Google Security Operations menggunakan Google Cloud Storage.
Konteks aset Qualys menyediakan data inventaris aset host (alamat IP, nama DNS, sistem operasi, metadata penyedia cloud, dan tag) dari platform Qualys. Karena data ini ditarik dari Qualys API, fungsi Cloud Run secara berkala mengkueri Qualys Host List API, mengonversi respons XML ke JSON, dan menulisnya ke bucket Cloud Storage, tempat Google SecOps menyerapnya.
Sebelum memulai
Pastikan Anda memiliki prasyarat berikut:
- Instance Google SecOps
- Project Google Cloud dengan Cloud Storage, Cloud Run, Pub/Sub, dan Cloud Scheduler API yang diaktifkan
- Izin untuk membuat dan mengelola bucket Cloud Storage, akun layanan, fungsi Cloud Run, topik Pub/Sub, dan tugas Cloud Scheduler
- Akun Qualys dengan akses API (pengguna dengan peran Manager, atau peran yang memiliki akses API dan visibilitas aset yang ingin Anda kumpulkan)
Membuat bucket Cloud Storage
- Buka Konsol Google Cloud.
- Pilih project Anda atau buat project baru.
- Buka Cloud Storage > Buckets.
- Klik Create bucket.
- Berikan detail konfigurasi berikut:
- Beri nama bucket Anda: Masukkan nama yang unik secara global (misalnya,
qualys-asset-context-logs). - Location type: Pilih berdasarkan kebutuhan Anda (Region, Dual-region, atau Multi-region).
- Location: Pilih lokasi (misalnya,
us-central1). - Storage class: Pilih Standard.
- Kontrol akses: Pilih Uniform.
- Beri nama bucket Anda: Masukkan nama yang unik secara global (misalnya,
- Klik Create.
Mengumpulkan kredensial Qualys API
- Login ke aplikasi web Qualys.
- Identifikasi atau buat pengguna API:
- Buka Users > User Management.
- Gunakan pengguna yang ada, atau klik New > User dan tetapkan peran Manager (atau peran dengan akses API).
- Catat nama pengguna dan sandi pengguna.
Identifikasi URL server API Qualys Anda (khusus untuk platform Qualys Anda, misalnya,
https://qualysapi.qg3.apps.qualys.com). Untuk menemukannya, lihat Mengidentifikasi platform Qualys Anda.
Membuat akun layanan untuk fungsi Cloud Run
- Buka IAM & Admin > Service Accounts.
- Klik Create service account.
- Berikan detail konfigurasi berikut:
- Service account name: Masukkan
qualys-asset-context-sa. - Service account description: Masukkan
Service account for Cloud Run function to collect Qualys asset context logs.
- Service account name: Masukkan
- Klik Create and continue.
- Berikan peran berikut:
- Storage Object Admin: menulis data host ke bucket.
- Cloud Run Invoker: mengizinkan Pub/Sub memanggil fungsi.
- Klik Continue lalu klik Done.
Memberikan akses akun layanan ke bucket Cloud Storage
- Buka Cloud Storage > Buckets.
- Klik nama bucket Anda.
- Buka tab Izin.
- Klik Grant access.
- Berikan detail konfigurasi berikut:
- Add principals: Masukkan email akun layanan (
qualys-asset-context-sa@<PROJECT_ID>.iam.gserviceaccount.com). - Assign roles: Pilih Storage Object Admin.
- Add principals: Masukkan email akun layanan (
- Klik Simpan.
Membuat topik Pub/Sub
- Buka Pub/Sub > Topics.
- Klik Create topic.
- Di kolom Topic ID, masukkan
qualys-asset-context-trigger. - Klik Create.
Membuat fungsi Cloud Run untuk mengumpulkan log
Fungsi Cloud Run dipicu oleh pesan Pub/Sub dari Cloud Scheduler. Fungsi ini memanggil Qualys FO Host List API, mengonversi respons XML ke JSON, dan menulis data host ke bucket.
- Buka Cloud Run.
- Klik Create service.
- Pilih Function untuk menggunakan editor kode inline.
- Berikan detail konfigurasi berikut:
- Nama layanan: Masukkan
qualys-asset-context-collector. - Region: Pilih region yang cocok dengan bucket Anda (misalnya,
us-central1). - Runtime: Pilih Python 3.12 atau yang lebih baru.
- Nama layanan: Masukkan
- Di bagian Pemicu:
- Klik Add trigger.
- Pilih Cloud Pub/Sub.
- Di Select a Cloud Pub/Sub topic, pilih
qualys-asset-context-trigger. - Klik Simpan.
- Di bagian Authentication, pilih Require authentication.
- Luaskan Containers, Networking, Security, dan di tab Security, tetapkan Service account ke
qualys-asset-context-sa. Di tab Containers > Variables & Secrets, tambahkan variabel lingkungan berikut:
Nama variabel Nilai contoh GCS_BUCKETqualys-asset-context-logsGCS_PREFIXqualys-asset-context/QUALYS_BASE_URLhttps://qualysapi.qg3.apps.qualys.comQUALYS_USERNAMEyour-qualys-usernameQUALYS_PASSWORDyour-qualys-passwordTRUNCATION_LIMIT1000HTTP_TIMEOUT300MAX_PAGES50Tetapkan Request timeout ke
600detik dan Memory ke 512 MiB atau lebih tinggi.Klik Create. Setelah layanan dibuat, editor kode inline akan terbuka.
Menambahkan kode fungsi
- Di kolom Function entry point, masukkan
main. Di editor kode inline, ganti konten
main.pydengan kode berikut:import functions_framework from google.cloud import storage import os import time import uuid import json import base64 import requests import xmltodict storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'qualys-asset-context/') QUALYS_BASE_URL = os.environ.get('QUALYS_BASE_URL') QUALYS_USERNAME = os.environ.get('QUALYS_USERNAME') QUALYS_PASSWORD = os.environ.get('QUALYS_PASSWORD') TRUNCATION_LIMIT = int(os.environ.get('TRUNCATION_LIMIT', '1000')) HTTP_TIMEOUT = int(os.environ.get('HTTP_TIMEOUT', '300')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '50')) def _headers(): """Qualys FO API requires Basic auth and the X-Requested-With header.""" token = base64.b64encode(f'{QUALYS_USERNAME}:{QUALYS_PASSWORD}'.encode()).decode() return {'Authorization': f'Basic {token}', 'X-Requested-With': 'Cloud Run function'} def _extract_hosts(xml_text): """Parse the FO Host List XML into (list_of_host_dicts, next_page_url).""" doc = xmltodict.parse(xml_text) response = (doc.get('HOST_LIST_OUTPUT') or {}).get('RESPONSE') or {} host_list = (response.get('HOST_LIST') or {}).get('HOST') if host_list is None: hosts = [] elif isinstance(host_list, list): hosts = host_list else: hosts = [host_list] # When the result is truncated, RESPONSE contains <WARNING><URL>...</URL></WARNING>. warning = response.get('WARNING') next_url = warning.get('URL') if isinstance(warning, dict) else None return hosts, next_url def _write_hosts(bucket, hosts, page_num): """Write one batch of hosts to GCS as JSON, one host per line.""" ts_path = time.strftime('%Y/%m/%d', time.gmtime()) uniq = f'{int(time.time() * 1e6)}_{uuid.uuid4().hex[:8]}' key = f'{GCS_PREFIX}{ts_path}/qualys_asset_context_p{page_num:03d}_{uniq}.json' lines = [json.dumps(host, separators=(',', ':')) for host in hosts] bucket.blob(key).upload_from_string('\n'.join(lines), content_type='application/x-ndjson') return key @functions_framework.cloud_event def main(cloud_event): """Triggered by Pub/Sub to pull the Qualys host asset inventory and write it to GCS.""" if not all([GCS_BUCKET, QUALYS_BASE_URL, QUALYS_USERNAME, QUALYS_PASSWORD]): print('Error: missing required environment variables') return bucket = storage_client.bucket(GCS_BUCKET) session = requests.Session() session.headers.update(_headers()) url = f"{QUALYS_BASE_URL.rstrip('/')}/api/2.0/fo/asset/host/" params = { 'action': 'list', 'details': 'All', 'truncation_limit': TRUNCATION_LIMIT, # show_cloud_tags, host_metadata, and show_tags add the cloud provider # tags, cloud instance metadata, and asset tags that the parser maps. 'show_cloud_tags': 1, 'host_metadata': 'all', 'show_tags': 1, } pages = 0 total = 0 try: while pages < MAX_PAGES: resp = session.get(url, params=params, timeout=HTTP_TIMEOUT) resp.raise_for_status() hosts, next_url = _extract_hosts(resp.text) if hosts: _write_hosts(bucket, hosts, pages + 1) total += len(hosts) pages += 1 if not next_url: break # The pagination URL already includes every query parameter. url, params = next_url, None print(f'Wrote {total} hosts across {pages} pages') except Exception as e: print(f'Error collecting Qualys asset context: {e}') raiseBuat file
requirements.txtdengan konten berikut:functions-framework==3.* google-cloud-storage==2.* requests>=2.31.0 xmltodict>=0.13.0Klik Deploy dan tunggu hingga deployment selesai.
Buat tugas Cloud Scheduler
- Buka Cloud Scheduler.
- Klik Create job.
- Berikan detail konfigurasi berikut:
- Nama: Masukkan
qualys-asset-context-collector-daily. - Region: Pilih region yang sama dengan fungsi Cloud Run.
- Frequency: Masukkan
0 */6 * * *(setiap enam jam). - Timezone: Pilih UTC.
- Target type: Pilih Pub/Sub.
- Topic: Pilih
qualys-asset-context-trigger. - Isi pesan: Masukkan
{}.
- Nama: Masukkan
- Klik Create.
- Untuk memverifikasi penyiapan, klik Force run pada tugas, lalu periksa log Cloud Run dan bucket untuk mengonfirmasi bahwa data host telah ditulis.
Mengonfigurasi feed di Google SecOps untuk menyerap log konteks aset Qualys
- Buka Setelan > Pengelolaan Data > Feed. Jika Anda menggunakan platform khusus SIEM, buka Settings > Feeds.
- Klik Tambahkan Feed Berita Baru.
- Di halaman berikutnya, klik Konfigurasi satu feed.
- Di kolom Nama feed, masukkan nama untuk feed (misalnya,
Qualys asset context logs). - Pilih Google Cloud Storage V2 sebagai Source type.
- Pilih Qualys asset context sebagai Log type.
- Klik Get Service Account di samping kolom Chronicle Service Account, lalu salin email akun layanan.
- Klik Berikutnya.
- Tentukan nilai untuk parameter input berikut:
- Storage Bucket URI: Masukkan
gs://qualys-asset-context-logs/qualys-asset-context/. URL ini harus diakhiri dengan garis miring (/). - Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda.
- Usia File Maksimum: Sertakan file yang diubah dalam jumlah hari terakhir. Defaultnya adalah 180 hari.
- Storage Bucket URI: Masukkan
- Klik Berikutnya.
- Tinjau konfigurasi feed berita baru Anda di layar Finalize, lalu klik Submit.
Memberi akun layanan Google SecOps akses ke bucket
- Buka Cloud Storage > Buckets.
- Klik nama bucket Anda.
- Buka tab Izin.
- Klik Grant access.
- Berikan detail konfigurasi berikut:
- Add principals: Tempel email akun layanan Google SecOps dari penyiapan feed.
- Assign roles: Pilih Storage Object Viewer (atau Storage Object Admin jika Anda memilih opsi penghapusan).
- Klik Simpan.
Tabel pemetaan UDM
| Kolom Log | Pemetaan UDM | Logika |
|---|---|---|
ASSET_ID |
entity.asset.asset_id |
Dipetakan secara langsung |
DNS_DATA.HOSTNAME |
entity.asset.hostname |
Dipetakan secara langsung |
IP |
entity.asset.ip |
Digabung |
OS |
entity.asset.platform_software.platform |
Dipetakan: (?i)windows → WINDOWS |
ID |
entity.asset.product_object_id |
Dipetakan secara langsung |
dataset |
relations |
Digabung |
| T/A | entity.asset.platform_software.platform |
Konstanta: WINDOWS |
| T/A | metadata.entity_type |
Konstanta: ASSET |
| T/A | metadata.product_name |
Konstanta: QUALYS ASSET CONTEXT |
| T/A | metadata.vendor_name |
Konstanta: QUALYS ASSET CONTEXT |
DNS_DATA.HOSTNAME |
entity.entity.asset.hostname |
Dipetakan dari log perubahan |
Log Perubahan
Melihat Log Perubahan untuk parser ini
Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.