Qualys アセット コンテキスト ログを収集する
このドキュメントでは、Google Cloud Storage を使用して Qualys アセット コンテキスト ログを Google Security Operations に取り込む方法について説明します。
Qualys アセット コンテキストは、Qualys プラットフォームからホスト アセット インベントリ データ(IP アドレス、DNS 名、オペレーティング システム、クラウド プロバイダのメタデータ、タグ)を提供します。このデータは Qualys API から取得されるため、Cloud Run functions の関数が Qualys Host List API を定期的にクエリし、XML レスポンスを JSON に変換して Cloud Storage バケットに書き込み、Google SecOps がそれを取り込みます。
始める前に
次の前提条件を満たしていることを確認してください。
- Google SecOps インスタンス
- Cloud Storage、Cloud Run、Pub/Sub、Cloud Scheduler API が有効になっている Google Cloud プロジェクト
- Cloud Storage バケット、サービス アカウント、Cloud Run functions の関数、Pub/Sub トピック、Cloud Scheduler ジョブを作成して管理する権限
- API アクセス権を持つ Qualys アカウント(マネージャー ロールを持つユーザー、または API アクセス権と収集するアセットの可視性を持つロール)
Cloud Storage バケットを作成する
- Google Cloud コンソールに移動します。
- プロジェクトを選択するか、新しいプロジェクトを作成します。
- [Cloud Storage] > [バケット] に移動します。
- [バケットを作成] をクリックします。
- 次の構成情報を指定します。
- バケットに名前を付ける: グローバルに一意の名前(
qualys-asset-context-logsなど)を入力します。 - ロケーション タイプ: ニーズに応じて選択します(リージョン、デュアルリージョン、マルチリージョン)。
- ロケーション: ロケーション(
us-central1など)を選択します。 - ストレージ クラス: [Standard] を選択します。
- アクセス制御: [均一] を選択します。
- バケットに名前を付ける: グローバルに一意の名前(
- [作成] をクリックします。
Qualys API 認証情報を収集する
- Qualys ウェブ アプリケーションにログインします。
- API ユーザーを特定または作成します。
- [Users] > [User Management] に移動します。
- 既存のユーザーを使用するか、[New] > [User] をクリックして、[Manager] ロール(または API アクセス権を持つロール)を割り当てます。
- ユーザーのユーザー名とパスワードを記録します。
Qualys API サーバーの URL を特定します(これは Qualys プラットフォームに固有です。例:
https://qualysapi.qg3.apps.qualys.com)。URL を確認するには、Qualys プラットフォームを特定するをご覧ください。
Cloud Run functions のサービス アカウントを作成する
- [IAM と管理] > [サービス アカウント] に移動します。
- [サービス アカウントを作成] をクリックします。
- 次の構成情報を指定します。
- サービス アカウント名: 「
qualys-asset-context-sa」と入力します。 - サービス アカウントの説明: 「
Service account for Cloud Run function to collect Qualys asset context logs」と入力します。
- サービス アカウント名: 「
- [作成して続行] をクリックします。
- 次のロールを付与します。
- Storage オブジェクト管理者: ホストレコードをバケットに書き込みます。
- Cloud Run 起動元: Pub/Sub が関数を呼び出せるようにします。
- [続行] をクリックして [完了] をクリックします。
サービス アカウントに Cloud Storage バケットへのアクセス権を付与する
- [Cloud Storage] > [バケット] に移動します。
- バケット名をクリックします。
- [権限] タブに移動します。
- [アクセス権を付与] をクリックします。
- 次の構成情報を指定します。
- プリンシパルを追加: サービス アカウントのメールアドレス(
qualys-asset-context-sa@<PROJECT_ID>.iam.gserviceaccount.com)を入力します。 - ロールを割り当てる: [Storage オブジェクト管理者] を選択します。
- プリンシパルを追加: サービス アカウントのメールアドレス(
- [保存] をクリックします。
Pub/Sub トピックの作成
- [Pub/Sub] > [トピック] に移動します。
- [トピックを作成] をクリックします。
- [トピック ID] フィールドに「
qualys-asset-context-trigger」と入力します。 - [作成] をクリックします。
ログを収集する Cloud Run 関数を作成する
Cloud Run functions の関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされます。Qualys FO Host List API を呼び出し、XML レスポンスを JSON に変換して、ホストレコードをバケットに書き込みます。
- Cloud Run に移動します。
- [サービスを作成] をクリックします。
- [関数] を選択して、インライン コードエディタを使用します。
- 次の構成情報を指定します。
- サービス名: 「
qualys-asset-context-collector」と入力します。 - リージョン: バケットに一致するリージョンを選択します(例:
us-central1)。 - ランタイム: Python 3.12 以降を選択します。
- サービス名: 「
- [トリガー] で次の操作を行います。
- [トリガーを追加] をクリックします。
- [Cloud Pub/Sub] を選択します。
- [Cloud Pub/Sub トピックを選択してください] で、
qualys-asset-context-triggerを選択します。 - [保存] をクリックします。
- [認証] セクションで、[認証が必要] を選択します。
- [コンテナ、ネットワーキング、セキュリティ] を開き、[セキュリティ] タブで [サービス アカウント] を
qualys-asset-context-saに設定します。 [コンテナ] > [変数とシークレット] タブで、次の環境変数を追加します。
変数名 値の例 GCS_BUCKETqualys-asset-context-logsGCS_PREFIXqualys-asset-context/QUALYS_BASE_URLhttps://qualysapi.qg3.apps.qualys.comQUALYS_USERNAMEyour-qualys-usernameQUALYS_PASSWORDyour-qualys-passwordTRUNCATION_LIMIT1000HTTP_TIMEOUT300MAX_PAGES50[リクエスト タイムアウト] を
600秒に、[メモリ] を 512 MiB 以上に設定します。[作成] をクリックします。サービスが作成されると、インライン コードエディタが開きます。
関数のコードを追加する
- [関数のエントリ ポイント] フィールドに「
main」と入力します。 インライン コードエディタで、
main.pyの内容を次のコードに置き換えます。import functions_framework from google.cloud import storage import os import time import uuid import json import base64 import requests import xmltodict storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'qualys-asset-context/') QUALYS_BASE_URL = os.environ.get('QUALYS_BASE_URL') QUALYS_USERNAME = os.environ.get('QUALYS_USERNAME') QUALYS_PASSWORD = os.environ.get('QUALYS_PASSWORD') TRUNCATION_LIMIT = int(os.environ.get('TRUNCATION_LIMIT', '1000')) HTTP_TIMEOUT = int(os.environ.get('HTTP_TIMEOUT', '300')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '50')) def _headers(): """Qualys FO API requires Basic auth and the X-Requested-With header.""" token = base64.b64encode(f'{QUALYS_USERNAME}:{QUALYS_PASSWORD}'.encode()).decode() return {'Authorization': f'Basic {token}', 'X-Requested-With': 'Cloud Run function'} def _extract_hosts(xml_text): """Parse the FO Host List XML into (list_of_host_dicts, next_page_url).""" doc = xmltodict.parse(xml_text) response = (doc.get('HOST_LIST_OUTPUT') or {}).get('RESPONSE') or {} host_list = (response.get('HOST_LIST') or {}).get('HOST') if host_list is None: hosts = [] elif isinstance(host_list, list): hosts = host_list else: hosts = [host_list] # When the result is truncated, RESPONSE contains <WARNING><URL>...</URL></WARNING>. warning = response.get('WARNING') next_url = warning.get('URL') if isinstance(warning, dict) else None return hosts, next_url def _write_hosts(bucket, hosts, page_num): """Write one batch of hosts to GCS as JSON, one host per line.""" ts_path = time.strftime('%Y/%m/%d', time.gmtime()) uniq = f'{int(time.time() * 1e6)}_{uuid.uuid4().hex[:8]}' key = f'{GCS_PREFIX}{ts_path}/qualys_asset_context_p{page_num:03d}_{uniq}.json' lines = [json.dumps(host, separators=(',', ':')) for host in hosts] bucket.blob(key).upload_from_string('\n'.join(lines), content_type='application/x-ndjson') return key @functions_framework.cloud_event def main(cloud_event): """Triggered by Pub/Sub to pull the Qualys host asset inventory and write it to GCS.""" if not all([GCS_BUCKET, QUALYS_BASE_URL, QUALYS_USERNAME, QUALYS_PASSWORD]): print('Error: missing required environment variables') return bucket = storage_client.bucket(GCS_BUCKET) session = requests.Session() session.headers.update(_headers()) url = f"{QUALYS_BASE_URL.rstrip('/')}/api/2.0/fo/asset/host/" params = { 'action': 'list', 'details': 'All', 'truncation_limit': TRUNCATION_LIMIT, # show_cloud_tags, host_metadata, and show_tags add the cloud provider # tags, cloud instance metadata, and asset tags that the parser maps. 'show_cloud_tags': 1, 'host_metadata': 'all', 'show_tags': 1, } pages = 0 total = 0 try: while pages < MAX_PAGES: resp = session.get(url, params=params, timeout=HTTP_TIMEOUT) resp.raise_for_status() hosts, next_url = _extract_hosts(resp.text) if hosts: _write_hosts(bucket, hosts, pages + 1) total += len(hosts) pages += 1 if not next_url: break # The pagination URL already includes every query parameter. url, params = next_url, None print(f'Wrote {total} hosts across {pages} pages') except Exception as e: print(f'Error collecting Qualys asset context: {e}') raiserequirements.txtファイルを作成し、次の内容を追加します。functions-framework==3.* google-cloud-storage==2.* requests>=2.31.0 xmltodict>=0.13.0[デプロイ] をクリックして、デプロイが完了するまで待ちます。
Cloud Scheduler ジョブを作成する
- [Cloud Scheduler] に移動します。
- [ジョブを作成] をクリックします。
- 次の構成情報を指定します。
- 名前: 「
qualys-asset-context-collector-daily」と入力します。 - リージョン: Cloud Run functions の関数と同じリージョンを選択します。
- 頻度: 「
0 */6 * * *」(6 時間ごと)と入力します。 - タイムゾーン: [UTC] を選択します。
- ターゲット タイプ: [Pub/Sub] を選択します。
- トピック:
qualys-asset-context-triggerを選択します。 - メッセージ本文: 「
{}」と入力します。
- 名前: 「
- [作成] をクリックします。
- 設定を確認するには、ジョブの [強制実行] をクリックし、Cloud Run のログとバケットをチェックして、ホストレコードが書き込まれたことを確認します。
Qualys アセット コンテキスト ログを取り込むように Google SecOps でフィードを構成する
- [設定] > [データ管理] > [フィード] に移動します。SIEM のみのプラットフォームを使用している場合は、[設定] > [フィード] に移動します。
- [Add New Feed] をクリックします。
- 次のページで、[単一のフィードを構成する] をクリックします。
- [フィード名] フィールドに、フィードの名前を入力します(例:
Qualys asset context logs)。 - [Source type] として [Google Cloud Storage V2] を選択します。
- [Log type] として [Qualys asset context] を選択します。
- [Chronicle Service Account] フィールドの横にある [Get Service Account] をクリックし、サービス アカウントのメールアドレスをコピーします。
- [次へ] をクリックします。
- 次の入力パラメータの値を指定します。
- Storage Bucket URI: 「
gs://qualys-asset-context-logs/qualys-asset-context/」と入力します。この URL の末尾はスラッシュ(/)にする必要があります。 - Source deletion options: 必要に応じて削除オプションを選択します。
- ファイルの最長存続期間: 過去数日間に変更されたファイルを含めます。デフォルトは 180 日です。
- Storage Bucket URI: 「
- [次へ] をクリックします。
- [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。
Google SecOps サービス アカウントにバケットへのアクセス権を付与する
- [Cloud Storage] > [バケット] に移動します。
- バケット名をクリックします。
- [権限] タブに移動します。
- [アクセス権を付与] をクリックします。
- 次の構成情報を指定します。
- プリンシパルを追加: フィードの設定から Google SecOps サービス アカウントのメールアドレスを貼り付けます。
- ロールを割り当てる: [Storage オブジェクト閲覧者](削除オプションを選択した場合は [Storage オブジェクト管理者])を選択します。
- [保存] をクリックします。
UDM マッピング テーブル
| ログフィールド | UDM マッピング | 論理 |
|---|---|---|
ASSET_ID |
entity.asset.asset_id |
直接マッピングされます。 |
DNS_DATA.HOSTNAME |
entity.asset.hostname |
直接マッピングされます。 |
IP |
entity.asset.ip |
統合済み |
OS |
entity.asset.platform_software.platform |
マッピング済み: (?i)windows → WINDOWS |
ID |
entity.asset.product_object_id |
直接マッピングされます。 |
dataset |
relations |
統合済み |
| なし | entity.asset.platform_software.platform |
定数: WINDOWS |
| なし | metadata.entity_type |
定数: ASSET |
| なし | metadata.product_name |
定数: QUALYS ASSET CONTEXT |
| なし | metadata.vendor_name |
定数: QUALYS ASSET CONTEXT |
DNS_DATA.HOSTNAME |
entity.entity.asset.hostname |
変更履歴からマッピング |
変更ログ
さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。