Qualys 애셋 컨텍스트 로그 수집
이 문서에서는 Google Cloud Storage를 사용하여 Qualys 애셋 컨텍스트 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
Qualys 애셋 컨텍스트는 Qualys 플랫폼의 호스트 애셋 인벤토리 데이터(IP 주소, DNS 이름, 운영체제, 클라우드 제공업체 메타데이터, 태그)를 제공합니다. 이 데이터는 Qualys API에서 가져오므로 Cloud Run 함수는 주기적으로 Qualys Host List API를 쿼리하고 XML 응답을 JSON으로 변환한 후 Google SecOps가 수집하는 Cloud Storage 버킷에 기록합니다.
시작하기 전에
다음 기본 요건이 충족되었는지 확인합니다.
- Google SecOps 인스턴스
- Cloud Storage, Cloud Run, Pub/Sub, Cloud Scheduler API가 사용 설정된 Google Cloud 프로젝트
- Cloud Storage 버킷, 서비스 계정, Cloud Run Functions, Pub/Sub 주제, Cloud Scheduler 작업을 만들고 관리할 수 있는 권한
- API 액세스 권한이 있는 Qualys 계정(관리자 역할이 있는 사용자 또는 API 액세스 권한이 있고 수집하려는 애셋에 대한 가시성이 있는 역할)
Cloud Storage 버킷 만들기
- Google Cloud 콘솔로 이동합니다.
- 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
- Cloud Storage > 버킷으로 이동합니다.
- 버킷 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 버킷 이름 지정: 전역적으로 고유한 이름(예:
qualys-asset-context-logs)을 입력합니다. - 위치 유형: 필요에 따라 선택합니다(리전, 이중 리전 또는 멀티 리전).
- 위치: 위치를 선택합니다(예:
us-central1). - 스토리지 클래스: 표준을 선택합니다.
- 액세스 제어: 균일을 선택합니다.
- 버킷 이름 지정: 전역적으로 고유한 이름(예:
- 만들기를 클릭합니다.
Qualys API 사용자 인증 정보 수집
- Qualys 웹 애플리케이션에 로그인합니다.
- API 사용자를 식별하거나 만듭니다.
- 사용자 > 사용자 관리로 이동합니다.
- 기존 사용자를 사용하거나 새로 만들기 > 사용자를 클릭하고 관리자 역할(또는 API 액세스 권한이 있는 역할)을 할당합니다.
- 사용자의 사용자 이름과 비밀번호를 기록합니다.
Qualys API 서버 URL을 식별합니다(Qualys 플랫폼에 따라 다름, 예:
https://qualysapi.qg3.apps.qualys.com). 이를 찾으려면 Qualys 플랫폼 식별을 참조하세요.
Cloud Run 함수의 서비스 계정 만들기
- IAM 및 관리자 > 서비스 계정으로 이동합니다.
- 서비스 계정 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 서비스 계정 이름:
qualys-asset-context-sa을 입력합니다. - 서비스 계정 설명:
Service account for Cloud Run function to collect Qualys asset context logs을 입력합니다.
- 서비스 계정 이름:
- 만들고 계속하기를 클릭합니다.
- 다음 역할을 부여합니다.
- 스토리지 객체 관리자: 버킷에 호스트 레코드를 작성합니다.
- Cloud Run 호출자: Pub/Sub가 함수를 호출하도록 허용합니다.
- 계속을 클릭한 다음 완료를 클릭합니다.
서비스 계정에 Cloud Storage 버킷에 대한 액세스 권한 부여
- Cloud Storage > 버킷으로 이동합니다.
- 버킷 이름을 클릭합니다.
- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 서비스 계정 이메일(
qualys-asset-context-sa@<PROJECT_ID>.iam.gserviceaccount.com)을 입력합니다. - 역할 할당: 스토리지 객체 관리자를 선택합니다.
- 주 구성원 추가: 서비스 계정 이메일(
- 저장을 클릭합니다.
Pub/Sub 주제 만들기
- Pub/Sub > 주제로 이동합니다.
- 주제 만들기를 클릭합니다.
- 주제 ID 입력란에
qualys-asset-context-trigger을 입력합니다. - 만들기를 클릭합니다.
로그를 수집하는 Cloud Run 함수 만들기
Cloud Run 함수는 Cloud Scheduler의 Pub/Sub 메시지에 의해 트리거됩니다. Qualys FO Host List API를 호출하고 XML 응답을 JSON으로 변환한 후 호스트 레코드를 버킷에 기록합니다.
- Cloud Run으로 이동합니다.
- 서비스 만들기를 클릭합니다.
- 함수를 선택하여 인라인 코드 편집기를 사용합니다.
- 다음 구성 세부정보를 제공합니다.
- 서비스 이름:
qualys-asset-context-collector을 입력합니다. - 리전: 버킷과 일치하는 리전을 선택합니다(예:
us-central1). - 런타임: Python 3.12 이상을 선택합니다.
- 서비스 이름:
- 트리거 섹션에서 다음을 수행합니다.
- 트리거 추가를 클릭합니다.
- Cloud Pub/Sub를 선택합니다.
- Cloud Pub/Sub 주제 선택에서
qualys-asset-context-trigger를 선택합니다. - 저장을 클릭합니다.
- 인증 섹션에서 인증 필요를 선택합니다.
- 컨테이너, 네트워킹, 보안을 펼치고 보안 탭에서 서비스 계정을
qualys-asset-context-sa로 설정합니다. 컨테이너 > 변수 및 보안 비밀 탭에서 다음 환경 변수를 추가합니다.
변수 이름 예시 값 GCS_BUCKETqualys-asset-context-logsGCS_PREFIXqualys-asset-context/QUALYS_BASE_URLhttps://qualysapi.qg3.apps.qualys.comQUALYS_USERNAMEyour-qualys-usernameQUALYS_PASSWORDyour-qualys-passwordTRUNCATION_LIMIT1000HTTP_TIMEOUT300MAX_PAGES50요청 제한 시간을
600초로, 메모리를 512MiB 이상으로 설정합니다.만들기를 클릭합니다. 서비스가 생성되면 인라인 코드 편집기가 열립니다.
함수 코드 추가
- 함수 진입점 필드에
main를 입력합니다. 인라인 코드 편집기에서
main.py의 콘텐츠를 다음 코드로 바꿉니다.import functions_framework from google.cloud import storage import os import time import uuid import json import base64 import requests import xmltodict storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'qualys-asset-context/') QUALYS_BASE_URL = os.environ.get('QUALYS_BASE_URL') QUALYS_USERNAME = os.environ.get('QUALYS_USERNAME') QUALYS_PASSWORD = os.environ.get('QUALYS_PASSWORD') TRUNCATION_LIMIT = int(os.environ.get('TRUNCATION_LIMIT', '1000')) HTTP_TIMEOUT = int(os.environ.get('HTTP_TIMEOUT', '300')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '50')) def _headers(): """Qualys FO API requires Basic auth and the X-Requested-With header.""" token = base64.b64encode(f'{QUALYS_USERNAME}:{QUALYS_PASSWORD}'.encode()).decode() return {'Authorization': f'Basic {token}', 'X-Requested-With': 'Cloud Run function'} def _extract_hosts(xml_text): """Parse the FO Host List XML into (list_of_host_dicts, next_page_url).""" doc = xmltodict.parse(xml_text) response = (doc.get('HOST_LIST_OUTPUT') or {}).get('RESPONSE') or {} host_list = (response.get('HOST_LIST') or {}).get('HOST') if host_list is None: hosts = [] elif isinstance(host_list, list): hosts = host_list else: hosts = [host_list] # When the result is truncated, RESPONSE contains <WARNING><URL>...</URL></WARNING>. warning = response.get('WARNING') next_url = warning.get('URL') if isinstance(warning, dict) else None return hosts, next_url def _write_hosts(bucket, hosts, page_num): """Write one batch of hosts to GCS as JSON, one host per line.""" ts_path = time.strftime('%Y/%m/%d', time.gmtime()) uniq = f'{int(time.time() * 1e6)}_{uuid.uuid4().hex[:8]}' key = f'{GCS_PREFIX}{ts_path}/qualys_asset_context_p{page_num:03d}_{uniq}.json' lines = [json.dumps(host, separators=(',', ':')) for host in hosts] bucket.blob(key).upload_from_string('\n'.join(lines), content_type='application/x-ndjson') return key @functions_framework.cloud_event def main(cloud_event): """Triggered by Pub/Sub to pull the Qualys host asset inventory and write it to GCS.""" if not all([GCS_BUCKET, QUALYS_BASE_URL, QUALYS_USERNAME, QUALYS_PASSWORD]): print('Error: missing required environment variables') return bucket = storage_client.bucket(GCS_BUCKET) session = requests.Session() session.headers.update(_headers()) url = f"{QUALYS_BASE_URL.rstrip('/')}/api/2.0/fo/asset/host/" params = { 'action': 'list', 'details': 'All', 'truncation_limit': TRUNCATION_LIMIT, # show_cloud_tags, host_metadata, and show_tags add the cloud provider # tags, cloud instance metadata, and asset tags that the parser maps. 'show_cloud_tags': 1, 'host_metadata': 'all', 'show_tags': 1, } pages = 0 total = 0 try: while pages < MAX_PAGES: resp = session.get(url, params=params, timeout=HTTP_TIMEOUT) resp.raise_for_status() hosts, next_url = _extract_hosts(resp.text) if hosts: _write_hosts(bucket, hosts, pages + 1) total += len(hosts) pages += 1 if not next_url: break # The pagination URL already includes every query parameter. url, params = next_url, None print(f'Wrote {total} hosts across {pages} pages') except Exception as e: print(f'Error collecting Qualys asset context: {e}') raise다음 콘텐츠로
requirements.txt이라는 파일을 만듭니다.functions-framework==3.* google-cloud-storage==2.* requests>=2.31.0 xmltodict>=0.13.0배포를 클릭하고 배포가 완료될 때까지 기다립니다.
Cloud Scheduler 작업 만들기
- I am going to provide a list of glossary for this session. Use these terms as references, but apply your own judgment based on the definitions provided. If a term doesn't fit the context, just ignore the suggestion.Source Term: Cloud SchedulerThe definition is: A fully managed enterprise-grade cron job scheduler from Google Cloud. See: https://cloud.google.com/schedulerTranslation under this definition: Cloud Scheduler
- 작업 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 이름:
qualys-asset-context-collector-daily를 입력합니다. - 리전: Cloud Run 함수와 동일한 리전을 선택합니다.
- 빈도:
0 */6 * * *(6시간마다)을 입력합니다. - 시간대: UTC를 선택합니다.
- 대상 유형: Pub/Sub를 선택합니다.
- 주제:
qualys-asset-context-trigger를 선택합니다. - 메일 본문:
{}를 입력합니다.
- 이름:
- 만들기를 클릭합니다.
- 설정을 확인하려면 작업에서 강제 실행을 클릭한 다음 Cloud Run 로그와 버킷을 확인하여 호스트 레코드가 기록되었는지 확인합니다.
Qualys 애셋 컨텍스트 로그를 수집하도록 Google SecOps에서 피드 구성
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 다음 페이지에서 단일 피드 구성을 클릭합니다.
- 피드 이름 필드에 피드 이름을 입력합니다(예:
Qualys asset context logs). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
- 로그 유형으로 Qualys 애셋 컨텍스트를 선택합니다.
- Chronicle 서비스 계정 필드 옆에 있는 서비스 계정 가져오기를 클릭하고 서비스 계정 이메일을 복사합니다.
- 다음을 클릭합니다.
- 다음 입력 파라미터의 값을 지정합니다.
- 스토리지 버킷 URI:
gs://qualys-asset-context-logs/qualys-asset-context/를 입력합니다. 이 URL은 후행 슬래시(/)로 끝나야 합니다. - 소스 삭제 옵션: 원하는 삭제 옵션을 선택합니다.
- 최대 파일 기간: 최근 며칠 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.
- 스토리지 버킷 URI:
- 다음을 클릭합니다.
- 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.
Google SecOps 서비스 계정에 버킷에 대한 액세스 권한 부여
- Cloud Storage > 버킷으로 이동합니다.
- 버킷 이름을 클릭합니다.
- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 피드 설정에서 Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당: 스토리지 객체 뷰어(또는 삭제 옵션을 선택한 경우 스토리지 객체 관리자)를 선택합니다.
- 저장을 클릭합니다.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
ASSET_ID |
entity.asset.asset_id |
직접 매핑됨 |
DNS_DATA.HOSTNAME |
entity.asset.hostname |
직접 매핑됨 |
IP |
entity.asset.ip |
병합됨 |
OS |
entity.asset.platform_software.platform |
매핑됨: (?i)windows → WINDOWS |
ID |
entity.asset.product_object_id |
직접 매핑됨 |
dataset |
relations |
병합됨 |
| 해당 사항 없음 | entity.asset.platform_software.platform |
상수: WINDOWS |
| 해당 사항 없음 | metadata.entity_type |
상수: ASSET |
| 해당 사항 없음 | metadata.product_name |
상수: QUALYS ASSET CONTEXT |
| 해당 사항 없음 | metadata.vendor_name |
상수: QUALYS ASSET CONTEXT |
DNS_DATA.HOSTNAME |
entity.entity.asset.hostname |
변경 로그에서 매핑됨 |
변경 로그
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.