HCL BigFix 로그 수집
이 문서에서는 Cloud Run 함수를 통해 Cloud Storage V2를 사용하여 HCL BigFix 로그를 Google Security Operations에 수집하는 방법을 설명합니다.
HCL BigFix는 통합 엔드포인트 관리, 보안, 규정 준수 기능을 제공하는 엔드포인트 관리 플랫폼입니다. 이를 통해 조직은 패치 관리, 소프트웨어 배포, 구성 관리, 보안 규정 준수를 포함하여 인프라 전반에서 엔드포인트를 검색, 관리, 해결할 수 있습니다. Cloud Run 함수는 세션 관련성 쿼리를 사용하여 HCL BigFix REST API를 폴링하고 결과를 NDJSON으로 Cloud Storage 버킷에 작성하며 Google SecOps는 Cloud Storage V2 피드를 통해 이를 수집합니다.
시작하기 전에
다음 기본 요건이 충족되었는지 확인합니다.
- Google SecOps 인스턴스
- 결제가 사용 설정된 Google Cloud 프로젝트
- 마스터 운영자 권한으로 HCL BigFix 콘솔에 액세스
- HCL BigFix Server 버전 9.5 이상
- BigFix 서버에서 실행되는 WebReports 서비스
- Cloud Run 함수에서 포트 52311(기본 REST API 포트)의 BigFix 서버로의 네트워크 연결
- Google Cloud 사용 설정된 API: Cloud Run Functions, Cloud Storage, Cloud Scheduler, Pub/Sub, Identity and Access Management(IAM)
Cloud Storage 버킷 만들기
- Google Cloud 콘솔로 이동합니다.
- 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
- 탐색 메뉴에서 Cloud Storage > 버킷으로 이동합니다.
- 버킷 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 버킷 이름 지정 전역적으로 고유한 이름(예: hcl-bigfix-logs)을 입력합니다.위치 유형 필요에 따라 선택(리전, 이중 리전, 멀티 리전) 위치 Google SecOps 인스턴스에 가장 가까운 위치를 선택합니다(예: us-central1).스토리지 클래스 표준(자주 액세스하는 로그에 권장) 액세스 제어 균일(권장) 보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정 만들기를 클릭합니다.
HCL BigFix API 사용자 인증 정보 수집
Cloud Run 함수가 엔드포인트 데이터를 검색할 수 있도록 하려면 REST API 액세스 권한이 있는 전용 BigFix Console 운영자를 만들어야 합니다.
API 액세스 전용 연산자 만들기
- BigFix Console에 로그인합니다.
- 도구 > 연산자 만들기로 이동합니다.
사용자 추가 대화상자에서 다음 정보를 입력합니다.
- 사용자 이름: 설명이 포함된 사용자 이름을 입력합니다(예:
chronicle_api). - 비밀번호: 안전한 비밀번호를 입력합니다.
- 비밀번호 확인: 비밀번호를 다시 입력합니다.
- 사용자 이름: 설명이 포함된 사용자 이름을 입력합니다(예:
확인을 클릭합니다.
운영자 권한 구성
연산자를 만들면 콘솔 연산자 창이 자동으로 열립니다.
- 세부정보 탭을 클릭합니다.
- 개요 섹션에서 다음을 수행합니다.
- 이 사용자의 로그인을 항상 허용을 선택합니다.
- 권한 섹션에서 다음 권한을 설정합니다.
- 쿼리 제출 가능: 예로 설정합니다.
- 맞춤 콘텐츠: 예로 설정합니다.
- 인터페이스 로그인 권한 섹션에서 다음을 수행합니다.
- REST API 사용 가능: 예로 설정합니다.
- 관리 컴퓨터 탭을 클릭합니다.
- 모든 컴퓨터를 선택하여 운영자가 모든 엔드포인트를 쿼리하도록 허용하거나 요구사항에 따라 특정 컴퓨터 그룹을 선택합니다.
- 변경사항 저장을 클릭합니다.
API 사용자 인증 정보 기록
Cloud Run Functions 환경 변수를 구성하기 위해 다음 정보를 저장합니다.
- 사용자 이름: 생성한 운영자 사용자 이름(예:
chronicle_api) - 비밀번호: 운영자 비밀번호
- BigFix 서버 호스트 이름: BigFix 서버의 정규화된 도메인 이름 또는 IP 주소(예:
bigfix.company.com) API 포트: REST API 포트(기본값은
52311)
API 연결 테스트
BigFix 서버에 네트워크 액세스 권한이 있는 머신에서 다음 테스트 쿼리를 실행하여 API 사용자 인증 정보가 작동하는지 확인합니다.
curl -k -u "chronicle_api:YOUR_PASSWORD" \ -X POST \ -H "Content-Type: application/x-www-form-urlencoded" \ -d "relevance=(name of it, id of it) of bes computers" \ "https://bigfix-server:52311/api/query"응답에 성공하면 컴퓨터 이름과 ID가 포함된 XML 문서가 반환됩니다. 인증 오류가 발생하면 이전 단계에서 구성한 운영자 권한을 확인합니다.
Cloud Run 함수의 서비스 계정 만들기
- Google Cloud 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
- 서비스 계정 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 서비스 계정 이름:
bigfix-cloud-run(또는 설명이 포함된 이름)을 입력합니다. - 서비스 계정 설명:
Service account for HCL BigFix Cloud Run function to write logs to Cloud Storage을 입력합니다.
- 서비스 계정 이름:
만들고 계속하기를 클릭합니다.
이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
- 스토리지 객체 관리자(Cloud Storage 버킷에서 객체를 읽고 쓰기)
- Cloud Run 호출자(Cloud Scheduler가 함수를 호출할 수 있도록 허용)
계속을 클릭합니다.
완료를 클릭합니다.
Pub/Sub 주제 만들기
Cloud Scheduler는 Pub/Sub 주제를 통해 Cloud Run 함수를 트리거합니다.
- Google Cloud 콘솔에서 Pub/Sub > 주제로 이동합니다.
- 주제 만들기를 클릭합니다.
- 주제 ID 입력란에
bigfix-ingestion-trigger을 입력합니다. - 기본 설정을 그대로 둡니다.
만들기를 클릭합니다.
Cloud Run 함수 만들기
함수 소스 파일 준비
Cloud Run Functions 배포를 위해 다음 두 파일을 만듭니다.
requirements.txt
functions-framework==3.* google-cloud-storage==2.* requests>=2.31.0main.py
import base64 import json import logging import os import xml.etree.ElementTree as ET from datetime import datetime, timezone, timedelta import requests import urllib3 from google.cloud import storage urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) GCS_BUCKET = os.environ["GCS_BUCKET"] GCS_PREFIX = os.environ.get("GCS_PREFIX", "bigfix_logs") STATE_KEY = os.environ.get("STATE_KEY", "bigfix_state.json") BIGFIX_SERVER = os.environ["BIGFIX_SERVER"] BIGFIX_PORT = os.environ.get("BIGFIX_PORT", "52311") BIGFIX_USERNAME = os.environ["BIGFIX_USERNAME"] BIGFIX_PASSWORD = os.environ["BIGFIX_PASSWORD"] MAX_RECORDS = int(os.environ.get("MAX_RECORDS", "10000")) LOOKBACK_HOURS = int(os.environ.get("LOOKBACK_HOURS", "24")) BIGFIX_BASE_URL = f"https://{BIGFIX_SERVER}:{BIGFIX_PORT}/api" RELEVANCE_QUERIES = { "computers": ( '(id of it, name of it, operating system of it, ' 'last report time of it as string, ip address of it as string, ' 'root server of it) of bes computers' ), "actions": ( '(id of it, name of it, name of issuer of it, ' 'time issued of it as string, state of it) of bes actions' ), "fixlets": ( '(id of it, name of it, source severity of it, ' 'source of it, category of it) of bes fixlets ' 'whose (source severity of it is not "")' ), } def _get_auth_header(): """Build Basic Auth header from credentials.""" credentials = f"{BIGFIX_USERNAME}:{BIGFIX_PASSWORD}" encoded = base64.b64encode(credentials.encode("utf-8")).decode("utf-8") return {"Authorization": f"Basic {encoded}"} def _query_bigfix(relevance, session=None): """Execute a session relevance query against the BigFix REST API.""" url = f"{BIGFIX_BASE_URL}/query" headers = _get_auth_header() headers["Content-Type"] = "application/x-www-form-urlencoded" data = {"relevance": relevance} http = session or requests resp = http.post(url, headers=headers, data=data, verify=False, timeout=120) resp.raise_for_status() return resp.text def _parse_query_xml(xml_text, query_name): """Parse BigFix XML response into a list of dicts.""" root = ET.fromstring(xml_text) results = [] for result_elem in root.iter("Result"): tuples = result_elem.findall("Tuple") if tuples: for tup in tuples: answers = [a.text or "" for a in tup.findall("Answer")] record = _map_answers(query_name, answers) record["_query"] = query_name record["_collection_time"] = ( datetime.now(timezone.utc).isoformat() ) results.append(record) else: answers_elems = result_elem.findall("Answer") if answers_elems: answers = [a.text or "" for a in answers_elems] record = _map_answers(query_name, answers) record["_query"] = query_name record["_collection_time"] = ( datetime.now(timezone.utc).isoformat() ) results.append(record) logger.info( "Query '%s' returned %d results.", query_name, len(results) ) return results def _map_answers(query_name, answers): """Map positional answers to named fields based on query type.""" field_maps = { "computers": [ "client_id", "client_name", "OS", "last_report_time", "ip_address", "root_server", ], "actions": [ "action_id", "action_name", "issuer", "time_issued", "state", ], "fixlets": [ "fixlet_id", "fixlet_name", "source_severity", "source", "category", ], } fields = field_maps.get(query_name, []) record = {} for i, value in enumerate(answers): key = fields[i] if i < len(fields) else f"field_{i}" record[key] = value return record def _load_state(gcs_client): """Load the last run state from GCS.""" bucket = gcs_client.bucket(GCS_BUCKET) blob = bucket.blob(f"{GCS_PREFIX}/{STATE_KEY}") if blob.exists(): data = blob.download_as_text() return json.loads(data) return {} def _save_state(gcs_client, state): """Persist run state to GCS.""" bucket = gcs_client.bucket(GCS_BUCKET) blob = bucket.blob(f"{GCS_PREFIX}/{STATE_KEY}") blob.upload_from_string( json.dumps(state), content_type="application/json" ) logger.info("State saved to gs://%s/%s/%s", GCS_BUCKET, GCS_PREFIX, STATE_KEY) def _write_ndjson(gcs_client, records, timestamp_str): """Write records as NDJSON to GCS.""" if not records: logger.info("No records to write.") return records = records[:MAX_RECORDS] ndjson_lines = "\n".join(json.dumps(r) for r in records) blob_name = f"{GCS_PREFIX}/{timestamp_str}/bigfix_events.ndjson" bucket = gcs_client.bucket(GCS_BUCKET) blob = bucket.blob(blob_name) blob.upload_from_string(ndjson_lines, content_type="application/x-ndjson") logger.info( "Wrote %d records to gs://%s/%s", len(records), GCS_BUCKET, blob_name, ) def main(event, context): """Cloud Run function entry point triggered by Pub/Sub.""" logger.info("HCL BigFix ingestion function started.") gcs_client = storage.Client() state = _load_state(gcs_client) last_run = state.get("last_run") if last_run: logger.info("Last successful run: %s", last_run) now = datetime.now(timezone.utc) timestamp_str = now.strftime("%Y/%m/%d/%H%M%S") all_records = [] session = requests.Session() for query_name, relevance in RELEVANCE_QUERIES.items(): try: xml_text = _query_bigfix(relevance, session=session) records = _parse_query_xml(xml_text, query_name) all_records.extend(records) except requests.exceptions.RequestException as e: logger.error( "Failed to execute query '%s': %s", query_name, e ) except ET.ParseError as e: logger.error( "Failed to parse XML for query '%s': %s", query_name, e ) session.close() _write_ndjson(gcs_client, all_records, timestamp_str) state["last_run"] = now.isoformat() state["records_written"] = len(all_records) _save_state(gcs_client, state) logger.info( "HCL BigFix ingestion complete. %d total records written.", len(all_records), ) return "OK"
Cloud Run 함수 배포
- 두 파일(
main.py및requirements.txt)을 로컬 디렉터리(예:bigfix-function/)에 저장합니다. - Cloud Shell 또는
gcloudCLI가 설치된 터미널을 엽니다. 다음 명령어를 실행하여 함수를 배포합니다.
gcloud functions deploy bigfix-to-gcs \ --gen2 \ --region=us-central1 \ --runtime=python312 \ --trigger-topic=bigfix-ingestion-trigger \ --entry-point=main \ --memory=512MB \ --timeout=540s \ --service-account=bigfix-cloud-run@PROJECT_ID.iam.gserviceaccount.com \ --set-env-vars="GCS_BUCKET=hcl-bigfix-logs,GCS_PREFIX=bigfix_logs,STATE_KEY=bigfix_state.json,BIGFIX_SERVER=bigfix.company.com,BIGFIX_PORT=52311,BIGFIX_USERNAME=chronicle_api,BIGFIX_PASSWORD=YOUR_PASSWORD,MAX_RECORDS=10000,LOOKBACK_HOURS=24"다음 플레이스홀더 값을 바꿉니다.
PROJECT_ID: Google Cloud 프로젝트 ID입니다.hcl-bigfix-logs: Cloud Storage 버킷 이름입니다.bigfix.company.com: BigFix 서버 호스트 이름 또는 IP 주소입니다.chronicle_api: BigFix 운영자 사용자 이름입니다.YOUR_PASSWORD: BigFix 운영자 비밀번호입니다.
함수 상태를 확인하여 배포를 확인합니다.
gcloud functions describe bigfix-to-gcs --region=us-central1 --gen2
환경 변수 참조
| 변수 | 필수 | 기본값 | 설명 |
|---|---|---|---|
GCS_BUCKET |
예 | NDJSON 출력을 저장할 Cloud Storage 버킷 이름 | |
GCS_PREFIX |
아니요 | bigfix_logs |
버킷 내 객체 프리픽스(폴더 경로) |
STATE_KEY |
아니요 | bigfix_state.json |
프리픽스 내 상태 파일의 blob 이름 |
BIGFIX_SERVER |
예 | BigFix 서버 호스트 이름 또는 IP 주소 | |
BIGFIX_PORT |
아니요 | 52311 |
BigFix REST API 포트 |
BIGFIX_USERNAME |
예 | BigFix 운영자 사용자 이름 | |
BIGFIX_PASSWORD |
예 | BigFix 운영자 비밀번호 | |
MAX_RECORDS |
아니요 | 10000 |
실행당 쓸 최대 레코드 수 |
LOOKBACK_HOURS |
아니요 | 24 |
초기 수집을 위해 되돌아볼 시간 |
Cloud Scheduler 작업 만들기
Cloud Scheduler는 Pub/Sub 주제를 통해 정기적으로 Cloud Run 함수를 트리거합니다.
- Google Cloud 콘솔에서 Cloud Scheduler로 이동합니다.
- 작업 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 이름:
bigfix-ingestion-schedule를 입력합니다. - 리전: Cloud Run 함수와 동일한 리전을 선택합니다(예:
us-central1). - 빈도:
0 */4 * * *를 입력합니다(4시간마다 실행). 데이터 볼륨 및 최신성 요구사항에 따라 일정을 조정합니다. - 시간대: 원하는 시간대를 선택합니다.
- 이름:
- 계속을 클릭합니다.
- 실행 구성 섹션에서 다음을 수행합니다.
- 대상 유형: Pub/Sub를 선택합니다.
- 주제:
bigfix-ingestion-trigger를 선택합니다. - 메일 본문:
{"run": true}를 입력합니다.
- 계속을 클릭합니다.
- 선택적 설정 구성 섹션에서 다음을 수행합니다.
- 최대 재시도 횟수:
3을 입력합니다. - 최소 백오프 지속 시간:
5s를 입력합니다. - 최대 백오프 지속 시간:
60s를 입력합니다.
- 최대 재시도 횟수:
- 만들기를 클릭합니다.
즉시 테스트를 실행하려면 작업 이름 옆에 있는 점 3개(…)를 클릭하고 강제 실행을 선택합니다.
Google SecOps 서비스 계정 가져오기 및 피드 구성
Google SecOps는 고유한 서비스 계정을 사용하여 Cloud Storage 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷에 대한 액세스 권한을 부여해야 합니다.
서비스 계정 이메일 가져오기
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름 필드에 피드 이름을 입력합니다(예:
HCL BigFix Logs). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
- 로그 유형으로 HCL BigFix를 선택합니다.
서비스 계정 가져오기를 클릭합니다.
고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.
다음을 클릭합니다.
다음 입력 파라미터의 값을 지정합니다.
스토리지 버킷 URL: Cloud Storage 버킷 URI를 입력합니다.
gs://hcl-bigfix-logs/bigfix_logs/hcl-bigfix-logs을 Cloud Storage 버킷 이름으로 바꿉니다.bigfix_logs를 구성된GCS_PREFIX값으로 바꿉니다.
소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 삭제 안함: 전송 후 파일을 삭제하지 않습니다(테스트에 권장).
- 전송된 파일 삭제: 전송이 완료된 후 파일을 삭제합니다.
전송된 파일 및 빈 디렉터리 삭제: 전송이 완료된 후 파일과 빈 디렉터리를 삭제합니다.
최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다(기본값은 180일).
애셋 네임스페이스: 애셋 네임스페이스입니다.
수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.
Google SecOps 서비스 계정에 IAM 권한 부여
Google SecOps 서비스 계정에는 Cloud Storage 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.
- Cloud Storage > 버킷으로 이동합니다.
- 버킷 이름(예:
hcl-bigfix-logs)을 클릭합니다. - 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일(예:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com)을 붙여넣습니다. - 역할 할당: 스토리지 객체 뷰어를 선택합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일(예:
저장을 클릭합니다.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
| WMI_Asset_ID | entity.asset.asset_id | 비어 있지 않고 '해당 사항 없음'이 아닌 경우 '저작물 ID:' + 값으로 설정합니다. |
| Computer_Serial_Number, Computer_Manufacturer, Computer_Model | entity.asset.hardware | serial_number, manufacturer, model이 있는 객체 |
| client_name | entity.asset.hostname | 값이 직접 복사됨 |
| MAC_Addresses | entity.asset.mac | 서식 지정 후 배열에서 병합됨 |
| OperatingSystemType | entity.asset.platform_software.platform | 비어 있지 않고 'Unix'가 아닌 경우 대문자 값 |
| OS | entity.asset.platform_software.platform_version | 값이 직접 복사됨 |
| SerialNumber | entity.asset.product_object_id | 비어 있지 않은 경우의 값 |
| WindowsOperatingSystem | entity.asset.software | 비어 있지 않은 경우 이름이 값으로 설정된 객체 |
| OperatingSystemRole | entity.asset.type | 비어 있지 않은 경우 대문자 값 |
| DNS_Name | entity.domain.name | 비어 있지 않은 경우의 값 |
| CloudInfo | entity.labels | 키가 'CloudInfo'이고 값이 비어 있지 않은 경우(따옴표 삭제) 라벨 객체 |
| 도메인 역할 | entity.user.attribute.roles | 비어 있지 않은 경우 이름이 값으로 설정된 객체 |
| Active_Directory_Path | entity.user.group_identifiers | 비어 있지 않고 ' |
| WMI_Service_Tag | entity.user.product_object_id | 비어 있지 않은 경우의 값 |
| User_Name | entity.user.user_display_name | 비어 있지 않고 ' |
| client_id | entity.user.userid | 값이 직접 복사됨 |
| metadata.entity_type | SerialNumber가 비어 있지 않으면 'ASSET'으로 설정하고, 그렇지 않으면 'USER'로 설정합니다. | |
| metadata.product_name | 'HCL Big Fix'로 설정 | |
| metadata.vendor_name | 'HCL Software'로 설정 | |
CloudInfo |
event.idm.entity.entity.labels |
변경 로그에서 매핑됨 |
변경 로그
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.