Digital Shadows SearchLight 로그 수집

다음에서 지원:

이 문서에서는 Amazon S3를 사용하여 Digital Shadows SearchLight 로그를 Google Security Operations에 수집하는 방법을 설명합니다. 파서는 JSON 로그에서 보안 이벤트 데이터를 추출합니다. 통합 데이터 모델 (UDM) 필드를 초기화하고, JSON 페이로드를 파싱하고, 관련 필드를 UDM 스키마에 매핑하고, grok 패턴을 사용하여 이메일 및 호스트 이름과 같은 항목을 추출하고, UDM 이벤트 내에서 security_result 및 metadata 객체를 생성합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스입니다.
  • Digital Shadows SearchLight 테넌트에 대한 권한이 있는 액세스 권한입니다.
  • AWS (S3, Identity and Access Management (IAM), Lambda, EventBridge)에 대한 권한 있는 액세스

Digital Shadows SearchLight 필수사항 (ID, API 키, 조직 ID, 토큰) 수집

  1. Digital Shadows SearchLight Portal에 로그인합니다.
  2. 설정 > API 사용자 인증 정보로 이동합니다.
  3. 새 API 클라이언트 또는 키 쌍을 만듭니다.
  4. 다음 세부정보를 복사하여 안전한 위치에 저장합니다.
    • API 키
    • API 비밀번호
    • 계정 ID
    • API 기본 URL: https://api.searchlight.app/v1 또는 https://portal-digitalshadows.com/api/v1

Google SecOps용 AWS S3 버킷 및 IAM 구성

  1. 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
  2. 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다 (예: digital-shadows-logs).
  3. 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
  4. 생성된 사용자를 선택합니다.
  5. 보안 사용자 인증 정보 탭을 선택합니다.
  6. 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
  7. 사용 사례로 서드 파티 서비스를 선택합니다.
  8. 다음을 클릭합니다.
  9. 선택사항: 설명 태그를 추가합니다.
  10. 액세스 키 만들기를 클릭합니다.
  11. .CSV 파일 다운로드를 클릭하여 향후 참조할 수 있도록 액세스 키와 비밀 액세스 키를 저장합니다.
  12. 완료를 클릭합니다.
  13. 권한 탭을 선택합니다.
  14. 권한 정책 섹션에서 권한 추가를 클릭합니다.
  15. 권한 추가를 선택합니다.
  16. 정책 직접 연결을 선택합니다.
  17. AmazonS3FullAccess 정책을 검색합니다.
  18. 정책을 선택합니다.
  19. 다음을 클릭합니다.
  20. 권한 추가를 클릭합니다.

S3 업로드용 IAM 정책 및 역할 구성

  1. AWS 콘솔에서 IAM > 정책으로 이동합니다.
  2. 정책 만들기 > JSON 탭을 클릭합니다.
  3. 다음 정책을 복사하여 붙여넣습니다.

  4. 정책 JSON (다른 버킷 이름을 입력한 경우 digital-shadows-logs 대체):

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPutObjects",
      "Effect": "Allow",
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::digital-shadows-logs/*"
    },
    {
      "Sid": "AllowGetStateObject",
      "Effect": "Allow",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::digital-shadows-logs/digital-shadows-searchlight/state.json"
    }
  ]
}

  5. 다음 > 정책 만들기를 클릭합니다.

  6. IAM > 역할 > 역할 생성 > AWS 서비스 > Lambda로 이동합니다.

  7. 새로 만든 정책을 연결합니다.

  8. 역할 이름을 digital-shadows-lambda-role로 지정하고 역할 만들기를 클릭합니다.

Lambda 함수 만들기

  1. AWS 콘솔에서 Lambda > 함수 > 함수 만들기로 이동합니다.
  2. 처음부터 작성을 클릭합니다.

  3. 다음 구성 세부정보를 제공합니다.

    설정 값
    이름 digital-shadows-collector
    런타임 Python 3.13
    아키텍처 x86_64
    실행 역할 digital-shadows-lambda-role

  4. 함수가 생성되면 코드 탭을 열고 스텁을 삭제한 후 다음 코드 (digital-shadows-collector.py)를 붙여넣습니다.

    import json
import os
import base64
import logging
import time
from datetime import datetime, timedelta, timezone
from urllib.parse import urlencode

import boto3
import urllib3

logger = logging.getLogger()
logger.setLevel(logging.INFO)

HTTP = urllib3.PoolManager(retries=False)

def _basic_auth_header(key: str, secret: str) -> str:
    token = base64.b64encode(f"{key}:{secret}".encode("utf-8")).decode("utf-8")
    return f"Basic {token}"

def _load_state(s3, bucket, key, default_days=30) -> str:
    """Return ISO8601 checkpoint (UTC)."""
    try:
        obj = s3.get_object(Bucket=bucket, Key=key)
        state = json.loads(obj["Body"].read().decode("utf-8"))
        ts = state.get("last_timestamp")
        if ts:
            return ts
    except s3.exceptions.NoSuchKey:
        pass
    except Exception as e:
        logger.warning(f"State read error: {e}")
    return (datetime.now(timezone.utc) - timedelta(days=default_days)).isoformat()

def _save_state(s3, bucket, key, ts: str) -> None:
    s3.put_object(
        Bucket=bucket,
        Key=key,
        Body=json.dumps({"last_timestamp": ts}).encode("utf-8"),
        ContentType="application/json",
    )

def _get_json(url: str, headers: dict, params: dict, backoff_s=2, max_retries=3) -> dict:
    qs = f"?{urlencode(params)}" if params else ""
    for attempt in range(max_retries):
        r = HTTP.request("GET", f"{url}{qs}", headers=headers)
        if r.status == 200:
            return json.loads(r.data.decode("utf-8"))
        if r.status in (429, 500, 502, 503, 504):
            wait = backoff_s * (2 ** attempt)
            logger.warning(f"HTTP {r.status} from DS API, retrying in {wait}s")
            time.sleep(wait)
            continue
        raise RuntimeError(f"DS API error {r.status}: {r.data[:200]}")
    raise RuntimeError("Exceeded retry budget for DS API")

def _collect(api_base, headers, path, since_ts, account_id, page_size, max_pages, time_param):
    items = []
    for page in range(max_pages):
        params = {
            "limit": page_size,
            "offset": page * page_size,
            time_param: since_ts,
        }
        if account_id:
            params["account-id"] = account_id

        data = _get_json(f"{api_base}/{path}", headers, params)
        batch = data.get("items") or data.get("data") or []
        if not batch:
            break
        items.extend(batch)
        if len(batch) < page_size:
            break
    return items

def lambda_handler(event, context):
    # Required
    s3_bucket  = os.environ["S3_BUCKET"]
    api_key    = os.environ["DS_API_KEY"]
    api_secret = os.environ["DS_API_SECRET"]

    # Optional / defaults
    s3_prefix  = os.environ.get("S3_PREFIX", "digital-shadows-searchlight/")
    state_key  = os.environ.get("STATE_KEY", "digital-shadows-searchlight/state.json")
    api_base   = os.environ.get("API_BASE", "https://api.searchlight.app/v1")
    account_id = os.environ.get("DS_ACCOUNT_ID", "")
    page_size  = int(os.environ.get("PAGE_SIZE", "100"))
    max_pages  = int(os.environ.get("MAX_PAGES", "10"))

    s3 = boto3.client("s3")
    last_ts = _load_state(s3, s3_bucket, state_key)
    logger.info(f"Checkpoint: {last_ts}")

    headers = {
        "Authorization": _basic_auth_header(api_key, api_secret),
        "Accept": "application/json",
        "User-Agent": "Chronicle-DigitalShadows-S3/1.0",
    }

    records = []

    # Incidents (time filter often 'published-after' or 'updated-since' depending on tenancy)
    incidents = _collect(api_base, headers, "incidents", last_ts, account_id, page_size, max_pages, time_param="published-after")
    for incident in incidents:
        incident['_source_type'] = 'incident'
    records.extend(incidents)

    # Intelligence incidents (alerts)
    intel_incidents = _collect(api_base, headers, "intel-incidents", last_ts, account_id, page_size, max_pages, time_param="published-after")
    for intel in intel_incidents:
        intel['_source_type'] = 'intelligence_incident'
    records.extend(intel_incidents)

    # Indicators (IOCs)
    indicators = _collect(api_base, headers, "indicators", last_ts, account_id, page_size, max_pages, time_param="lastUpdated-after")
    for indicator in indicators:
        indicator['_source_type'] = 'ioc'
    records.extend(indicators)

    if records:
        # Choose newest timestamp seen in this batch
        newest = max(
            (r.get("updated") or r.get("raised") or r.get("lastUpdated") or last_ts)
            for r in records
        )
        key = f"{s3_prefix}digital_shadows_{datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')}.json"
        body = "\n".join(json.dumps(r, separators=(",", ":")) for r in records).encode("utf-8")

        s3.put_object(
            Bucket=s3_bucket,
            Key=key,
            Body=body,
            ContentType="application/x-ndjson",
        )
        _save_state(s3, s3_bucket, state_key, newest)
        msg = f"Wrote {len(records)} records to s3://{s3_bucket}/{key}"
    else:
        msg = "No new records"

    logger.info(msg)
    return {"statusCode": 200, "body": msg}

  5. 구성 > 환경 변수로 이동합니다.

  6. 수정 > 새 환경 변수 추가를 클릭합니다.

  7. 다음 표에 제공된 환경 변수를 입력하고 예시 값을 실제 값으로 바꿉니다.

    환경 변수

    키 예시 값
    S3_BUCKET digital-shadows-logs
    S3_PREFIX digital-shadows-searchlight/
    STATE_KEY digital-shadows-searchlight/state.json
    DS_API_KEY <your-6-character-api-key>
    DS_API_SECRET <your-32-character-api-secret>
    API_BASE https://api.searchlight.app/v1(또는 https://portal-digitalshadows.com/api/v1)
    DS_ACCOUNT_ID <your-account-id> (대부분의 테넌트에 필요)
    PAGE_SIZE 100
    MAX_PAGES 10

  8. 함수가 생성되면 해당 페이지에 머무르거나 Lambda > 함수 > your-function을 엽니다.

  9. 구성 탭을 선택합니다.

  10. 일반 구성 패널에서 수정을 클릭합니다.

  11. 제한 시간을 5분 (300초)으로 변경하고 저장을 클릭합니다.

EventBridge 일정 만들기

  1. Amazon EventBridge > 스케줄러 > 일정 만들기로 이동합니다.
  2. 다음 구성 세부정보를 제공합니다.
    • 반복 일정: 요금 (1 hour)
    • 타겟: Lambda 함수 digital-shadows-collector
    • 이름: digital-shadows-collector-1h.
  3. 일정 만들기를 클릭합니다.

(선택사항) Google SecOps용 읽기 전용 IAM 사용자 및 키 만들기

  1. AWS 콘솔 > IAM > 사용자로 이동합니다.
  2. Add users를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 사용자: secops-reader를 입력합니다.
    • 액세스 유형: 액세스 키 – 프로그래매틱 액세스를 선택합니다.
  4. 사용자 만들기를 클릭합니다.
  5. 최소 읽기 정책 (맞춤) 연결: 사용자 > secops-reader > 권한 > 권한 추가 > 정책 직접 연결 > 정책 만들기

  6. JSON:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject"],
      "Resource": "arn:aws:s3:::digital-shadows-logs/*"
    },
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": "arn:aws:s3:::digital-shadows-logs"
    }
  ]
}

  7. 이름 = secops-reader-policy

  8. 정책 만들기 > 검색/선택 > 다음 > 권한 추가를 클릭합니다.

  9. secops-reader의 액세스 키를 만듭니다(보안 사용자 인증 정보 > 액세스 키).

  10. 액세스 키 만들기를 클릭합니다.

  11. .CSV을 다운로드합니다. (이 값은 피드에 붙여넣습니다.)

Digital Shadows SearchLight 로그를 수집하도록 Google SecOps에서 피드 구성

  1. SIEM 설정> 피드로 이동합니다.
  2. + 새 피드 추가를 클릭합니다.
  3. 피드 이름 필드에 피드 이름을 입력합니다 (예: Digital Shadows SearchLight logs).
  4. 소스 유형으로 Amazon S3 V2를 선택합니다.
  5. 로그 유형으로 Digital Shadows SearchLight를 선택합니다.
  6. 다음을 클릭합니다.
  7. 다음 입력 파라미터의 값을 지정합니다.
    • S3 URI: s3://digital-shadows-logs/digital-shadows-searchlight/
    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
    • 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.
    • 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키입니다.
    • 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.
    • 애셋 네임스페이스: 애셋 네임스페이스입니다.
    • 수집 라벨: 이 피드의 이벤트에 적용된 라벨입니다.
  8. 다음을 클릭합니다.
  9. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.