Duo 엔티티 컨텍스트 로그 수집

다음에서 지원:

Google secops SIEM

이 문서에서는 Google Cloud Storage를 사용하여 Duo 엔티티 컨텍스트 데이터를 Google Security Operations에 수집하는 방법을 설명합니다. 파서는 먼저 원시 JSON에서 필드를 추출한 다음 해당 필드를 UDM 속성에 매핑하여 JSON 로그를 통합 데이터 모델 (UDM)로 변환합니다. 사용자 및 애셋 정보, 소프트웨어 세부정보, 보안 라벨 등 다양한 데이터 시나리오를 처리하여 UDM 스키마 내에서 포괄적으로 표현되도록 합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

Google SecOps 인스턴스
Duo 테넌트에 대한 권한 있는 액세스 (애플리케이션을 관리할 수 있는 충분한 관리 권한이 있는 Admin API 애플리케이션)
Cloud Storage API가 사용 설정된 GCP 프로젝트
GCS 버킷을 만들고 관리할 수 있는 권한
GCS 버킷의 IAM 정책을 관리할 수 있는 권한
Cloud Run 서비스, Pub/Sub 주제, Cloud Scheduler 작업을 만들 수 있는 권한

Duo Admin API 애플리케이션 구성

Duo 관리자 패널에 로그인합니다.
애플리케이션 > 애플리케이션 보호로 이동합니다.
Admin API를 검색하고 Protect를 클릭합니다.
다음 값을 기록합니다.
- 통합 키 (ikey)
- 보안 비밀 키 (skey)
- API 호스트 이름 (예: api-XXXXXXXX.duosecurity.com)
권한에서 리소스 부여 - 읽기 (사용자, 그룹, 전화, 엔드포인트, 토큰, WebAuthn 인증 정보를 읽음)를 사용 설정합니다.
저장을 클릭합니다.

참고: Admin API 애플리케이션을 만들거나 수정하려면 Duo에서 충분한 관리 권한 (예: 애플리케이션을 관리할 수 있는 소유자 또는 이에 상응하는 역할)이 있어야 합니다.

Google Cloud Storage 버킷 만들기

Google Cloud Console로 이동합니다.
프로젝트를 선택하거나 새 프로젝트를 만듭니다.
탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
버킷 만들기를 클릭합니다.

다음 구성 세부정보를 제공합니다.

설정	값
버킷 이름 지정	전역적으로 고유한 이름 (예: `duo-context`)을 입력합니다.
위치 유형	필요에 따라 선택 (리전, 이중 리전, 멀티 리전)
위치	위치를 선택합니다 (예: `us-central1`).
스토리지 클래스	Standard (자주 액세스하는 로그에 권장)
액세스 제어	균일 (권장)
보호 도구	선택사항: 객체 버전 관리 또는 보관 정책 사용 설정

만들기를 클릭합니다.
나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다.

Cloud Run 함수의 서비스 계정 만들기

Cloud Run 함수에는 GCS 버킷에 쓸 수 있고 Pub/Sub에서 호출할 수 있는 권한이 있는 서비스 계정이 필요합니다.

서비스 계정 만들기

GCP 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
서비스 계정 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 서비스 계정 이름: duo-entity-context-sa을 입력합니다.
- 서비스 계정 설명: Service account for Cloud Run function to collect Duo entity context data을 입력합니다.
만들고 계속하기를 클릭합니다.
이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
1. 역할 선택을 클릭합니다.
2. 스토리지 객체 관리자를 검색하여 선택합니다.
3. + 다른 역할 추가를 클릭합니다.
4. Cloud Run 호출자를 검색하여 선택합니다.
5. + 다른 역할 추가를 클릭합니다.
6. Cloud Functions 호출자를 검색하여 선택합니다.
계속을 클릭합니다.
완료를 클릭합니다.

이러한 역할은 다음 작업에 필요합니다.

스토리지 객체 관리자: GCS 버킷에 로그 쓰기
Cloud Run 호출자: Pub/Sub가 함수를 호출하도록 허용
Cloud Functions 호출자: 함수 호출 허용

GCS 버킷에 대한 IAM 권한 부여

GCS 버킷에 대한 쓰기 권한을 서비스 계정에 부여합니다.

Cloud Storage> 버킷으로 이동합니다.
버킷 이름을 클릭합니다.
권한 탭으로 이동합니다.
액세스 권한 부여를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 서비스 계정 이메일 (예: duo-entity-context-sa@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다.
- 역할 할당: 스토리지 객체 관리자를 선택합니다.
저장을 클릭합니다.

게시/구독 주제 만들기

Cloud Scheduler가 게시하고 Cloud Run 함수가 구독할 Pub/Sub 주제를 만듭니다.

GCP Console에서 Pub/Sub > 주제로 이동합니다.
주제 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 주제 ID: duo-entity-context-trigger를 입력합니다.
- 다른 설정은 기본값으로 둡니다.
만들기를 클릭합니다.

엔티티 컨텍스트 데이터를 수집하는 Cloud Run 함수 만들기

Cloud Run 함수는 Cloud Scheduler의 Pub/Sub 메시지에 의해 트리거되어 Duo Admin API에서 엔티티 컨텍스트 데이터를 가져오고 이를 GCS에 씁니다.

GCP 콘솔에서 Cloud Run으로 이동합니다.
서비스 만들기를 클릭합니다.
함수를 선택합니다 (인라인 편집기를 사용하여 함수 만들기).
구성 섹션에서 다음 구성 세부정보를 제공합니다.

설정 값

서비스 이름 duo-entity-context-collector

리전 GCS 버킷과 일치하는 리전을 선택합니다 (예: us-central1).

런타임 Python 3.12 이상 선택
트리거 (선택사항) 섹션에서 다음을 수행합니다.
1. + 트리거 추가를 클릭합니다.
2. Cloud Pub/Sub를 선택합니다.
3. Cloud Pub/Sub 주제 선택에서 Pub/Sub 주제 (duo-entity-context-trigger)를 선택합니다.
4. 저장을 클릭합니다.
인증 섹션에서 다음을 구성합니다.
1. 인증 필요를 선택합니다.
2. ID 및 액세스 관리 (IAM)를 확인합니다.
참고: 함수를 호출할 때 Pub/Sub에서 자동으로 인증을 처리합니다.
아래로 스크롤하고 컨테이너, 네트워킹, 보안을 펼칩니다.
보안 탭으로 이동합니다.
- 서비스 계정: 서비스 계정 (duo-entity-context-sa)을 선택합니다.

설정	값
서비스 이름	`duo-entity-context-collector`
리전	GCS 버킷과 일치하는 리전을 선택합니다 (예: `us-central1`).
런타임	Python 3.12 이상 선택

컨테이너 탭으로 이동합니다.

변수 및 보안 비밀을 클릭합니다.
각 환경 변수에 대해 + 변수 추가를 클릭합니다.

변수 이름	예시 값
`GCS_BUCKET`	`duo-context`
`GCS_PREFIX`	`duo/context/`
`DUO_IKEY`	`DIXYZ...`
`DUO_SKEY`	`****************`
`DUO_API_HOSTNAME`	`api-XXXXXXXX.duosecurity.com`
`LIMIT`	`100`
`RESOURCES`	`users,groups,phones,endpoints,tokens,webauthncredentials`

변수 및 보안 비밀 섹션에서 요청으로 스크롤합니다.
- 요청 제한 시간: 600초 (10분)를 입력합니다.
컨테이너의 설정 탭으로 이동합니다.
- 리소스 섹션에서 다음을 수행합니다.
  - 메모리: 512MiB 이상을 선택합니다.
  - CPU: 1을 선택합니다.
- 완료를 클릭합니다.
실행 환경으로 스크롤합니다.
- 기본을 선택합니다 (권장).
버전 확장 섹션에서 다음을 수행합니다.
- 최소 인스턴스 수: 0를 입력합니다.
- 최대 인스턴스 수: 100을 입력합니다 (또는 예상 부하에 따라 조정).
만들기를 클릭합니다.
서비스가 생성될 때까지 기다립니다 (1~2분).
서비스가 생성되면 인라인 코드 편집기가 자동으로 열립니다.

함수 코드 추가

함수 진입점에 main을 입력합니다.

인라인 코드 편집기에서 다음 두 파일을 만듭니다.

첫 번째 파일: main.py:

import functions_framework
from google.cloud import storage
import json
import os
import time
import hmac
import hashlib
import base64
import email.utils
import urllib.parse
from urllib.request import Request, urlopen

# Environment variables
DUO_IKEY = os.environ["DUO_IKEY"]
DUO_SKEY = os.environ["DUO_SKEY"]
DUO_API_HOSTNAME = os.environ["DUO_API_HOSTNAME"].strip()
GCS_BUCKET = os.environ["GCS_BUCKET"]
GCS_PREFIX = os.environ.get("GCS_PREFIX", "duo/context/")

# Default resources can be adjusted via ENV
RESOURCES = [r.strip() for r in os.environ.get("RESOURCES", "users,groups,phones,endpoints,tokens,webauthncredentials,desktop_authenticators").split(",") if r.strip()]

# Duo paging: default 100; max varies by endpoint
LIMIT = int(os.environ.get("LIMIT", "100"))

# Initialize Storage client
storage_client = storage.Client()

def _canon_params(params: dict) -> str:
    """RFC3986 encoding with '~' unescaped, keys sorted lexicographically."""
    if not params:
        return ""
    parts = []
    for k in sorted(params.keys()):
        v = params[k]
        if v is None:
            continue
        ks = urllib.parse.quote(str(k), safe="~")
        vs = urllib.parse.quote(str(v), safe="~")
        parts.append(f"{ks}={vs}")
    return "&".join(parts)

def _sign(method: str, host: str, path: str, params: dict) -> dict:
    """Construct Duo Admin API Authorization + Date headers (HMAC-SHA1)."""
    now = email.utils.formatdate()
    canon = "\n".join([
        now,
        method.upper(),
        host.lower(),
        path,
        _canon_params(params)
    ])
    sig = hmac.new(
        DUO_SKEY.encode("utf-8"),
        canon.encode("utf-8"),
        hashlib.sha1
    ).hexdigest()
    auth = base64.b64encode(f"{DUO_IKEY}:{sig}".encode("utf-8")).decode("utf-8")
    return {
        "Date": now,
        "Authorization": f"Basic {auth}"
    }

def _call(method: str, path: str, params: dict) -> dict:
    host = DUO_API_HOSTNAME
    assert host.startswith("api-") and host.endswith(".duosecurity.com"), \
        "DUO_API_HOSTNAME must be e.g. api-XXXXXXXX.duosecurity.com"

    qs = _canon_params(params)
    url = f"https://{host}{path}" + (f"?{qs}" if method.upper() == "GET" and qs else "")

    req = Request(url, method=method.upper())
    for k, v in _sign(method, host, path, params).items():
        req.add_header(k, v)

    with urlopen(req, timeout=60) as r:
        return json.loads(r.read().decode("utf-8"))

def _write_json(obj: dict, when: float, resource: str, page: int) -> str:
    bucket = storage_client.bucket(GCS_BUCKET)
    prefix = GCS_PREFIX.strip("/") + "/" if GCS_PREFIX else ""
    key = f"{prefix}{time.strftime('%Y/%m/%d', time.gmtime(when))}/duo-{resource}-{page:05d}.json"

    blob = bucket.blob(key)
    blob.upload_from_string(
        json.dumps(obj, separators=(",", ":")),
        content_type="application/json"
    )
    return key

def _fetch_resource(resource: str) -> dict:
    """Fetch all pages for a list endpoint using limit/offset + metadata.next_offset."""
    path = f"/admin/v1/{resource}"
    offset = 0
    page = 0
    now = time.time()
    total_items = 0

    while True:
        params = {"limit": LIMIT, "offset": offset}
        data = _call("GET", path, params)
        _write_json(data, now, resource, page)
        page += 1

        resp = data.get("response")
        # most endpoints return a list; if not a list, count as 1 object page
        if isinstance(resp, list):
            total_items += len(resp)
        elif resp is not None:
            total_items += 1

        meta = data.get("metadata") or {}
        next_offset = meta.get("next_offset")
        if next_offset is None:
            break

        # Duo returns next_offset as int
        try:
            offset = int(next_offset)
        except Exception:
            break

    return {
        "resource": resource,
        "pages": page,
        "objects": total_items
    }

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch Duo entity context data and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """
    results = []
    for res in RESOURCES:
        print(f"Fetching resource: {res}")
        result = _fetch_resource(res)
        results.append(result)
        print(f"Completed {res}: {result['pages']} pages, {result['objects']} objects")

    print(f"All resources fetched successfully: {results}")

두 번째 파일: requirements.txt:

functions-framework==3.*
google-cloud-storage==2.*

배포를 클릭하여 함수를 저장하고 배포합니다.
배포가 완료될 때까지 기다립니다 (2~3분).

참고: Pub/Sub 트리거 구성은 필요한 구독 및 권한을 자동으로 만듭니다.
참고: 관리 API 엔드포인트마다 최대 한도 값이 다릅니다. 특정 엔드포인트에 지원되는 값보다 높은 값을 사용하면 400 오류가 발생합니다. 기본값 100은 모든 엔드포인트에 안전합니다.

Cloud Scheduler 작업 만들기

Cloud Scheduler는 일정 간격으로 Pub/Sub 주제에 메시지를 게시하여 Cloud Run 함수를 트리거합니다.

GCP Console에서 Cloud Scheduler로 이동합니다.
작업 만들기를 클릭합니다.

다음 구성 세부정보를 제공합니다.

설정	값
이름	`duo-entity-context-hourly`
리전	Cloud Run 함수와 동일한 리전 선택
주파수	`0 * * * *` (매시간 정각)
시간대	시간대 선택 (UTC 권장)
타겟 유형	Pub/Sub
주제	Pub/Sub 주제 (`duo-entity-context-trigger`)를 선택합니다.
메일 본문	`{}` (빈 JSON 객체)

만들기를 클릭합니다.

일정 빈도 옵션

데이터 업데이트 요구사항에 따라 빈도를 선택합니다.

빈도	크론 표현식	사용 사례
1시간마다	`0 * * * *`	일반(권장)
2시간마다	`0 /2 * *`	적당한 최신성
6시간마다	`0 /6 * *`	낮은 빈도 업데이트
매일	`0 0 * * *`	최소 업데이트

스케줄러 작업 테스트

Cloud Scheduler 콘솔에서 작업을 찾습니다 (duo-entity-context-hourly).
강제 실행을 클릭하여 수동으로 트리거합니다.
몇 초간 기다린 후 Cloud Run > 서비스 > duo-entity-context-collector > 로그로 이동합니다.
함수가 성공적으로 실행되었는지 확인합니다.
GCS 버킷을 확인하여 항목 컨텍스트 데이터가 작성되었는지 확인합니다.

Google SecOps 서비스 계정 가져오기

Google SecOps는 고유한 서비스 계정을 사용하여 GCS 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷에 대한 액세스 권한을 부여해야 합니다.

서비스 계정 이메일 가져오기

SIEM 설정> 피드로 이동합니다.
새 피드 추가를 클릭합니다.
단일 피드 구성을 클릭합니다.
피드 이름 필드에 피드 이름을 입력합니다(예: Duo Entity Context).
소스 유형으로 Google Cloud Storage V2를 선택합니다.
로그 유형으로 Duo Entity context data를 선택합니다.
서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.

참고: 각 Google SecOps 인스턴스에는 고유한 서비스 계정이 있습니다. 다른 문서나 예시의 서비스 계정을 사용하지 마세요.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

Cloud Storage> 버킷으로 이동합니다.
버킷 이름을 클릭합니다.
권한 탭으로 이동합니다.
액세스 권한 부여를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당: 스토리지 객체 뷰어를 선택합니다.
저장을 클릭합니다.

참고: '전송된 파일 삭제' 또는 '전송된 파일 및 빈 디렉터리 삭제' 삭제 옵션을 사용하려면 스토리지 객체 뷰어 대신 스토리지 객체 관리자 역할을 부여하세요.

Duo Entity Context 데이터를 수집하도록 Google SecOps에서 피드 구성

SIEM 설정> 피드로 이동합니다.
새 피드 추가를 클릭합니다.
단일 피드 구성을 클릭합니다.
피드 이름 필드에 피드 이름을 입력합니다(예: Duo Entity Context).
소스 유형으로 Google Cloud Storage V2를 선택합니다.
로그 유형으로 Duo Entity context data를 선택합니다.
다음을 클릭합니다.
다음 입력 매개변수의 값을 지정합니다.
- 스토리지 버킷 URL: 다음 접두사 경로를 사용하여 GCS 버킷 URI를 입력합니다.
```
gs://duo-context/duo/context/
```
  - 다음과 같이 바꿉니다.
    - duo-context: GCS 버킷 이름입니다.
    - duo/context/: 로그가 저장되는 접두사/폴더 경로입니다 (GCS_PREFIX 환경 변수와 일치해야 함).
  참고: 항상 URI 끝에 후행 슬래시 (/)를 포함하세요.
- 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
  - 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
  - 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
  - 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.
    
    참고: 삭제 옵션을 선택하는 경우 서비스 계정에는 스토리지 객체 뷰어 대신 스토리지 객체 관리자 역할이 있어야 합니다. 이에 따라 IAM 권한을 업데이트합니다.
- 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.
- 애셋 네임스페이스: 애셋 네임스페이스입니다.
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

UDM 매핑 테이블

로그 필드	UDM 매핑	로직
활성화됨	entity.asset.deployment_status	'activated'가 false이면 'DECOMISSIONED'로 설정하고 그렇지 않으면 'ACTIVE'로 설정합니다.
browsers.browser_family	entity.asset.software.name	원시 로그의 '브라우저' 배열에서 추출됩니다.
browsers.browser_version	entity.asset.software.version	원시 로그의 '브라우저' 배열에서 추출됩니다.
device_name	entity.asset.hostname	원시 로그에서 직접 매핑됩니다.
disk_encryption_status	entity.asset.attribute.labels.key: 'disk_encryption_status', entity.asset.attribute.labels.value	원시 로그에서 직접 매핑되며 소문자로 변환됩니다.
이메일	entity.user.email_addresses	'@'이 포함된 경우 원시 로그에서 직접 매핑되고, 그렇지 않은 경우 '@'이 포함된 'username' 또는 'username1'을 사용합니다.
암호화됨	entity.asset.attribute.labels.key: 'Encrypted', entity.asset.attribute.labels.value	원시 로그에서 직접 매핑되며 소문자로 변환됩니다.
epkey	entity.asset.product_object_id	있는 경우 'product_object_id'로 사용되고, 그렇지 않으면 'phone_id' 또는 'token_id'가 사용됩니다.
지문	entity.asset.attribute.labels.key: 'Finger Print', entity.asset.attribute.labels.value	원시 로그에서 직접 매핑되며 소문자로 변환됩니다.
firewall_status	entity.asset.attribute.labels.key: 'firewall_status', entity.asset.attribute.labels.value	원시 로그에서 직접 매핑되며 소문자로 변환됩니다.
hardware_uuid	entity.asset.asset_id	있는 경우 'asset_id'로 사용되고, 그렇지 않으면 'user_id'가 사용됩니다.
last_seen	entity.asset.last_discover_time	ISO8601 타임스탬프로 파싱되고 매핑됩니다.
모델	entity.asset.hardware.model	원시 로그에서 직접 매핑됩니다.
숫자	entity.user.phone_numbers	원시 로그에서 직접 매핑됩니다.
os_family	entity.asset.platform_software.platform	값에 따라 'WINDOWS', 'LINUX', 'MAC'에 매핑됩니다(대소문자 구분 안 함).
os_version	entity.asset.platform_software.platform_version	원시 로그에서 직접 매핑됩니다.
password_status	entity.asset.attribute.labels.key: 'password_status', entity.asset.attribute.labels.value	원시 로그에서 직접 매핑되며 소문자로 변환됩니다.
phone_id	entity.asset.product_object_id	'epkey'가 없는 경우 'product_object_id'로 사용되고, 그렇지 않으면 'token_id'를 사용합니다.
security_agents.security_agent	entity.asset.software.name	원시 로그의 'security_agents' 배열에서 추출됩니다.
security_agents.version	entity.asset.software.version	원시 로그의 'security_agents' 배열에서 추출됩니다.
타임스탬프	entity.metadata.collected_timestamp	'metadata' 객체 내의 'collected_timestamp' 필드를 채웁니다.
token_id	entity.asset.product_object_id	'epkey' 및 'phone_id'가 없는 경우 'product_object_id'로 사용됩니다.
trusted_endpoint	entity.asset.attribute.labels.key: 'trusted_endpoint', entity.asset.attribute.labels.value	원시 로그에서 직접 매핑되며 소문자로 변환됩니다.
유형	entity.asset.type	원시 로그의 'type'에 'mobile'이 포함되어 있으면(대소문자 구분 안 함) 'MOBILE'로 설정하고, 그렇지 않으면 'LAPTOP'으로 설정합니다.
user_id	entity.asset.asset_id	'hardware_uuid'가 없는 경우 'asset_id'로 사용됩니다.
users.email	entity.user.email_addresses	'users' 배열의 첫 번째 사용자이고 '@'이 포함된 경우 'email_addresses'로 사용됩니다.
users.username	entity.user.userid	'@' 앞의 사용자 이름을 추출하여 'users' 배열의 첫 번째 사용자인 경우 'userid'로 사용합니다.
	entity.metadata.vendor_name	'Duo'
	entity.metadata.product_name	'Duo Entity Context Data'
	entity.metadata.entity_type	애셋
	entity.relations.entity_type	사용자
	entity.relations.relationship	OWNS

도움이 더 필요한가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.