Dataminr Alerts 로그 수집

다음에서 지원:

이 문서에서는 Google Cloud Storage V2, Cloud Run 함수, Cloud 스케줄러를 사용하여 Dataminr Alerts 로그를 Google Security Operations에 수집하는 방법을 설명합니다.

Dataminr Pulse는 딥 웹과 다크 웹을 비롯한 500,000개가 넘는 전 세계 공개 데이터 소스에서 AI 기반 실시간 인텔리전스를 제공합니다. 이 플랫폼은 조직과 서드 파티에 영향을 미치는 새로운 사이버 위협, 취약점, 랜섬웨어 공격, 데이터 유출, 디지털 위험에 대한 조기 경보를 제공합니다. Dataminr Pulse API는 OAuth 2.0 클라이언트 사용자 인증 정보 인증 및 커서 기반 페이지로 나누기를 사용하여 알림을 가져옵니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스
  • 다음 API가 사용 설정된 Google Cloud 프로젝트
    • Cloud Storage API
    • Cloud Run Functions API
    • Cloud Scheduler API
    • Cloud Pub/Sub API
  • GCS 버킷, Cloud Run 함수, Pub/Sub 주제, Cloud Scheduler 작업을 만들고 관리할 수 있는 권한
  • GCS 버킷의 IAM 정책을 관리할 수 있는 권한
  • API 액세스가 사용 설정된 활성 Dataminr Pulse 계정
  • Dataminr Pulse API 사용자 인증 정보 (클라이언트 ID 및 클라이언트 보안 비밀번호)
  • Dataminr 계정에 하나 이상의 Dataminr Pulse Alert List가 구성되어 있어야 합니다.

Google Cloud Storage 버킷 만들기

  1. Google Cloud Console로 이동합니다.
  2. 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
  3. 탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
  4. 버킷 만들기를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.

    설정
    버킷 이름 지정 전역적으로 고유한 이름 (예: dataminr-alert-logs)을 입력합니다.
    위치 유형 필요에 따라 선택 (리전, 이중 리전, 멀티 리전)
    위치 위치를 선택합니다 (예: us-central1).
    스토리지 클래스 Standard (자주 액세스하는 로그에 권장)
    액세스 제어 균일 (권장)
    보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정
  6. 만들기를 클릭합니다.

Dataminr 사용자 인증 정보 수집

Cloud Run 함수가 알림 데이터를 가져오도록 하려면 Dataminr 계정 담당자로부터 OAuth 2.0 클라이언트 사용자 인증 정보 인증이 포함된 API 사용자 인증 정보가 필요합니다.

API 사용자 인증 정보 가져오기

  1. Dataminr 계정 담당자 또는 지원팀에 문의하여 API 액세스를 요청하세요.
  2. 다음 정보를 제공합니다.
    • 조직 이름
    • 사용 사례: Google Chronicle SIEM과의 통합
    • 필요한 액세스 권한: 사이버 위험용 Dataminr Pulse API
  3. Dataminr은 API 사용자 인증 정보를 프로비저닝하고 다음을 제공합니다.

    • 클라이언트 ID: 고유한 OAuth 2.0 클라이언트 식별자
    • 클라이언트 보안 비밀번호: OAuth 2.0 클라이언트 보안 비밀번호 키

API 사용자 인증 정보 확인

  • 사용자 인증 정보가 작동하는지 확인하려면 다음 명령어를 실행합니다.

    curl -X POST https://gateway.dataminr.com/auth/2/token \
      -H "Content-Type: application/x-www-form-urlencoded" \
      -d "client_id=YOUR_CLIENT_ID&client_secret=YOUR_CLIENT_SECRET&grant_type=api_key"
    

    성공적인 응답은 access_token 필드가 포함된 JSON 객체를 반환합니다.

    {
      "access_token": "eyJhbGciOiJSUzI1NiIsInR5cCI...",
      "token_type": "Bearer",
      "expire": 3600
    }
    

알림 목록 ID 수집

  1. https://app.dataminr.com에서 Dataminr Pulse 웹 애플리케이션에 로그인합니다.
  2. 구성된 알림 목록 (관심 목록)으로 이동합니다.
  3. Google SecOps로 수집할 알림 목록의 ID를 기록해 둡니다.

Cloud Run 함수의 서비스 계정 만들기

  1. Google Cloud 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
  2. 서비스 계정 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 서비스 계정 이름: dataminr-alert-collector을 입력합니다.
    • 서비스 계정 설명: Service account for Dataminr Alerts Cloud Run function to write alert data to GCS를 입력합니다.
  4. 만들고 계속하기를 클릭합니다.
  5. 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
    1. 역할 선택을 클릭하고 스토리지 객체 관리자를 검색하여 선택합니다.
    2. 다른 역할 추가를 클릭하고 Cloud Run 호출자를 검색하여 선택합니다.
  6. 계속을 클릭합니다.
  7. 완료를 클릭합니다.

GCS 버킷에 대한 IAM 권한 부여

  1. Cloud Storage> 버킷으로 이동합니다.
  2. 버킷 이름 (예: dataminr-alert-logs)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: 서비스 계정 이메일 (예: dataminr-alert-collector@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다.
    • 역할 할당: 스토리지 객체 관리자를 선택합니다.
  6. 저장을 클릭합니다.

Pub/Sub 주제 만들기

Cloud Scheduler에서 메시지를 게시하면 Pub/Sub 주제가 Cloud Run 함수를 트리거합니다.

  1. Google Cloud 콘솔에서 Pub/Sub > 주제로 이동합니다.
  2. 주제 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 주제 ID: dataminr-alert-trigger를 입력합니다.
    • 기본 구독 추가: 선택된 상태로 유지
  4. 만들기를 클릭합니다.

Cloud Run 함수 만들기

  1. Google Cloud 콘솔에서 Cloud Run 함수로 이동합니다.
  2. 함수 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.

    설정
    환경 2세대
    함수 이름 dataminr-alert-collector
    리전 GCS 버킷과 동일한 리전을 선택합니다.
    트리거 유형 Cloud Pub/Sub
    Pub/Sub 주제 dataminr-alert-trigger
    할당된 메모리 512MB
    제한 시간 540초
    런타임 서비스 계정 dataminr-alert-collector
  4. 다음을 클릭합니다.

  5. 런타임Python 3.12로 설정합니다.

  6. 진입점main로 설정합니다.

  7. requirements.txt 파일에 다음 종속 항목을 추가합니다.

    functions-framework==3.*
    google-cloud-storage==2.*
    requests==2.*
    
  8. main.py 파일에 다음 코드를 붙여넣습니다.

    import functions_framework
    import json
    import os
    import logging
    import time
    from datetime import datetime, timedelta, timezone
    from google.cloud import storage
    import requests
    
    logger = logging.getLogger(__name__)
    logger.setLevel(logging.INFO)
    
    storage_client = storage.Client()
    
    TOKEN_URL = "https://gateway.dataminr.com/auth/2/token"
    ALERTS_URL = "https://gateway.dataminr.com/api/3/alerts"
    
    def _get_access_token(client_id: str, client_secret: str) -> str:
        """Obtain an OAuth 2.0 access token from Dataminr."""
        payload = {
            "client_id": client_id,
            "client_secret": client_secret,
            "grant_type": "api_key",
        }
        headers = {"Content-Type": "application/x-www-form-urlencoded"}
        resp = requests.post(TOKEN_URL, data=payload, headers=headers, timeout=30)
        resp.raise_for_status()
        token_data = resp.json()
        access_token = token_data.get("access_token")
        if not access_token:
            raise ValueError("No access_token in token response")
        logger.info("Successfully obtained Dataminr access token.")
        return access_token
    
    def _load_state(bucket_name: str, state_key: str) -> dict:
        """Load the last cursor (alertId) from GCS."""
        try:
            bucket = storage_client.bucket(bucket_name)
            blob = bucket.blob(state_key)
            if blob.exists():
                data = json.loads(blob.download_as_text())
                logger.info(f"Loaded state: {data}")
                return data
        except Exception as e:
            logger.warning(f"State read error: {e}")
        logger.info("No previous state found.")
        return {}
    
    def _save_state(bucket_name: str, state_key: str, state: dict) -> None:
        """Save the cursor state to GCS."""
        bucket = storage_client.bucket(bucket_name)
        blob = bucket.blob(state_key)
        blob.upload_from_string(
            json.dumps(state), content_type="application/json"
        )
        logger.info(f"Saved state: {state}")
    
    def _fetch_alerts(
        access_token: str,
        alert_lists: str,
        page_size: int,
        cursor: str = None,
    ) -> tuple:
        """Fetch a page of alerts from the Dataminr Pulse API."""
        headers = {
            "Authorization": f"Bearer {access_token}",
            "Accept": "application/json",
        }
        params = {
            "lists": alert_lists,
            "num": page_size,
        }
        if cursor:
            params["from"] = cursor
    
        resp = requests.get(
            ALERTS_URL, headers=headers, params=params, timeout=60
        )
    
        # Handle rate limiting via response headers
        rate_remaining = resp.headers.get("x-ratelimit-remaining")
        rate_reset = resp.headers.get("x-ratelimit-reset")
    
        if resp.status_code == 429:
            reset_time = int(rate_reset) if rate_reset else 60
            wait_seconds = max(reset_time - int(time.time()), 1)
            logger.warning(
                f"Rate limited. Waiting {wait_seconds}s before retry."
            )
            time.sleep(wait_seconds)
            resp = requests.get(
                ALERTS_URL, headers=headers, params=params, timeout=60
            )
    
        resp.raise_for_status()
    
        if rate_remaining is not None:
            logger.info(
                f"Rate limit remaining: {rate_remaining}, reset: {rate_reset}"
            )
    
        data = resp.json()
        alerts = data if isinstance(data, list) else data.get("data", [])
        return alerts
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """Cloud Run function entry point triggered by Pub/Sub."""
        bucket_name = os.environ["GCS_BUCKET"]
        prefix = os.environ.get("GCS_PREFIX", "dataminr_alerts")
        state_key = os.environ.get("STATE_KEY", "dataminr_state/cursor.json")
        client_id = os.environ["CLIENT_ID"]
        client_secret = os.environ["CLIENT_SECRET"]
        alert_lists = os.environ["ALERT_LISTS"]
        max_records = int(os.environ.get("MAX_RECORDS", "1000"))
        page_size = min(int(os.environ.get("PAGE_SIZE", "40")), 40)
        lookback_hours = int(os.environ.get("LOOKBACK_HOURS", "24"))
    
        try:
            access_token = _get_access_token(client_id, client_secret)
            state = _load_state(bucket_name, state_key)
            cursor = state.get("last_cursor")
            is_first_run = cursor is None
    
            all_alerts = []
            total_fetched = 0
            pages_fetched = 0
    
            while total_fetched < max_records:
                logger.info(
                    f"Fetching page {pages_fetched + 1} (cursor: {cursor})..."
                )
                alerts = _fetch_alerts(
                    access_token, alert_lists, page_size, cursor=cursor
                )
    
                if not alerts:
                    logger.info("No more alerts returned. Stopping pagination.")
                    break
    
                # Filter by lookback window on first run (no prior cursor)
                if is_first_run:
                    cutoff_ms = int(
                        (
                            datetime.now(timezone.utc)
                            - timedelta(hours=lookback_hours)
                        ).timestamp()
                        * 1000
                    )
                    alerts = [
                        a for a in alerts if a.get("eventTime", 0) >= cutoff_ms
                    ]
    
                all_alerts.extend(alerts)
                total_fetched += len(alerts)
                pages_fetched += 1
    
                # Update cursor to the last alertId in this page
                last_alert = alerts[-1] if alerts else None
                if last_alert and "alertId" in last_alert:
                    cursor = last_alert["alertId"]
                else:
                    break
    
                # Stop if we received fewer alerts than requested
                if len(alerts) < page_size:
                    logger.info("Received partial page. Stopping pagination.")
                    break
    
            logger.info(
                f"Collected {len(all_alerts)} alerts across {pages_fetched} pages."
            )
    
            if not all_alerts:
                logger.info("No new alerts to write.")
                return "No new alerts", 200
    
            # Write alerts as NDJSON to GCS
            now_str = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%SZ")
            blob_path = f"{prefix}/{now_str}.ndjson"
            ndjson_body = "\n".join(
                json.dumps(alert, separators=(",", ":")) for alert in all_alerts
            )
    
            bucket = storage_client.bucket(bucket_name)
            blob = bucket.blob(blob_path)
            blob.upload_from_string(
                ndjson_body, content_type="application/x-ndjson"
            )
    
            _save_state(
                bucket_name,
                state_key,
                {
                    "last_cursor": cursor,
                    "last_run": datetime.now(timezone.utc).isoformat(),
                },
            )
    
            msg = (
                f"Wrote {len(all_alerts)} alerts to "
                f"gs://{bucket_name}/{blob_path}"
            )
            logger.info(msg)
            return msg, 200
    
        except Exception as e:
            logger.error(f"Error collecting Dataminr alerts: {e}")
            raise
    
  9. 배포를 클릭합니다.

  10. 함수가 배포될 때까지 기다립니다. 배포가 완료되면 상태가 녹색 체크표시로 변경됩니다.

환경 변수 구성

  1. 함수가 배포되면 Cloud Run Functions > dataminr-alert-collector로 이동합니다.
  2. 수정 및 새 버전 배포를 클릭합니다.
  3. 변수 및 보안 비밀 탭을 클릭합니다 (또는 1세대인 경우 런타임, 빌드, 연결, 보안 설정을 펼침).
  4. 다음 환경 변수를 추가합니다.

    예시 값
    GCS_BUCKET dataminr-alert-logs
    GCS_PREFIX dataminr_alerts
    STATE_KEY dataminr_state/cursor.json
    CLIENT_ID Dataminr OAuth 2.0 클라이언트 ID
    CLIENT_SECRET Dataminr OAuth 2.0 클라이언트 보안 비밀번호
    ALERT_LISTS 쉼표로 구분된 Dataminr 알림 목록 ID
    MAX_RECORDS 1000
    PAGE_SIZE 40
    LOOKBACK_HOURS 24
  5. 배포를 클릭합니다.

Cloud Scheduler 작업 만들기

Cloud Scheduler는 일정에 따라 Pub/Sub 주제에 메시지를 게시하여 Cloud Run 함수가 Dataminr Pulse에서 새 알림을 폴링하도록 트리거합니다.

  1. Google Cloud 콘솔에서 Cloud Scheduler로 이동합니다.
  2. 작업 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.

    설정
    이름 dataminr-alert-poll
    리전 함수와 동일한 리전을 선택합니다.
    주파수 */5 * * * * (5분마다)
    시간대 시간대를 선택합니다 (예: UTC).
  4. 계속을 클릭합니다.

  5. 실행 구성 섹션에서 다음을 수행합니다.

    • 대상 유형: Pub/Sub를 선택합니다.
    • 주제: dataminr-alert-trigger를 선택합니다.
    • 메시지 본문: {"poll": true}를 입력합니다.
  6. 만들기를 클릭합니다.

Cloud Run 함수 확인

  1. Cloud Scheduler에서 dataminr-alert-poll 작업을 찾습니다.
  2. 강제 실행을 클릭하여 즉시 실행을 트리거합니다.
  3. Cloud Run Functions > dataminr-alert-collector > Logs로 이동합니다.
  4. 다음과 같은 로그 항목을 확인하여 함수가 성공적으로 실행되었는지 확인합니다.

    Successfully obtained Dataminr access token.
    Fetching page 1 (cursor: None)...
    Collected 35 alerts across 1 pages.
    Wrote 35 alerts to gs://dataminr-alert-logs/dataminr_alerts/20250115T103000Z.ndjson
    
  5. Cloud Storage > 버킷 > dataminr-alert-logs로 이동합니다.

  6. dataminr_alerts/ 접두사로 이동합니다.

  7. Dataminr 알림 데이터로 NDJSON 파일이 생성되는지 확인합니다.

Google SecOps 서비스 계정을 가져오고 피드 구성

Google SecOps는 고유한 서비스 계정을 사용하여 GCS 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷에 대한 액세스 권한을 부여해야 합니다.

서비스 계정 이메일 가져오기

  1. SIEM 설정> 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다 (예: Dataminr Alerts).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
  6. 로그 유형으로 Dataminr Alerts를 선택합니다.
  7. 서비스 계정 가져오기를 클릭합니다.
  8. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  9. 다음 섹션에서 사용할 수 있도록 이 이메일 주소를 복사합니다.

  10. 다음을 클릭합니다.

  11. 다음 입력 매개변수의 값을 지정합니다.

    • 스토리지 버킷 URL: 다음 접두사 경로를 사용하여 GCS 버킷 URI를 입력합니다.

      gs://dataminr-alert-logs/dataminr_alerts/
      
    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.

      • 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
      • 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
      • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.

    • 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다 (기본값은 180일).

    • 애셋 네임스페이스: 애셋 네임스페이스입니다.

    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다 (예: DATAMINR_ALERT).

  12. 다음을 클릭합니다.

  13. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

  1. Cloud Storage> 버킷으로 이동합니다.
  2. 버킷 이름 (예: dataminr-alert-logs)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
    • 역할 할당: 스토리지 객체 뷰어를 선택합니다.
  6. 저장을 클릭합니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 논리
alertId metadata.product_log_id 값이 직접 복사됨
alertType.color about.labels.alertType_color 값이 직접 복사됨
alertType.id about.labels.alertType_id 값이 직접 복사됨
alertType.name about.labels.alertType_name 값이 직접 복사됨
availableRelatedAlerts about.labels.availableRelatedAlerts 문자열로 변환됨
caption metadata.description 값이 직접 복사됨
cat.name security_result.category_details 값이 직접 복사됨
cat.id security_result.detection_fields.categories_id 값이 직접 복사됨
cat.idStr security_result.detection_fields.categories_idStr 값이 직접 복사됨
cat.path security_result.detection_fields.categories_path 값이 직접 복사됨
cat.requested security_result.detection_fields.categories_requested 값이 직접 복사됨
cat.retired security_result.detection_fields.categories_retired 문자열로 변환됨
cat.topicType about.labels.categories_topicType 값이 직접 복사됨
cat.name security_result.category cat.name == 'Cybersecurity - Policy'인 경우 POLICY_VIOLATION으로 설정됩니다. ["Cybersecurity - Threats & Vulnerabilities", "Cybersecurity - Crime & Malicious Activity", "Threats & Precautions", "Threats"]에 있는 경우 NETWORK_MALICIOUS로 설정됩니다. =~ 'Cybersecurity'인 경우 NETWORK_SUSPICIOUS로 설정됩니다. =~ 'Email and Web Servers'인 경우 MAIL_PHISHING으로 설정됩니다. =~ 'Data Exposure and Breaches'인 경우 DATA_EXFILTRATION으로 설정됩니다. =~ 'Government, Policy, & Political Affairs'인 경우 POLICY_VIOLATION으로 설정됩니다. =~ '(Malware
comp.dm_bucket.name security_result.about.resource.attribute.labels.dmbucket%{bucket.id} 값이 직접 복사됨
comp.dm_sector.name security_result.about.resource.attribute.labels.dmsector%{sector.id} 값이 직접 복사됨
comp.id security_result.about.resource.attribute.labels.companies_id 값이 직접 복사됨
comp.idStr security_result.about.resource.attribute.labels.companies_idStr 값이 직접 복사됨
comp.locations.city security_result.about.location.city loc_index == 0인 경우 loc.city의 값
comp.locations.country, comp.locations.state.symbol security_result.about.location.country_or_region loc_index == 0이고 둘 다 비어 있지 않은 경우 %{loc.country} - %{loc.state.symbol}로 연결됨
comp.locations.postalCode security_result.about.resource.attribute.labels.locations_postalCode loc_index == 0이고 비어 있지 않은 경우 직접 복사된 값
comp.locations.state.name security_result.about.location.state loc_index == 0인 경우 값이 직접 복사됨
comp.locations.city about.labels.loc_%{loc_index}_city loc_index가 0이 아니고 비어 있지 않은 경우 직접 복사된 값
comp.locations.country, comp.locations.state.symbol about.labels.loc_%{loc_index}_country_or_region loc_index가 0이 아니고 둘 다 비어 있지 않은 경우 %{loc.country} - %{loc.state.symbol}로 연결됩니다.
comp.locations.postalCode securityresult.about.resource.attribute.labels.locations%{loc_index}_postalCode loc_index가 0이 아니고 비어 있지 않은 경우 직접 복사된 값
comp.locations.state.name about.labels.loc_%{loc_index}_state_name loc_index가 0이 아니고 비어 있지 않은 경우 직접 복사된 값
comp.name security_result.about.resource.name 값이 직접 복사됨
comp.requested security_result.about.resource.attribute.labels.companies_requested 값이 직접 복사됨
comp.retired security_result.about.resource.attribute.labels.companies_retired 문자열로 변환됨
comp.ticker security_result.about.resource.attribute.labels.companies_ticker 값이 직접 복사됨
comp.topicType security_result.about.resource.attribute.labels.companies_topicType 값이 직접 복사됨
eventLocation.coordinates.0 principal.location.region_coordinates.latitude 값이 직접 복사됨
eventLocation.coordinates.1 principal.location.region_coordinates.longitude 값이 직접 복사됨
eventLocation.name principal.location.name 값이 직접 복사됨
eventLocation.places principal.labels.location_places 쉼표 구분자로 배열에서 결합됨
eventLocation.probability principal.labels.eventLocation_probability 문자열로 변환됨
eventLocation.radius principal.labels.eventLocation_radius 문자열로 변환됨
eventMapLargeURL principal.labels.eventMapLargeURL 값이 직접 복사됨
eventMapSmallURL principal.labels.eventMapSmallURL 값이 직접 복사됨
eventTime @timestamp 에포크 ms에서 타임스탬프로 변환됨
eventVolume about.labels.eventVolume 문자열로 변환됨
expandAlertURL metadata.url_back_to_product 값이 직접 복사됨
expandMapURL principal.labels.expandMapURL 값이 직접 복사됨
headerColor about.labels.headerColor 값이 직접 복사됨
headerLabel about.labels.headerLabel 값이 직접 복사됨
metadata.cyber.addresses.ip principal.ip 색인이 0인 경우 grok 패턴을 사용하여 추출됨
metadata.cyber.addresses.port principal.port 인덱스가 0인 경우 직접 복사된 값, 정수로 변환됨
metadata.cyber.addresses.port principal.labels.addresses_%{index}_port 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.addresses.version principal.labels.metadata_cyberaddresses%{index}_version 값이 직접 복사됨
metadata.cyber.asns network.asn index == 0인 경우 값이 직접 복사됨
metadata.cyber.asns about.labels.metadatacyber%{index}_asn 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.hashValues.value security_result.about.file.sha1 type == SHA1인 경우 직접 복사된 값, 소문자
metadata.cyber.hashValues.value security_result.about.file.sha256 type == SHA256인 경우 직접 복사된 값(소문자)
metadata.cyber.malwares security_result.associations.name 값이 직접 복사됨
metadata.cyber.malwares security_result.associations.type MALWARE로 설정
metadata.cyber.orgs network.organization_name index == 0인 경우 값이 직접 복사됨
metadata.cyber.orgs about.labels.metadatacyber%{index}_orgs 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.products principal.application index == 0인 경우 값이 직접 복사됨
metadata.cyber.products principal.labels.metadata_cyberproducts%{index} 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.threats security_result.threat_name index == 0인 경우 값이 직접 복사됨
metadata.cyber.threats security_result.about.labels.metadata_cyberthreats%{index} 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.URLs security_result.about.url index == 0인 경우 값이 직접 복사됨
metadata.cyber.URLs securityresult.about.labels.url%{index} 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.malwares.0 security_result.category 있는 경우 SOFTWARE_MALICIOUS로 설정
metadata.cyber.vulnerabilities.cvss extensions.vulns.vulnerabilities.cvss_base_score 값이 직접 복사됨
metadata.cyber.vulnerabilities.exploitPocLinks extensions.vulns.vulnerabilities.cve_description 'n' 구분자로 배열에서 조인됨
metadata.cyber.vulnerabilities.id extensions.vulns.vulnerabilities.cve_id 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productName extensions.vulns.vulnerabilities.about.application index == 0인 경우 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productVendor extensions.vulns.vulnerabilities.vendor index == 0인 경우 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productVersion extensions.vulns.vulnerabilities.about.platform_version 인덱스가 0인 경우 값이 직접 복사되고 공백이 삭제됨
metadata.cyber.vulnerabilities.products.productName extensions.vulns.vulnerabilities.about.labels.productName_%{index} 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.vulnerabilities.products.productVendor extensions.vulns.vulnerabilities.about.labels.productVendor_%{index} 색인이 0이 아닌 경우 값을 직접 복사함
metadata.cyber.vulnerabilities.products.productVersion extensions.vulns.vulnerabilities.about.labels.productVersion_%{index} 색인이 0이 아닌 경우 직접 복사된 값, 공백 삭제됨
parentAlertId about.labels.parentAlertId 값이 직접 복사됨
post.languages.lang target.labels.post_languageslang%{index} 값이 직접 복사됨
post.languages.position target.labels.post_languagesposition%{index} 문자열로 변환됨
post.link target.labels.post_link 값이 직접 복사됨
post.media.link principal.resource.name index == 0인 경우 값이 직접 복사됨
post.media.description target.resource.attribute.labels.post_media_description index == 0인 경우 값이 직접 복사됨
post.media.display_url target.resource.attribute.labels.post_media_display_url index == 0인 경우 값이 직접 복사됨
post.media.isSafe target.resource.attribute.labels.post_media_isSafe index == 0인 경우 문자열로 변환됩니다.
post.media.media_url target.resource.attribute.labels.post_media_media_url index == 0인 경우 값이 직접 복사됨
post.media.sizes.large.h target.resource.attribute.labels.post_media_sizes_large_h index == 0인 경우 문자열로 변환됩니다.
post.media.sizes.large.resize target.resource.attribute.labels.post_media_sizes_large_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.large.w target.resource.attribute.labels.post_media_sizes_large_w index == 0인 경우 문자열로 변환됩니다.
post.media.sizes.medium.h target.resource.attribute.labels.post_media_sizes_medium_h index == 0인 경우 문자열로 변환됩니다.
post.media.sizes.medium.resize target.resource.attribute.labels.post_media_sizes_medium_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.medium.w target.resource.attribute.labels.post_media_sizes_medium_w index == 0인 경우 문자열로 변환됩니다.
post.media.sizes.small.h target.resource.attribute.labels.post_media_sizes_small_h index == 0인 경우 문자열로 변환됩니다.
post.media.sizes.small.resize target.resource.attribute.labels.post_media_sizes_small_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.small.w target.resource.attribute.labels.post_media_sizes_small_w index == 0인 경우 문자열로 변환됩니다.
post.media.sizes.thumb.h target.resource.attribute.labels.post_media_sizes_thumb_h index == 0인 경우 문자열로 변환됩니다.
post.media.sizes.thumb.resize target.resource.attribute.labels.post_media_sizes_thumb_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.thumb.w target.resource.attribute.labels.post_media_sizes_thumb_w index == 0인 경우 문자열로 변환됩니다.
post.media.source target.resource.attribute.labels.post_media_source index == 0인 경우 값이 직접 복사됨
post.media.thumbnail target.resource.attribute.labels.post_media_thumbnail index == 0인 경우 값이 직접 복사됨
post.media.title target.resource.attribute.labels.post_media_title index == 0인 경우 값이 직접 복사됨
post.media.url target.resource.attribute.labels.post_media_url index == 0인 경우 값이 직접 복사됨
post.media.video_info.duration_millis target.resource.attribute.labels.post_media_video_info_duration_millis index == 0인 경우 문자열로 변환됩니다.
post.media.video_info.aspect_ratio target.resource.attribute.labels.post_media_video_info_aspect_ratio 인덱스가 0인 경우 %{med.video_info.aspect_ratio.0}, %{med.video_info.aspect_ratio.1}로 연결됨
post.media.video_info.variants.bitrate target.resource.attribute.labels.post_media_video_info_variantsbitrate%{var_index} 문자열로 변환됨
post.media.video_info.variants.content_type target.resource.attribute.labels.post_media_video_info_variants_contenttype%{var_index} 값이 직접 복사됨
post.media.video_info.variants.url target.resource.attribute.labels.post_media_video_info_variantsurl%{var_index} 값이 직접 복사됨
post.media.type principal.resource.resource_subtype index == 0인 경우 값이 직접 복사됨
post.media.link about.resource.name 색인이 0이 아닌 경우 값을 직접 복사함
post.media.description about.resource.attribute.labels.post_media_description 색인이 0이 아닌 경우 값을 직접 복사함
post.media.display_url about.resource.attribute.labels.post_media_display_url 색인이 0이 아닌 경우 값을 직접 복사함
post.media.isSafe about.resource.attribute.labels.post_media_isSafe 색인이 0이 아닌 경우 문자열로 변환됨
post.media.media_url about.resource.attribute.labels.post_media_media_url 색인이 0이 아닌 경우 값을 직접 복사함
post.media.sizes.large.h about.resource.attribute.labels.post_media_sizes_large_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.large.resize about.resource.attribute.labels.post_media_sizes_large_resize 색인이 0이 아닌 경우 값을 직접 복사함
post.media.sizes.large.w about.resource.attribute.labels.post_media_sizes_large_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.medium.h about.resource.attribute.labels.post_media_sizes_medium_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.medium.resize about.resource.attribute.labels.post_media_sizes_medium_resize 색인이 0이 아닌 경우 값을 직접 복사함
post.media.sizes.medium.w about.resource.attribute.labels.post_media_sizes_medium_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.small.h about.resource.attribute.labels.post_media_sizes_small_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.small.resize about.resource.attribute.labels.post_media_sizes_small_resize 색인이 0이 아닌 경우 값을 직접 복사함
post.media.sizes.small.w about.resource.attribute.labels.post_media_sizes_small_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.thumb.h about.resource.attribute.labels.post_media_sizes_thumb_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.thumb.resize about.resource.attribute.labels.post_media_sizes_thumb_resize 색인이 0이 아닌 경우 값을 직접 복사함
post.media.sizes.thumb.w about.resource.attribute.labels.post_media_sizes_thumb_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.source about.resource.attribute.labels.post_media_source 색인이 0이 아닌 경우 값을 직접 복사함
post.media.thumbnail about.resource.attribute.labels.post_media_thumbnail 색인이 0이 아닌 경우 값을 직접 복사함
post.media.title about.resource.attribute.labels.post_media_title 색인이 0이 아닌 경우 값을 직접 복사함
post.media.url about.resource.attribute.labels.post_media_url 색인이 0이 아닌 경우 값을 직접 복사함
post.media.video_info.duration_millis about.resource.attribute.labels.post_media_video_info_duration_millis 색인이 0이 아닌 경우 문자열로 변환됨
post.media.video_info.aspect_ratio about.resource.attribute.labels.post_media_video_info_aspect_ratio 색인이 0이 아닌 경우 %{med.video_info.aspect_ratio.0}, %{med.video_info.aspect_ratio.1}로 연결됨
post.media.video_info.variants.bitrate about.resource.attribute.labels.post_media_video_info_variantsbitrate%{var_index} 문자열로 변환됨
post.media.video_info.variants.content_type about.resource.attribute.labels.post_media_video_info_variants_contenttype%{var_index} 값이 직접 복사됨
post.media.video_info.variants.url about.resource.attribute.labels.post_media_video_info_variantsurl%{var_index} 값이 직접 복사됨
post.media.type about.resource.resource_subtype 색인이 0이 아닌 경우 값을 직접 복사함
post.translatedText target.labels.post_translatedText 값이 직접 복사됨
post.text target.labels.post_text 값이 직접 복사됨
post.timestamp target.resource.attribute.creation_time 에포크 ms에서 타임스탬프로 변환됨
publisherCategory.color target.labels.publisherCategory_color 값이 직접 복사됨
publisherCategory.name target.labels.publisherCategory_name 값이 직접 복사됨
publisherCategory.shortName target.labels.publisherCategory_shortName 값이 직접 복사됨
relatedTerms.url principal.labels.relatedTerms_%{terms.text} 값이 직접 복사됨
relatedTermsQueryURL principal.labels.relatedTermsQueryURL 값이 직접 복사됨
sect.id about.labels.sectors_id 값이 직접 복사됨
sect.idStr about.labels.sectors_idStr 값이 직접 복사됨
sect.name about.labels.sectors_name 값이 직접 복사됨
sect.retired about.labels.sectors_retired 문자열로 변환됨
sect.topicType about.labels.sectors_topicType 값이 직접 복사됨
source.channels.0 principal.application 값이 직접 복사됨
source.displayName principal.user.user_display_name 값이 직접 복사됨
source.link principal.url 값이 직접 복사됨
source.verified principal.labels.source_verified 문자열로 변환됨
subCaption.bullets.content about.labels.subCaption_bullets_content 값이 직접 복사됨
subCaption.bullets.media about.labels.subCaption_bullets_media 값이 직접 복사됨
subCaption.bullets.source about.labels.subCaption_bullets_source 값이 직접 복사됨
watchlist.id about.labels.watchlistsMatchedByType_id 값이 직접 복사됨
watchlist.externalTopicIds about.labels.watchlistsMatchedByType_externalTopicIds 쉼표 구분자로 배열에서 결합됨
watchlist.name about.labels.watchlistsMatchedByType_name 값이 직접 복사됨
watchlist.type about.labels.watchlistsMatchedByType_type 값이 직접 복사됨
watchlist.userProperties.omnilist about.labels.watchlistsMatchedByType_userProperties_omnilist 값이 직접 복사됨
watchlist.userProperties.uiListType about.labels.watchlistsMatchedByType_userProperties_uiListType 값이 직접 복사됨
watchlist.userProperties.watchlistColor about.labels.watchlistsMatchedByType_userProperties_watchlistColor 값이 직접 복사됨
watchlist.locationGroups.locations.id about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationsid%{loc_i} 값이 직접 복사됨
watchlist.locationGroups.locations.lng about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationslng%{loc_i} lg_i != 0 또는 loc_i != 0인 경우 문자열로 변환됨
watchlist.locationGroups.locations.lat about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationslat%{loc_i} lg_i != 0 또는 loc_i != 0인 경우 문자열로 변환됨
watchlist.locationGroups.locations.name about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationsname%{loc_i} lg_i != 0 또는 loc_i != 0인 경우 값이 직접 복사됨
watchlist.locationGroups.id about.labels.watchlistsMatchedByType_locationGroupsid%{lg_i} 값이 직접 복사됨
watchlist.locationGroups.name about.labels.watchlistsMatchedByType_locationGroupsname%{lg_i} 값이 직접 복사됨
watchlist.locationGroups.locations.lng about.location.region_coordinates.longitude lg_i == 0이고 loc_i == 0인 경우 값이 직접 복사됨
watchlist.locationGroups.locations.lat about.location.region_coordinates.latitude lg_i == 0이고 loc_i == 0인 경우 값이 직접 복사됨
watchlist.locationGroups.locations.name about.location.name lg_i == 0이고 loc_i == 0인 경우 값이 직접 복사됨
source.entityName principal.hostname 값이 직접 복사됨
metadata.event_type 'GENERIC_EVENT'로 설정됩니다. principal_ip 또는 principal.hostname이 비어 있지 않으면 'SCAN_HOST'로 변경됩니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.