Dataminr 알림 로그 수집

파서 버전: 2.0

다음에서 지원:

이 문서에서는 Google Cloud Storage V2, Cloud Run 함수, Cloud Scheduler를 사용하여 Dataminr 알림 로그를 Google Security Operations에 수집하는 방법을 설명합니다.

Dataminr Pulse는 딥 웹과 다크 웹을 포함한 500,000개 이상의 글로벌 공개 데이터 소스에서 AI 기반 실시간 인텔리전스를 제공합니다. 이 플랫폼은 조직과 서드 파티에 영향을 미치는 새로운 사이버 위협, 취약점, 랜섬웨어 공격, 정보 유출, 디지털 위험에 대한 조기 경고를 제공합니다. Dataminr Pulse API는 OAuth 2.0 클라이언트 사용자 인증 정보 인증과 커서 기반 페이지 매김을 사용하여 알림을 검색합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스
  • 다음 API가 사용 설정된 Google Cloud 프로젝트:
    • Cloud Storage API
    • Cloud Run Functions API
    • Cloud Scheduler API
    • Cloud Pub/Sub API
  • GCS 버킷, Cloud Run Functions, Pub/Sub 주제, Cloud Scheduler 작업을 만들고 관리할 수 있는 권한
  • GCS 버킷에서 IAM 정책을 관리할 수 있는 권한
  • API 액세스가 사용 설정된 활성 Dataminr Pulse 계정
  • Dataminr Pulse API 사용자 인증 정보(클라이언트 ID 및 클라이언트 보안 비밀번호)
  • Dataminr 계정에 Dataminr Pulse 알림 목록이 하나 이상 구성되어 있어야 합니다.

Google Cloud Storage 버킷 만들기

  1. Google Cloud 콘솔로 이동하세요.
  2. 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
  3. 탐색 메뉴에서 Cloud Storage > 버킷으로 이동합니다.
  4. 버킷 만들기를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.

    설정 값
    버킷 이름 지정 전역적으로 고유한 이름(예: dataminr-alert-logs)을 입력합니다.
    위치 유형 필요에 따라 선택(리전, 이중 리전, 멀티 리전)
    위치 위치를 선택합니다(예: us-central1).
    스토리지 클래스 표준(자주 액세스하는 로그에 권장)
    액세스 제어 균일(권장)
    보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정
  6. 만들기를 클릭합니다.

Dataminr 사용자 인증 정보 수집

Cloud Run 함수가 알림 데이터를 검색하도록 사용 설정하려면 Dataminr 계정 담당자로부터 OAuth 2.0 클라이언트 사용자 인증 정보 인증이 포함된 API 사용자 인증 정보를 받아야 합니다.

API 사용자 인증 정보 가져오기

  1. Dataminr 계정 담당자 또는 지원팀에 문의하여 API 액세스 권한을 요청합니다.
  2. 다음 정보를 제공합니다.
    • 조직 이름
    • 사용 사례: Google Chronicle SIEM과 통합
    • 필수 액세스 권한: Dataminr Pulse API for Cyber Risk
  3. Dataminr는 API 사용자 인증 정보를 프로비저닝하고 다음을 제공합니다.

    • 클라이언트 ID: 고유한 OAuth 2.0 클라이언트 식별자입니다.
    • 클라이언트 보안 비밀번호: OAuth 2.0 클라이언트 보안 비밀번호 키입니다.

API 사용자 인증 정보 확인

  • 사용자 인증 정보가 작동하는지 확인하려면 다음 명령어를 실행합니다.

    curl -X POST https://gateway.dataminr.com/auth/2/token \
      -H "Content-Type: application/x-www-form-urlencoded" \
      -d "client_id=YOUR_CLIENT_ID&client_secret=YOUR_CLIENT_SECRET&grant_type=api_key"
    

    성공적인 응답은 access_token 필드가 포함된 JSON 객체를 반환합니다.

    {
      "access_token": "eyJhbGciOiJSUzI1NiIsInR5cCI...",
      "token_type": "Bearer",
      "expire": 3600
    }
    

알림 목록 ID 수집

  1. https://app.dataminr.com에서 Dataminr Pulse 웹 애플리케이션에 로그인합니다.
  2. 구성된 알림 목록(관심 목록)으로 이동합니다.
  3. Google SecOps로 수집하려는 알림 목록의 ID를 기록해 둡니다.

Cloud Run 함수의 서비스 계정 만들기

  1. Google Cloud 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
  2. 서비스 계정 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 서비스 계정 이름: dataminr-alert-collector을 입력합니다.
    • 서비스 계정 설명: Service account for Dataminr Alerts Cloud Run function to write alert data to GCS을 입력합니다.
  4. 만들고 계속하기를 클릭합니다.
  5. 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
    1. 역할 선택을 클릭하고 스토리지 객체 관리자를 검색하여 선택합니다.
    2. 다른 역할 추가를 클릭하고 Cloud Run 호출자를 검색하여 선택합니다.
  6. 계속을 클릭합니다.
  7. 완료를 클릭합니다.

GCS 버킷에 IAM 권한 부여

  1. Cloud Storage > 버킷으로 이동합니다.
  2. 버킷 이름(예: dataminr-alert-logs)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: 서비스 계정 이메일(예: dataminr-alert-collector@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다.
    • 역할 할당: 스토리지 객체 관리자를 선택합니다.
  6. 저장을 클릭합니다.

Pub/Sub 주제 만들기

Cloud Scheduler에서 메시지를 게시하면 Pub/Sub 주제가 Cloud Run 함수를 트리거합니다.

  1. Google Cloud 콘솔에서 Pub/Sub > 주제로 이동합니다.
  2. 주제 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 주제 ID: dataminr-alert-trigger를 입력합니다.
    • 기본 구독 추가: 선택된 상태로 유지
  4. 만들기를 클릭합니다.

Cloud Run 함수 만들기

  1. Google Cloud 콘솔에서 Cloud Run Functions로 이동합니다.
  2. 함수 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.

    설정 값
    환경 2세대
    함수 이름 dataminr-alert-collector
    리전 GCS 버킷과 동일한 리전을 선택합니다.
    트리거 유형 Cloud Pub/Sub
    Pub/Sub 주제 dataminr-alert-trigger
    할당된 메모리 512MB
    제한 시간 540초
    런타임 서비스 계정 dataminr-alert-collector
  4. 다음을 클릭합니다.

  5. 런타임을 Python 3.12로 설정합니다.

  6. 진입점을 main로 설정합니다.

  7. requirements.txt 파일에 다음 종속 항목을 추가합니다.

    functions-framework==3.*
    google-cloud-storage==2.*
    requests==2.*
    
  8. main.py 파일에 다음 코드를 붙여넣습니다.

    import functions_framework
    import json
    import os
    import logging
    import time
    from datetime import datetime, timedelta, timezone
    from google.cloud import storage
    import requests
    
    logger = logging.getLogger(__name__)
    logger.setLevel(logging.INFO)
    
    storage_client = storage.Client()
    
    TOKEN_URL = "https://gateway.dataminr.com/auth/2/token"
    ALERTS_URL = "https://gateway.dataminr.com/api/3/alerts"
    
    def _get_access_token(client_id: str, client_secret: str) -> str:
        """Obtain an OAuth 2.0 access token from Dataminr."""
        payload = {
            "client_id": client_id,
            "client_secret": client_secret,
            "grant_type": "api_key",
        }
        headers = {"Content-Type": "application/x-www-form-urlencoded"}
        resp = requests.post(TOKEN_URL, data=payload, headers=headers, timeout=30)
        resp.raise_for_status()
        token_data = resp.json()
        access_token = token_data.get("access_token")
        if not access_token:
            raise ValueError("No access_token in token response")
        logger.info("Successfully obtained Dataminr access token.")
        return access_token
    
    def _load_state(bucket_name: str, state_key: str) -> dict:
        """Load the last cursor (alertId) from GCS."""
        try:
            bucket = storage_client.bucket(bucket_name)
            blob = bucket.blob(state_key)
            if blob.exists():
                data = json.loads(blob.download_as_text())
                logger.info(f"Loaded state: {data}")
                return data
        except Exception as e:
            logger.warning(f"State read error: {e}")
        logger.info("No previous state found.")
        return {}
    
    def _save_state(bucket_name: str, state_key: str, state: dict) -> None:
        """Save the cursor state to GCS."""
        bucket = storage_client.bucket(bucket_name)
        blob = bucket.blob(state_key)
        blob.upload_from_string(
            json.dumps(state), content_type="application/json"
        )
        logger.info(f"Saved state: {state}")
    
    def _fetch_alerts(
        access_token: str,
        alert_lists: str,
        page_size: int,
        cursor: str = None,
    ) -> tuple:
        """Fetch a page of alerts from the Dataminr Pulse API."""
        headers = {
            "Authorization": f"Bearer {access_token}",
            "Accept": "application/json",
        }
        params = {
            "lists": alert_lists,
            "num": page_size,
        }
        if cursor:
            params["from"] = cursor
    
        resp = requests.get(
            ALERTS_URL, headers=headers, params=params, timeout=60
        )
    
        # Handle rate limiting via response headers
        rate_remaining = resp.headers.get("x-ratelimit-remaining")
        rate_reset = resp.headers.get("x-ratelimit-reset")
    
        if resp.status_code == 429:
            reset_time = int(rate_reset) if rate_reset else 60
            wait_seconds = max(reset_time - int(time.time()), 1)
            logger.warning(
                f"Rate limited. Waiting {wait_seconds}s before retry."
            )
            time.sleep(wait_seconds)
            resp = requests.get(
                ALERTS_URL, headers=headers, params=params, timeout=60
            )
    
        resp.raise_for_status()
    
        if rate_remaining is not None:
            logger.info(
                f"Rate limit remaining: {rate_remaining}, reset: {rate_reset}"
            )
    
        data = resp.json()
        alerts = data if isinstance(data, list) else data.get("data", [])
        return alerts
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """Cloud Run function entry point triggered by Pub/Sub."""
        bucket_name = os.environ["GCS_BUCKET"]
        prefix = os.environ.get("GCS_PREFIX", "dataminr_alerts")
        state_key = os.environ.get("STATE_KEY", "dataminr_state/cursor.json")
        client_id = os.environ["CLIENT_ID"]
        client_secret = os.environ["CLIENT_SECRET"]
        alert_lists = os.environ["ALERT_LISTS"]
        max_records = int(os.environ.get("MAX_RECORDS", "1000"))
        page_size = min(int(os.environ.get("PAGE_SIZE", "40")), 40)
        lookback_hours = int(os.environ.get("LOOKBACK_HOURS", "24"))
    
        try:
            access_token = _get_access_token(client_id, client_secret)
            state = _load_state(bucket_name, state_key)
            cursor = state.get("last_cursor")
            is_first_run = cursor is None
    
            all_alerts = []
            total_fetched = 0
            pages_fetched = 0
    
            while total_fetched < max_records:
                logger.info(
                    f"Fetching page {pages_fetched + 1} (cursor: {cursor})..."
                )
                alerts = _fetch_alerts(
                    access_token, alert_lists, page_size, cursor=cursor
                )
    
                if not alerts:
                    logger.info("No more alerts returned. Stopping pagination.")
                    break
    
                # Filter by lookback window on first run (no prior cursor)
                if is_first_run:
                    cutoff_ms = int(
                        (
                            datetime.now(timezone.utc)
                            - timedelta(hours=lookback_hours)
                        ).timestamp()
                        * 1000
                    )
                    alerts = [
                        a for a in alerts if a.get("eventTime", 0) >= cutoff_ms
                    ]
    
                all_alerts.extend(alerts)
                total_fetched += len(alerts)
                pages_fetched += 1
    
                # Update cursor to the last alertId in this page
                last_alert = alerts[-1] if alerts else None
                if last_alert and "alertId" in last_alert:
                    cursor = last_alert["alertId"]
                else:
                    break
    
                # Stop if we received fewer alerts than requested
                if len(alerts) < page_size:
                    logger.info("Received partial page. Stopping pagination.")
                    break
    
            logger.info(
                f"Collected {len(all_alerts)} alerts across {pages_fetched} pages."
            )
    
            if not all_alerts:
                logger.info("No new alerts to write.")
                return "No new alerts", 200
    
            # Write alerts as NDJSON to GCS
            now_str = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%SZ")
            blob_path = f"{prefix}/{now_str}.ndjson"
            ndjson_body = "\n".join(
                json.dumps(alert, separators=(",", ":")) for alert in all_alerts
            )
    
            bucket = storage_client.bucket(bucket_name)
            blob = bucket.blob(blob_path)
            blob.upload_from_string(
                ndjson_body, content_type="application/x-ndjson"
            )
    
            _save_state(
                bucket_name,
                state_key,
                {
                    "last_cursor": cursor,
                    "last_run": datetime.now(timezone.utc).isoformat(),
                },
            )
    
            msg = (
                f"Wrote {len(all_alerts)} alerts to "
                f"gs://{bucket_name}/{blob_path}"
            )
            logger.info(msg)
            return msg, 200
    
        except Exception as e:
            logger.error(f"Error collecting Dataminr alerts: {e}")
            raise
    
  9. 배포를 클릭합니다.

  10. 함수가 배포될 때까지 기다립니다. 배포가 완료되면 상태가 녹색 체크표시로 변경됩니다.

환경 변수 구성

  1. 함수가 배포되면 Cloud Run Functions > dataminr-alert-collector로 이동합니다.
  2. 수정 및 새 버전 배포를 클릭합니다.
  3. 변수 및 보안 비밀 탭을 클릭합니다(또는 1세대의 경우 런타임, 빌드, 연결, 보안 설정 펼치기).
  4. 다음 환경 변수를 추가합니다.

    키 예시 값
    GCS_BUCKET dataminr-alert-logs
    GCS_PREFIX dataminr_alerts
    STATE_KEY dataminr_state/cursor.json
    CLIENT_ID Dataminr OAuth 2.0 클라이언트 ID
    CLIENT_SECRET Dataminr OAuth 2.0 클라이언트 보안 비밀번호
    ALERT_LISTS 쉼표로 구분된 Dataminr 알림 목록 ID
    MAX_RECORDS 1000
    PAGE_SIZE 40
    LOOKBACK_HOURS 24
  5. 배포를 클릭합니다.

Cloud Scheduler 작업 만들기

Cloud Scheduler는 일정에 따라 Pub/Sub 주제에 메시지를 게시하여 Cloud Run 함수가 Dataminr Pulse에서 새 알림을 폴링하도록 트리거합니다.

  1. Google Cloud 콘솔에서 Cloud Scheduler로 이동합니다.
  2. 작업 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.

    설정 값
    이름 dataminr-alert-poll
    리전 함수와 동일한 리전을 선택합니다.
    주파수 */5 * * * *(5분마다)
    시간대 시간대를 선택합니다(예: UTC).
  4. 계속을 클릭합니다.

  5. 실행 구성 섹션에서 다음을 수행합니다.

    • 대상 유형: Pub/Sub를 선택합니다.
    • 주제: dataminr-alert-trigger를 선택합니다.
    • 메일 본문: {"poll": true}를 입력합니다.
  6. 만들기를 클릭합니다.

Cloud Run 함수 확인

  1. Cloud Scheduler에서 dataminr-alert-poll 작업을 찾습니다.
  2. 강제 실행을 클릭하여 즉시 실행을 트리거합니다.
  3. Cloud Run Functions > dataminr-alert-collector > 로그로 이동합니다.
  4. 다음과 같은 로그 항목을 확인하여 함수가 성공적으로 실행되었는지 확인합니다.

    Successfully obtained Dataminr access token.
    Fetching page 1 (cursor: None)...
    Collected 35 alerts across 1 pages.
    Wrote 35 alerts to gs://dataminr-alert-logs/dataminr_alerts/20250115T103000Z.ndjson
    
  5. Cloud Storage > 버킷 > dataminr-alert-logs로 이동합니다.

  6. dataminr_alerts/ 프리픽스로 이동합니다.

  7. Dataminr 알림 데이터로 NDJSON 파일이 생성되는지 확인합니다.

Google SecOps 서비스 계정 가져오기 및 피드 구성

Google SecOps는 고유한 서비스 계정을 사용하여 GCS 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷에 대한 액세스 권한을 부여해야 합니다.

서비스 계정 이메일 가져오기

  1. 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다(예: Dataminr Alerts).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
  6. 로그 유형으로 Dataminr 알림을 선택합니다.
  7. 서비스 계정 가져오기를 클릭합니다.
  8. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  9. 다음 섹션에서 사용할 수 있도록 이 이메일 주소를 복사합니다.

  10. 다음을 클릭합니다.

  11. 다음 입력 파라미터의 값을 지정합니다.

    • 스토리지 버킷 URL: 프리픽스 경로가 있는 GCS 버킷 URI를 입력합니다.

      gs://dataminr-alert-logs/dataminr_alerts/
      
    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.

      • 삭제 안함: 전송 후 파일을 삭제하지 않습니다(테스트에 권장).
      • 전송된 파일 삭제: 전송이 완료된 후 파일을 삭제합니다.
      • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료된 후 파일과 빈 디렉터리를 삭제합니다.

    • 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다 (기본값은 180일).

    • 애셋 네임스페이스: 애셋 네임스페이스입니다.

    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다(예: DATAMINR_ALERT).

  12. 다음을 클릭합니다.

  13. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

  1. Cloud Storage > 버킷으로 이동합니다.
  2. 버킷 이름(예: dataminr-alert-logs)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
    • 역할 할당: 스토리지 객체 뷰어를 선택합니다.
  6. 저장을 클릭합니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 로직
alertId metadata.product_log_id 값이 직접 복사됨
alertType.color about.labels.alertType_color 값이 직접 복사됨
alertType.id about.labels.alertType_id 값이 직접 복사됨
alertType.name about.labels.alertType_name 값이 직접 복사됨
availableRelatedAlerts about.labels.availableRelatedAlerts 문자열로 변환됨
caption metadata.description 값이 직접 복사됨
cat.name security_result.category_details 값이 직접 복사됨
cat.id security_result.detection_fields.categories_id 값이 직접 복사됨
cat.idStr security_result.detection_fields.categories_idStr 값이 직접 복사됨
cat.path security_result.detection_fields.categories_path 값이 직접 복사됨
cat.requested security_result.detection_fields.categories_requested 값이 직접 복사됨
cat.retired security_result.detection_fields.categories_retired 문자열로 변환됨
cat.topicType about.labels.categories_topicType 값이 직접 복사됨
cat.name security_result.category cat.name == 'Cybersecurity - Policy'인 경우 POLICY_VIOLATION으로 설정, ['Cybersecurity - Threats & Vulnerabilities', 'Cybersecurity - Crime & Malicious Activity', 'Threats & Precautions', 'Threats']에 있는 경우 NETWORK_MALICIOUS로 설정, =~ 'Cybersecurity'인 경우 NETWORK_SUSPICIOUS로 설정, =~ 'Email and Web Servers'인 경우 MAIL_PHISHING으로 설정, =~ 'Data Exposure and Breaches'인 경우 DATA_EXFILTRATION으로 설정, =~ 'Government, Policy, & Political Affairs'인 경우 POLICY_VIOLATION으로 설정, =~ '(Malware
comp.dm_bucket.name security_result.about.resource.attribute.labels.dmbucket%{bucket.id} 값이 직접 복사됨
comp.dm_sector.name security_result.about.resource.attribute.labels.dmsector%{sector.id} 값이 직접 복사됨
comp.id security_result.about.resource.attribute.labels.companies_id 값이 직접 복사됨
comp.idStr security_result.about.resource.attribute.labels.companies_idStr 값이 직접 복사됨
comp.locations.city security_result.about.location.city loc_index == 0인 경우 loc.city의 값
comp.locations.country, comp.locations.state.symbol security_result.about.location.country_or_region loc_index == 0이고 둘 다 비어 있지 않은 경우 %{loc.country} - %{loc.state.symbol}로 연결됨
comp.locations.postalCode security_result.about.resource.attribute.labels.locations_postalCode loc_index == 0이고 비어 있지 않은 경우 값이 직접 복사됨
comp.locations.state.name security_result.about.location.state loc_index == 0인 경우 값이 직접 복사됨
comp.locations.city about.labels.loc_%{loc_index}_city loc_index가 0이 아니고 비어 있지 않은 경우 값이 직접 복사됨
comp.locations.country, comp.locations.state.symbol about.labels.loc_%{loc_index}_country_or_region loc_index가 0이 아니고 둘 다 비어 있지 않은 경우 %{loc.country} - %{loc.state.symbol}로 연결됩니다.
comp.locations.postalCode securityresult.about.resource.attribute.labels.locations%{loc_index}_postalCode loc_index가 0이 아니고 비어 있지 않은 경우 값이 직접 복사됨
comp.locations.state.name about.labels.loc_%{loc_index}_state_name loc_index가 0이 아니고 비어 있지 않은 경우 값이 직접 복사됨
comp.name security_result.about.resource.name 값이 직접 복사됨
comp.requested security_result.about.resource.attribute.labels.companies_requested 값이 직접 복사됨
comp.retired security_result.about.resource.attribute.labels.companies_retired 문자열로 변환됨
comp.ticker security_result.about.resource.attribute.labels.companies_ticker 값이 직접 복사됨
comp.topicType security_result.about.resource.attribute.labels.companies_topicType 값이 직접 복사됨
eventLocation.coordinates.0 principal.location.region_coordinates.latitude 값이 직접 복사됨
eventLocation.coordinates.1 principal.location.region_coordinates.longitude 값이 직접 복사됨
eventLocation.name principal.location.name 값이 직접 복사됨
eventLocation.places principal.labels.location_places 쉼표 구분자가 있는 배열에서 조인됨
eventLocation.probability principal.labels.eventLocation_probability 문자열로 변환됨
eventLocation.radius principal.labels.eventLocation_radius 문자열로 변환됨
eventMapLargeURL principal.labels.eventMapLargeURL 값이 직접 복사됨
eventMapSmallURL principal.labels.eventMapSmallURL 값이 직접 복사됨
eventTime @timestamp 에포크 밀리초에서 타임스탬프로 변환됨
eventVolume about.labels.eventVolume 문자열로 변환됨
expandAlertURL metadata.url_back_to_product 값이 직접 복사됨
expandMapURL principal.labels.expandMapURL 값이 직접 복사됨
headerColor about.labels.headerColor 값이 직접 복사됨
headerLabel about.labels.headerLabel 값이 직접 복사됨
metadata.cyber.addresses.ip principal.ip index == 0인 경우 grok 패턴을 사용하여 추출됨
metadata.cyber.addresses.port principal.port 색인이 0인 경우 값이 직접 복사되고 정수로 변환됩니다.
metadata.cyber.addresses.port principal.labels.addresses_%{index}_port index != 0인 경우 값이 직접 복사됨
metadata.cyber.addresses.version principal.labels.metadata_cyberaddresses%{index}_version 값이 직접 복사됨
metadata.cyber.asns network.asn index == 0인 경우 값이 직접 복사됨
metadata.cyber.asns about.labels.metadatacyber%{index}_asn index != 0인 경우 값이 직접 복사됨
metadata.cyber.hashValues.value security_result.about.file.sha1 type == SHA1인 경우 값이 직접 복사되고 소문자로 변환됨
metadata.cyber.hashValues.value security_result.about.file.sha256 유형 == SHA256인 경우 값이 직접 복사되고 소문자로 변환됨
metadata.cyber.malwares security_result.associations.name 값이 직접 복사됨
metadata.cyber.malwares security_result.associations.type MALWARE로 설정
metadata.cyber.orgs network.organization_name index == 0인 경우 값이 직접 복사됨
metadata.cyber.orgs about.labels.metadatacyber%{index}_orgs index != 0인 경우 값이 직접 복사됨
metadata.cyber.products principal.application index == 0인 경우 값이 직접 복사됨
metadata.cyber.products principal.labels.metadata_cyberproducts%{index} index != 0인 경우 값이 직접 복사됨
metadata.cyber.threats security_result.threat_name index == 0인 경우 값이 직접 복사됨
metadata.cyber.threats security_result.about.labels.metadata_cyberthreats%{index} index != 0인 경우 값이 직접 복사됨
metadata.cyber.URLs security_result.about.url index == 0인 경우 값이 직접 복사됨
metadata.cyber.URLs securityresult.about.labels.url%{index} index != 0인 경우 값이 직접 복사됨
metadata.cyber.malwares.0 security_result.category 있는 경우 SOFTWARE_MALICIOUS로 설정
metadata.cyber.vulnerabilities.cvss extensions.vulns.vulnerabilities.cvss_base_score 값이 직접 복사됨
metadata.cyber.vulnerabilities.exploitPocLinks extensions.vulns.vulnerabilities.cve_description ' n' 구분자로 배열에서 조인됨
metadata.cyber.vulnerabilities.id extensions.vulns.vulnerabilities.cve_id 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productName extensions.vulns.vulnerabilities.about.application index == 0인 경우 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productVendor extensions.vulns.vulnerabilities.vendor index == 0인 경우 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productVersion extensions.vulns.vulnerabilities.about.platform_version index == 0인 경우 값이 직접 복사되고 공백이 삭제됨
metadata.cyber.vulnerabilities.products.productName extensions.vulns.vulnerabilities.about.labels.productName_%{index} index != 0인 경우 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productVendor extensions.vulns.vulnerabilities.about.labels.productVendor_%{index} index != 0인 경우 값이 직접 복사됨
metadata.cyber.vulnerabilities.products.productVersion extensions.vulns.vulnerabilities.about.labels.productVersion_%{index} 색인이 0이 아닌 경우 값이 직접 복사되고 공백이 삭제됨
parentAlertId about.labels.parentAlertId 값이 직접 복사됨
post.languages.lang target.labels.post_languageslang%{index} 값이 직접 복사됨
post.languages.position target.labels.post_languagesposition%{index} 문자열로 변환됨
post.link target.labels.post_link 값이 직접 복사됨
post.media.link principal.resource.name index == 0인 경우 값이 직접 복사됨
post.media.description target.resource.attribute.labels.post_media_description index == 0인 경우 값이 직접 복사됨
post.media.display_url target.resource.attribute.labels.post_media_display_url index == 0인 경우 값이 직접 복사됨
post.media.isSafe target.resource.attribute.labels.post_media_isSafe index == 0인 경우 문자열로 변환됨
post.media.media_url target.resource.attribute.labels.post_media_media_url index == 0인 경우 값이 직접 복사됨
post.media.sizes.large.h target.resource.attribute.labels.post_media_sizes_large_h index == 0인 경우 문자열로 변환됨
post.media.sizes.large.resize target.resource.attribute.labels.post_media_sizes_large_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.large.w target.resource.attribute.labels.post_media_sizes_large_w index == 0인 경우 문자열로 변환됨
post.media.sizes.medium.h target.resource.attribute.labels.post_media_sizes_medium_h index == 0인 경우 문자열로 변환됨
post.media.sizes.medium.resize target.resource.attribute.labels.post_media_sizes_medium_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.medium.w target.resource.attribute.labels.post_media_sizes_medium_w index == 0인 경우 문자열로 변환됨
post.media.sizes.small.h target.resource.attribute.labels.post_media_sizes_small_h index == 0인 경우 문자열로 변환됨
post.media.sizes.small.resize target.resource.attribute.labels.post_media_sizes_small_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.small.w target.resource.attribute.labels.post_media_sizes_small_w index == 0인 경우 문자열로 변환됨
post.media.sizes.thumb.h target.resource.attribute.labels.post_media_sizes_thumb_h index == 0인 경우 문자열로 변환됨
post.media.sizes.thumb.resize target.resource.attribute.labels.post_media_sizes_thumb_resize index == 0인 경우 값이 직접 복사됨
post.media.sizes.thumb.w target.resource.attribute.labels.post_media_sizes_thumb_w index == 0인 경우 문자열로 변환됨
post.media.source target.resource.attribute.labels.post_media_source index == 0인 경우 값이 직접 복사됨
post.media.thumbnail target.resource.attribute.labels.post_media_thumbnail index == 0인 경우 값이 직접 복사됨
post.media.title target.resource.attribute.labels.post_media_title index == 0인 경우 값이 직접 복사됨
post.media.url target.resource.attribute.labels.post_media_url index == 0인 경우 값이 직접 복사됨
post.media.video_info.duration_millis target.resource.attribute.labels.post_media_video_info_duration_millis index == 0인 경우 문자열로 변환됨
post.media.video_info.aspect_ratio target.resource.attribute.labels.post_media_video_info_aspect_ratio index == 0인 경우 %{med.video_info.aspect_ratio.0}, %{med.video_info.aspect_ratio.1}로 연결됨
post.media.video_info.variants.bitrate target.resource.attribute.labels.post_media_video_info_variantsbitrate%{var_index} 문자열로 변환됨
post.media.video_info.variants.content_type target.resource.attribute.labels.post_media_video_info_variants_contenttype%{var_index} 값이 직접 복사됨
post.media.video_info.variants.url target.resource.attribute.labels.post_media_video_info_variantsurl%{var_index} 값이 직접 복사됨
post.media.type principal.resource.resource_subtype index == 0인 경우 값이 직접 복사됨
post.media.link about.resource.name index != 0인 경우 값이 직접 복사됨
post.media.description about.resource.attribute.labels.post_media_description index != 0인 경우 값이 직접 복사됨
post.media.display_url about.resource.attribute.labels.post_media_display_url index != 0인 경우 값이 직접 복사됨
post.media.isSafe about.resource.attribute.labels.post_media_isSafe 색인이 0이 아닌 경우 문자열로 변환됨
post.media.media_url about.resource.attribute.labels.post_media_media_url index != 0인 경우 값이 직접 복사됨
post.media.sizes.large.h about.resource.attribute.labels.post_media_sizes_large_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.large.resize about.resource.attribute.labels.post_media_sizes_large_resize index != 0인 경우 값이 직접 복사됨
post.media.sizes.large.w about.resource.attribute.labels.post_media_sizes_large_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.medium.h about.resource.attribute.labels.post_media_sizes_medium_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.medium.resize about.resource.attribute.labels.post_media_sizes_medium_resize index != 0인 경우 값이 직접 복사됨
post.media.sizes.medium.w about.resource.attribute.labels.post_media_sizes_medium_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.small.h about.resource.attribute.labels.post_media_sizes_small_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.small.resize about.resource.attribute.labels.post_media_sizes_small_resize index != 0인 경우 값이 직접 복사됨
post.media.sizes.small.w about.resource.attribute.labels.post_media_sizes_small_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.thumb.h about.resource.attribute.labels.post_media_sizes_thumb_h 색인이 0이 아닌 경우 문자열로 변환됨
post.media.sizes.thumb.resize about.resource.attribute.labels.post_media_sizes_thumb_resize index != 0인 경우 값이 직접 복사됨
post.media.sizes.thumb.w about.resource.attribute.labels.post_media_sizes_thumb_w 색인이 0이 아닌 경우 문자열로 변환됨
post.media.source about.resource.attribute.labels.post_media_source index != 0인 경우 값이 직접 복사됨
post.media.thumbnail about.resource.attribute.labels.post_media_thumbnail index != 0인 경우 값이 직접 복사됨
post.media.title about.resource.attribute.labels.post_media_title index != 0인 경우 값이 직접 복사됨
post.media.url about.resource.attribute.labels.post_media_url index != 0인 경우 값이 직접 복사됨
post.media.video_info.duration_millis about.resource.attribute.labels.post_media_video_info_duration_millis 색인이 0이 아닌 경우 문자열로 변환됨
post.media.video_info.aspect_ratio about.resource.attribute.labels.post_media_video_info_aspect_ratio index != 0인 경우 %{med.video_info.aspect_ratio.0}, %{med.video_info.aspect_ratio.1}로 연결됨
post.media.video_info.variants.bitrate about.resource.attribute.labels.post_media_video_info_variantsbitrate%{var_index} 문자열로 변환됨
post.media.video_info.variants.content_type about.resource.attribute.labels.post_media_video_info_variants_contenttype%{var_index} 값이 직접 복사됨
post.media.video_info.variants.url about.resource.attribute.labels.post_media_video_info_variantsurl%{var_index} 값이 직접 복사됨
post.media.type about.resource.resource_subtype index != 0인 경우 값이 직접 복사됨
post.translatedText target.labels.post_translatedText 값이 직접 복사됨
post.text target.labels.post_text 값이 직접 복사됨
post.timestamp target.resource.attribute.creation_time 에포크 밀리초에서 타임스탬프로 변환됨
publisherCategory.color target.labels.publisherCategory_color 값이 직접 복사됨
publisherCategory.name target.labels.publisherCategory_name 값이 직접 복사됨
publisherCategory.shortName target.labels.publisherCategory_shortName 값이 직접 복사됨
relatedTerms.url principal.labels.relatedTerms_%{terms.text} 값이 직접 복사됨
relatedTermsQueryURL principal.labels.relatedTermsQueryURL 값이 직접 복사됨
sect.id about.labels.sectors_id 값이 직접 복사됨
sect.idStr about.labels.sectors_idStr 값이 직접 복사됨
sect.name about.labels.sectors_name 값이 직접 복사됨
sect.retired about.labels.sectors_retired 문자열로 변환됨
sect.topicType about.labels.sectors_topicType 값이 직접 복사됨
source.channels.0 principal.application 값이 직접 복사됨
source.displayName principal.user.user_display_name 값이 직접 복사됨
source.link principal.url 값이 직접 복사됨
source.verified principal.labels.source_verified 문자열로 변환됨
subCaption.bullets.content about.labels.subCaption_bullets_content 값이 직접 복사됨
subCaption.bullets.media about.labels.subCaption_bullets_media 값이 직접 복사됨
subCaption.bullets.source about.labels.subCaption_bullets_source 값이 직접 복사됨
watchlist.id about.labels.watchlistsMatchedByType_id 값이 직접 복사됨
watchlist.externalTopicIds about.labels.watchlistsMatchedByType_externalTopicIds 쉼표 구분자가 있는 배열에서 조인됨
watchlist.name about.labels.watchlistsMatchedByType_name 값이 직접 복사됨
watchlist.type about.labels.watchlistsMatchedByType_type 값이 직접 복사됨
watchlist.userProperties.omnilist about.labels.watchlistsMatchedByType_userProperties_omnilist 값이 직접 복사됨
watchlist.userProperties.uiListType about.labels.watchlistsMatchedByType_userProperties_uiListType 값이 직접 복사됨
watchlist.userProperties.watchlistColor about.labels.watchlistsMatchedByType_userProperties_watchlistColor 값이 직접 복사됨
watchlist.locationGroups.locations.id about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationsid%{loc_i} 값이 직접 복사됨
watchlist.locationGroups.locations.lng about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationslng%{loc_i} lg_i != 0 또는 loc_i != 0인 경우 문자열로 변환됨
watchlist.locationGroups.locations.lat about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationslat%{loc_i} lg_i != 0 또는 loc_i != 0인 경우 문자열로 변환됨
watchlist.locationGroups.locations.name about.labels.watchlistsMatchedByTypelocationGroups%{lg_i}_locationsname%{loc_i} lg_i != 0 또는 loc_i != 0인 경우 값이 직접 복사됨
watchlist.locationGroups.id about.labels.watchlistsMatchedByType_locationGroupsid%{lg_i} 값이 직접 복사됨
watchlist.locationGroups.name about.labels.watchlistsMatchedByType_locationGroupsname%{lg_i} 값이 직접 복사됨
watchlist.locationGroups.locations.lng about.location.region_coordinates.longitude lg_i == 0 및 loc_i == 0인 경우 값이 직접 복사됨
watchlist.locationGroups.locations.lat about.location.region_coordinates.latitude lg_i == 0 및 loc_i == 0인 경우 값이 직접 복사됨
watchlist.locationGroups.locations.name about.location.name lg_i == 0 및 loc_i == 0인 경우 값이 직접 복사됨
source.entityName principal.hostname 값이 직접 복사됨
metadata.event_type 'GENERIC_EVENT'로 설정됩니다. principal_ip 또는 principal.hostname이 비어 있지 않으면 'SCAN_HOST'로 변경됩니다.

변경 로그

이 파서의 변경 로그 보기

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.