검색에 사용할 수 있는 데이터 이해하기

다음에서 지원:

이 문서에서는 엔드 투 엔드 데이터 흐름 및 지연 시간을 비롯한 데이터 수집 수명 주기와 이러한 요소가 쿼리 및 분석을 위해 최근에 수집된 데이터의 가용성에 미치는 영향을 자세히 설명합니다.

Google SecOps에서 데이터 수집 및 처리

이 섹션에서는 Google SecOps가 보안 데이터를 수집, 처리, 분석하는 방법을 설명합니다.

데이터 수집

데이터 수집 파이프라인은 다음과 같은 소스에서 원시 보안 데이터를 수집하여 시작됩니다.

  • 내부 시스템의 보안 로그
  • Cloud Storage에 저장된 데이터
  • 보안 운영 센터 (SOC) 및 기타 내부 시스템

Google SecOps는 안전한 수집 방법 중 하나를 사용하여 이 데이터를 플랫폼으로 가져옵니다.

기본 수집 방법은 다음과 같습니다.

  • 직접 Google Cloud 수집

    Google SecOps는 직접 Google Cloud 수집을 사용하여 Cloud Logging, Cloud 애셋 인벤토리 메타데이터, Security Command Center Premium 발견 항목 등 조직의 Google Cloud로그 및 원격 분석 데이터를 자동으로 가져옵니다.

  • Ingestion API

    공개 REST 수집 API를 사용하여 데이터를 Google SecOps에 직접 전송합니다. 맞춤 통합에 이 메서드를 사용하거나 비구조화 로그 또는 사전 형식화된 통합 데이터 모델 (UDM) 이벤트로 데이터를 전송합니다.

  • Bindplane 에이전트

    다양한 환경 (온프레미스 또는 기타 클라우드)에 다용도 Bindplane 에이전트를 배포하여 다양한 소스에서 로그를 수집하고 Google SecOps로 전달할 수 있습니다.

  • 데이터 피드

    Google SecOps에서는 특정 서드 파티 클라우드 스토리지 버킷 (예: Amazon S3) 또는 서드 파티 API (예: Okta 또는 Microsoft 365)와 같은 서드 파티 소스에서 로그를 가져오도록 데이터 피드를 구성합니다.

정규화 및 데이터 보강

데이터가 Google SecOps에 도착하면 플랫폼에서 다음 단계를 통해 데이터를 처리합니다.

  1. 파싱 및 정규화

    파서는 먼저 원시 로그 데이터를 처리하여 원래 형식의 데이터를 표준화된 UDM으로 검증, 추출, 변환합니다. 파싱 및 정규화를 사용하면 단일하고 일관된 스키마를 사용하여 다양한 데이터 소스 (예: 방화벽 로그, 엔드포인트 데이터, 클라우드 로그)를 분석할 수 있습니다. 원래 원시 로그는 UDM 이벤트와 함께 저장된 상태로 유지됩니다.

  2. 색인 생성

    정규화 후 Google SecOps는 대규모 데이터 세트에서 빠른 쿼리 속도를 제공하기 위해 UDM 데이터를 색인화하여 UDM 이벤트를 검색 가능하게 만듭니다.

  3. UDM 별칭 지정 및 보강

    • Google SecOps는 로그 항목의 컨텍스트 데이터와 지표를 식별하고 추가하여 UDM 이벤트를 유용한 컨텍스트로 보강하는 UDM 별칭 지정 및 보강을 실행합니다. 예를 들어 사용자의 login name를 다양한 IP addresses, hostnames, MAC addresses에 연결합니다.
    • 위치정보: Google SecOps는 위치정보 데이터로 IP 주소를 보강합니다.

  4. 심전도 보강

    • Google SecOps는 여러 소스 (예: IDP, CMDB, 위협 인텔리전스)의 컨텍스트를 병합하여 엔티티 컨텍스트 그래프에서 통합된 엔티티 프로필을 빌드하는 ECG 별칭 지정을 실행합니다.

    • 위협 인텔리전스: Google SecOps는 이벤트 데이터를 Google 위협 인텔리전스, 세이프 브라우징과 같은 소스를 포함한 Google의 광범위한 위협 인텔리전스와 자동으로 비교하여 domains, IP addresses, file hashes과 같은 알려진 악성 위협을 식별합니다.

    • WHOIS: Google SecOps는 공개 등록 WHOIS 정보로 도메인 이름을 보강합니다.

분석을 위한 데이터 가용성

처리되고 보강된 UDM 데이터는 즉시 분석에 사용할 수 있습니다.

  • 실시간 감지

    감지 엔진은 실시간 규칙이 사용 설정된 맞춤 규칙과 Google에서 빌드한 규칙을 실시간으로 수신되는 데이터에 대해 자동으로 실행하여 위협을 식별하고 알림을 생성합니다.

  • 검색 및 조사

    분석가는 검색 메서드를 사용하여 정규화되고 보강된 모든 데이터를 검색할 수 있습니다. 예를 들어 UDM 검색을 사용하여 관련 항목 (예: user에서 asset, 악성 domain로) 간에 피벗하고 알림을 조사할 수 있습니다.

검색 방법

Google SecOps는 데이터를 검색하는 여러 가지 고유한 방법을 제공하며 각 방법은 서로 다른 목적을 제공합니다.

UDM 검색은 대부분의 조사에 사용되는 기본적이고 가장 빠른 검색 방법입니다.

  • 검색 대상: 정규화되고 색인이 생성된 UDM 이벤트를 쿼리합니다. 모든 데이터가 이 표준 형식으로 파싱되므로 하나의 쿼리를 작성하여 다양한 제품 (예: Windows, Okta, Linux)에서 동일한 활동 (예: 로그인)을 찾을 수 있습니다.
  • 작동 방식: 특정 구문을 사용하여 필드, 연산자, 값을 쿼리합니다.

  • 예: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

    결과는 일반적으로 수집 후 2~15분 이내에 제공됩니다.

원시 로그 검색을 사용하여 UDM 필드에 매핑되지 않았을 수 있는 파싱되지 않은 원본 로그 메시지에서 항목을 찾습니다. 이 검색 방법은 고속 추적에 최적화되어 있으며 일반적으로 파일 해시나 IP 주소와 같은 특정 지표에 대해 2초 이내에 결과를 반환합니다.

  • 검색 대상: 파싱 및 정규화되기 전의 로그 원본 텍스트를 검색합니다. 이는 색인이 생성되지 않은 UDM 필드인 특정 문자열, 명령줄 인수 또는 기타 아티팩트를 찾는 데 유용합니다.
  • 작동 방식: raw = 접두사를 사용합니다. 색인이 생성된 필드를 검색하지 않으므로 UDM 검색보다 느릴 수 있습니다.
  • 예 (문자열): raw = "PsExec.exe"
  • 예 (정규식): raw = /admin\$/

수백만 개의 데이터 행을 집계하는 장기 추세에는 통계 검색을 사용합니다. 플랫폼에서 통계 분석과 그룹화를 실행해야 하므로 이러한 쿼리의 로드 시간이 더 길어질 수 있습니다.

자연어 검색 (Gemini)

자연어 검색 (Gemini)을 사용하면 영어로 질문할 수 있으며 Gemini가 이를 공식 UDM 쿼리로 변환합니다.

  • 검색 대상: UDM 데이터를 쿼리하기 위한 대화형 인터페이스를 제공합니다.
  • 작동 방식: 질문을 입력하면 Gemini가 기본 UDM 검색어를 생성하며, 이 검색어를 실행하거나 수정할 수 있습니다.
  • 예: '지난 24시간 동안 'bob' 사용자의 실패한 로그인을 모두 보여 줘'

SOAR 검색은 SOAR 구성요소에만 해당합니다. 로그에서 검색하는 것이 아니라 보안 사고를 관리하는 데 사용합니다.

  • 검색 대상: SOAR 플랫폼 내에서 케이스 및 엔티티 (예: 사용자, 애셋, IP 주소)를 검색합니다.
  • 작동 방식: 자유 텍스트 또는 필드 기반 필터를 사용하여 ID, 알림 이름, 상태, 할당된 사용자 등을 기준으로 케이스를 찾을 수 있습니다.
  • 예: CaseIds:180 또는 AlertName:Brute Force 검색

검색 가능 여부를 확인하는 데이터 수집 파이프라인

엔드 투 엔드 데이터 가용성은 이벤트가 발생한 시점부터 Google SecOps에서 검색 또는 규칙 실행에 사용할 수 있는 시점까지의 총시간입니다. 이 지연 시간은 다음 두 구성요소의 합입니다.

  1. 소스 측 가용성 지연: 이벤트가 발생한 시점과 소스 시스템에서 수집할 수 있는 로그 데이터를 제공하는 시점 사이의 시간입니다. 이 지연 시간은 소스 시스템의 아키텍처, 처리, 일괄 처리, API 게시 일정에 따라 달라집니다. Google SecOps는 이 지연에 영향을 미칠 수 없습니다. 예를 들어 시스템이 스토리지 버킷에 로그를 쓰거나 API 엔드포인트에 게시할 때 지연이 발생할 수 있습니다.

  2. Google SecOps 처리 시간: Google SecOps에서 데이터를 수신한 후 처리하는 데 필요한 시간입니다. 이 기간에는 수집, 파싱, 정규화, 색인 생성, 보강과 같은 내부 파이프라인 단계가 포함됩니다.

데이터 표시 가능성 타임라인 문제를 해결할 때는 두 구성요소를 모두 고려해야 합니다.

데이터 소스에서 발생하는 지연

다음 요인은 소스 측 가용성 지연에 영향을 줄 수 있습니다.

  • 일괄 처리: 일부 시스템은 설정된 간격 (예: 시간별)으로 로그를 일괄적으로 생성합니다.
  • API 지연 시간: 소스 API에서 새 이벤트를 쿼리할 수 있도록 하는 데 내재된 지연이 있을 수 있습니다.
  • 이벤트 생성 및 게시 시간: 로그의 이벤트 타임스탬프는 로그가 완료되어 수집할 수 있게 되는 타임스탬프보다 훨씬 이전일 수 있습니다.
  • 제한: 소스 측 API 비율 제한으로 인해 데이터 가져오기가 느려질 수 있습니다.
  • 초기 백필: 대량의 이전 데이터를 제공하고 수집하는 데 시간이 걸립니다.

지연 시간은 데이터 소스 및 로그 유형에 따라 다릅니다. 수집 방법에 대한 자세한 내용은 데이터 수집 개요를 참고하세요. 피드 관리 API 참조에는 Microsoft Graph, SentinelOne, Okta, CrowdStrike와 같은 로그 유형에 관한 구체적인 고려사항이 설명되어 있습니다.

Google SecOps 처리 시간

시스템은 여러 단계를 거쳐 새로 수집된 데이터를 처리합니다. 이러한 단계의 기간에 따라 새로 수집된 데이터를 쿼리하고 분석할 수 있는 시점이 결정됩니다.

다음 표에는 검색 방법별로 새로 수집된 데이터의 처리 단계가 나와 있습니다. 이 단계를 완료하면 새로 수집된 데이터를 검색할 수 있습니다.

검색 메소드 검색 중인 데이터 가용성 시간에 영향을 미치는 처리 단계
정규화되고 보강된 UDM 이벤트
  1. 수집: 로그가 Google SecOps 수집 지점에 도착합니다.
  2. 파싱: 원시 로그가 식별되고 특정 파서에 의해 처리됩니다.
  3. 정규화: 데이터가 추출되어 UDM 스키마에 매핑됩니다.
  4. 색인 생성 (UDM): 정규화된 UDM 레코드는 빠르고 구조화된 검색을 위해 색인이 생성됩니다.
  5. 보강: 컨텍스트 (위협 인텔리전스, 지리적 위치, 사용자 또는 애셋 데이터)가 추가됩니다.
원시 로그 검색 파싱되지 않은 원본 로그 텍스트
  1. 수집: 로그가 Google SecOps 수집 지점에 도착합니다.
감지 엔진 (규칙) 정규화된 이벤트
  1. UDM 이벤트 가용성: UDM 검색에 나열된 것과 동일한 단계입니다.
  2. 감지 평가: 규칙 엔진은 '마이크로 배치'로 로그를 평가하며, 일반적으로 이벤트 도착 후 5~10분 이내에 감지를 실행합니다.
SOAR 검색 케이스 및 항목 로그가 아닌 알림 및 케이스를 검색하므로 다른 수명 주기입니다. 시간은 다음을 기준으로 합니다.
  1. UDM 이벤트 사용 가능 여부: 'UDM 검색'에 나열된 것과 동일한 처리 단계를 사용합니다.
  2. 감지: 감지 엔진 규칙이 UDM 이벤트와 일치해야 합니다.
  3. 알림 생성: 시스템에서 감지된 내용을 바탕으로 공식 알림을 생성합니다.
  4. 케이스 생성: SOAR 플랫폼이 알림을 수집하고 케이스를 생성합니다.

데이터 흐름 예

다음 예에서는 Google SecOps가 보안 데이터를 수집, 처리, 개선, 분석하여 검색 및 추가 분석에 사용할 수 있도록 하는 방법을 보여줍니다.

데이터 처리 단계의 예

  1. Amazon S3와 같은 클라우드 서비스 또는Google Cloud에서 보안 데이터를 가져옵니다. Google SecOps는 전송 중인 데이터를 암호화합니다.
  2. 암호화된 보안 데이터를 계정에 분리하여 저장합니다. 액세스 권한은 고객과 제품 지원, 개발, 유지보수를 위해 소수의 Google 직원에게만 부여됩니다.
  3. 원시 보안 데이터를 파싱하고 유효성을 검사하여 더 쉽게 처리하고 볼 수 있습니다.
  4. 빠른 검색을 위해 데이터를 정규화하고 색인을 생성합니다.
  5. 계정 내에 파싱되고 색인이 생성된 데이터를 저장합니다.
  6. 컨텍스트 데이터로 보강합니다.
  7. 사용자가 보안 데이터를 검색하고 검토할 수 있는 안전한 액세스를 제공합니다.
  8. 보안 데이터를 Google Threat Intelligence 멀웨어 데이터베이스와 비교하여 일치 항목을 식별합니다. 애셋 보기와 같은 Google SecOps 이벤트 보기에서 VT 컨텍스트를 클릭하여 Google 위협 인텔리전스 정보를 확인합니다. Google SecOps는 보안 데이터를 Google 위협 인텔리전스와 공유하지 않습니다.

Google SecOps로 데이터 전달 및 처리

검색 사용 가능 시점까지 예상 시간의 예

새로 수집된 데이터를 검색에서 사용할 수 있을 때까지 예상되는 시간은 데이터 흐름을 따라 흐름 기간을 합한 값입니다.

예를 들어 UDM 검색에서 데이터가 제공되는 데 걸리는 일반적인 평균 시간은 데이터가 Google SecOps 수집 서비스로 전송된 시점부터 약 5분 30초입니다.

데이터 흐름 단계 설명 흐름 기간
Cloud Storage에서 원시 로그로 Cloud Storage에서 원시 로그를 수집합니다. 30초 미만
보안 로그를 데이터 전달 서비스로 내부 시스템의 보안 로그를 플랫폼으로 전송합니다. 해당 사항 없음
데이터 전달 서비스에서 원시 로그 다양한 소스에서 수신한 원시 보안 데이터를 수집 파이프라인으로 전송합니다. 30초 미만
원시 로그에서 파싱 및 검사 원시 로그를 파싱하고 UDM 형식으로 검증합니다. 3분 미만
파싱 및 검사에서 색인으로 빠른 검색을 위해 파싱된 UDM 데이터의 색인을 생성합니다. 해당 사항 없음
색인을 파싱된 고객 데이터로 색인 처리된 데이터를 분석을 위해 파싱된 고객 데이터로 제공합니다. 2분 미만

문제 해결

이 섹션에서는 문제 해결 안내를 제공합니다.

지연 시간 및 한도

Google SecOps 플랫폼 내의 처리 및 시각화 지연은 Google SecOps에서 데이터를 수신한 후 다음 아키텍처 제한이 적용됩니다.

  • 검색 가능 여부: 수집 후 2~15분
  • 규칙 실행: 이벤트 도착 후 5~10분
  • UI 시각화: 브라우저 성능을 유지하기 위해 대량 로그 데이터에는 10,000개 행의 시각화 제한이 적용됩니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.