검색에 사용할 수 있는 데이터 이해하기

다음에서 지원:

이 문서에서는 엔드 투 엔드 데이터 흐름 및 지연 시간을 비롯한 데이터 수집 수명 주기와 이러한 요소가 쿼리 및 분석을 위해 최근에 수집된 데이터의 가용성에 미치는 영향을 자세히 설명합니다.

Google Security Operations에서 데이터 수집 및 처리

이 섹션에서는 Google SecOps가 보안 데이터를 수집, 처리, 분석하는 방법을 설명합니다.

데이터 수집

데이터 수집 파이프라인은 다음과 같은 소스에서 원시 보안 데이터를 수집하여 시작됩니다.

  • 내부 시스템의 보안 로그
  • Cloud Storage에 저장된 데이터
  • 보안 운영 센터 (SOC) 및 기타 내부 시스템

Google SecOps는 안전한 수집 방법 중 하나를 사용하여 이 데이터를 플랫폼으로 가져옵니다.

기본 수집 방법은 다음과 같습니다.

  • 직접 Google Cloud 수집

    Google SecOps는 직접 Google Cloud 수집을 사용하여 Cloud Logging, Cloud 애셋 인벤토리 메타데이터, Security Command Center Premium 발견 항목을 비롯한 조직의 Google Cloud로그 및 원격 분석 데이터를 자동으로 가져옵니다.

  • Ingestion API

    공개 REST 수집 API를 사용하여 데이터를 Google SecOps에 직접 전송합니다. 이 메서드는 맞춤 통합에 사용하거나 구조화되지 않은 로그 또는 사전 형식화된 통합 데이터 모델 (UDM) 이벤트로 데이터를 전송하는 데 사용됩니다.

  • Bindplane 에이전트

    다양한 환경 (온프레미스 또는 기타 클라우드)에 다용도 Bindplane 에이전트를 배포하여 다양한 소스에서 로그를 수집하고 Google SecOps로 전달할 수 있습니다.

  • 데이터 피드

    Google SecOps에서는 특정 서드 파티 클라우드 스토리지 버킷 (예: Amazon S3) 또는 서드 파티 API (예: Okta 또는 Microsoft 365)와 같은 서드 파티 소스에서 로그를 가져오도록 데이터 피드를 구성합니다.

정규화 및 데이터 보강

데이터가 Google SecOps에 도착하면 플랫폼에서 다음 단계를 통해 데이터를 처리합니다.

  1. 파싱 및 정규화

    원시 로그 데이터는 먼저 파서에 의해 처리되어 원래 형식의 데이터를 검증, 추출, 변환하여 표준화된 UDM으로 변환합니다. 파싱 및 정규화를 사용하면 일관된 단일 스키마를 사용하여 다양한 데이터 소스 (예: 방화벽 로그, 엔드포인트 데이터, 클라우드 로그)를 분석할 수 있습니다. 원래 원시 로그는 UDM 이벤트와 함께 저장된 상태로 유지됩니다.

  2. 색인 생성

    정규화 후 Google SecOps는 대규모 데이터 세트에서 빠른 쿼리 속도를 제공하기 위해 UDM 데이터의 색인을 생성하여 UDM 이벤트를 검색 가능하게 만듭니다. 또한 '원시 로그' 검색을 위해 원래 원시 로그를 색인화합니다.

  3. 데이터 보강

    Google SecOps는 다음과 같이 유용한 컨텍스트로 데이터를 보강합니다.

    • 엔티티 컨텍스트 (별칭 지정): 별칭 지정은 로그 엔티티의 컨텍스트 데이터와 표시기를 식별하고 추가하여 UDM 로그 레코드를 보강합니다. 예를 들어 사용자의 로그인 이름을 다양한 IP 주소, 호스트 이름, MAC 주소에 연결하여 통합된 '엔티티 그래프'를 빌드합니다.
    • 위협 인텔리전스: VirusTotal, 세이프 브라우징과 같은 소스를 포함한 Google의 방대한 위협 인텔리전스와 데이터를 자동으로 비교하여 알려진 악성 도메인, IP, 파일 해시 등을 식별합니다.
    • 위치정보: IP 주소가 위치정보 데이터로 보강됩니다.
    • WHOIS: 도메인 이름이 공개 등록 WHOIS 정보로 보강됩니다.

분석을 위한 데이터 사용 가능 여부

처리되고 보강된 UDM 데이터는 즉시 분석에 사용할 수 있습니다.

  • 실시간 감지

    감지 엔진은 실시간 규칙이 사용 설정된 맞춤 규칙과 Google에서 빌드한 규칙을 실시간으로 수신되는 데이터에 대해 자동으로 실행하여 위협을 식별하고 알림을 생성합니다.

  • 검색 및 조사

    분석가는 검색 메서드를 사용하여 정규화되고 보강된 모든 데이터를 검색할 수 있습니다. 예를 들어 UDM 검색을 사용하여 관련 항목 (예: user에서 asset, 악성 domain로) 간에 피벗하고 알림을 조사할 수 있습니다.

검색 방법

Google SecOps는 데이터를 검색하는 여러 가지 고유한 방법을 제공하며 각 방법은 서로 다른 목적을 제공합니다.

UDM 검색은 대부분의 조사에 사용되는 기본적이고 가장 빠른 검색 방법입니다.

  • 검색 대상: 정규화되고 색인이 생성된 UDM 이벤트를 쿼리합니다. 모든 데이터가 이 표준 형식으로 파싱되므로 하나의 쿼리를 작성하여 다양한 제품 (예: Windows, Okta, Linux)에서 동일한 활동 (예: 로그인)을 찾을 수 있습니다.
  • 작동 방식: 특정 구문을 사용하여 필드, 연산자, 값을 쿼리합니다.
  • 예: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

원시 로그 검색을 사용하여 UDM 필드에 매핑되지 않았을 수 있는 파싱되지 않은 원본 로그 메시지에서 항목을 찾습니다.

  • 검색 대상: 파싱 및 정규화되기 전의 로그 원본 텍스트를 검색합니다. 이는 색인이 생성되지 않은 UDM 필드인 특정 문자열, 명령줄 인수 또는 기타 아티팩트를 찾는 데 유용합니다.
  • 작동 방식: raw = 접두사를 사용합니다. 색인이 생성된 필드를 검색하지 않으므로 UDM 검색보다 느릴 수 있습니다.
  • 예 (문자열): raw = "PsExec.exe"
  • 예 (정규식): raw = /admin\$/

자연어 검색 (Gemini)

자연어 검색 (Gemini)을 사용하면 영어로 질문할 수 있으며 Gemini가 이를 공식 UDM 쿼리로 변환합니다.

  • 검색 대상: UDM 데이터를 쿼리하는 대화형 인터페이스를 제공합니다.
  • 작동 방식: 질문을 입력하면 Gemini가 기본 UDM 검색어를 생성하며, 사용자는 이를 실행하거나 수정할 수 있습니다.
  • 예: '지난 24시간 동안 'bob' 사용자의 실패한 로그인을 모두 보여 줘'

SOAR 검색은 SOAR 구성요소에만 해당합니다. 로그에서 검색하는 것이 아니라 보안 사고를 관리하는 데 사용합니다.

  • 검색 대상: SOAR 플랫폼 내에서 케이스 및 엔티티 (예: 사용자, 애셋, IP)를 검색합니다.
  • 작동 방식: 자유 텍스트 또는 필드 기반 필터를 사용하여 ID, 알림 이름, 상태, 할당된 사용자 등을 기준으로 케이스를 찾을 수 있습니다.
  • 예: CaseIds:180 또는 AlertName:Brute Force 검색

검색 가능 여부를 확인하는 데이터 수집 파이프라인

시스템은 여러 단계를 거쳐 새로 수집된 데이터를 처리합니다. 이러한 단계의 기간에 따라 새로 수집된 데이터를 쿼리하고 분석할 수 있는 시점이 결정됩니다.

다음 표에는 검색 방법별로 새로 수집된 데이터의 처리 단계가 나와 있습니다. 이 단계를 완료하면 새로 수집된 데이터를 검색할 수 있습니다.

검색 메소드 검색 중인 데이터 가용성 시간에 영향을 미치는 처리 단계
정규화되고 보강된 UDM 이벤트
  1. 수집: 로그가 Google SecOps 수집 지점에 도착합니다.
  2. 파싱: 원시 로그는 특정 파서에 의해 식별되고 처리됩니다.
  3. 정규화: 데이터가 추출되어 UDM 스키마에 매핑됩니다.
  4. 색인 생성 (UDM): 정규화된 UDM 레코드는 빠르고 구조화된 검색을 위해 색인이 생성됩니다.
  5. 강화: 컨텍스트 (위협 인텔리전스, 지리적 위치, 사용자 또는 애셋 데이터)가 추가됩니다.
원시 로그 검색 파싱되지 않은 원본 로그 텍스트
  1. 수집: 로그가 Google SecOps 수집 지점에 도착합니다.
  2. 색인 생성 (원시): 로그의 원본 텍스트 문자열이 색인 생성됩니다.
SOAR 검색 케이스 및 항목 로그가 아닌 알림 및 케이스를 검색하므로 다른 수명 주기입니다. 시간은 다음을 기준으로 합니다.
  1. UDM 이벤트 사용 가능 여부: 'UDM 검색'에 나열된 것과 동일한 처리 단계를 사용합니다.
  2. 감지: 감지 엔진 규칙이 UDM 이벤트와 일치해야 합니다.
  3. 알림 생성: 시스템에서 감지 결과를 바탕으로 공식 알림을 생성합니다.
  4. 케이스 생성: SOAR 플랫폼이 알림을 수집하고 케이스를 생성합니다.

데이터 흐름 예

다음 예에서는 Google SecOps가 보안 데이터를 수집, 처리, 개선, 분석하여 검색 및 추가 분석에 사용할 수 있도록 하는 방법을 보여줍니다.

데이터 처리 단계의 예

  1. Amazon S3와 같은 클라우드 서비스 또는Google Cloud에서 보안 데이터를 가져옵니다. Google SecOps는 전송 중인 데이터를 암호화합니다.
  2. 암호화된 보안 데이터를 계정에 분리하여 저장합니다. 액세스는 제품 지원, 개발, 유지보수를 위해 귀하와 소수의 Google 직원으로 제한됩니다.
  3. 원시 보안 데이터를 파싱하고 유효성을 검사하여 더 쉽게 처리하고 볼 수 있습니다.
  4. 빠른 검색을 위해 데이터를 정규화하고 색인을 생성합니다.
  5. 계정 내에 파싱되고 색인이 생성된 데이터를 저장합니다.
  6. 컨텍스트 데이터로 보강합니다.
  7. 사용자가 보안 데이터를 검색하고 검토할 수 있는 안전한 액세스를 제공합니다.
  8. 보안 데이터를 VirusTotal 멀웨어 데이터베이스와 비교하여 일치 항목을 식별합니다. 애셋 보기와 같은 Google SecOps 이벤트 보기에서 VT 컨텍스트를 클릭하여 VirusTotal 정보를 확인합니다. Google SecOps는 보안 데이터를 VirusTotal과 공유하지 않습니다.

Google SecOps로 데이터 전달 및 처리

검색 가능 시점까지 예상 시간의 예

새로 수집된 데이터를 검색에서 사용할 수 있을 때까지 예상되는 시간은 데이터 흐름을 따라 흐름 기간을 합한 값입니다.

예를 들어 UDM 검색에서 데이터가 제공되는 데 걸리는 일반적인 평균 시간은 데이터가 Google SecOps 수집 서비스로 전송된 시점부터 약 5분 30초입니다.

데이터 흐름 단계 설명 흐름 지속 시간
Cloud Storage에서 원시 로그로 Cloud Storage에서 원시 로그를 수집합니다. 30초 미만
보안 로그를 데이터 전달 서비스로 내부 시스템의 보안 로그를 플랫폼으로 전송합니다. 해당 사항 없음
데이터 전달 서비스에서 원시 로그로 다양한 소스에서 수신한 원시 보안 데이터를 수집 파이프라인으로 전송합니다. 30초 미만
원시 로그에서 파싱 및 검사 원시 로그를 파싱하고 UDM 형식으로 검증합니다. 3분 미만
파싱 및 검사에서 색인으로 빠른 검색을 위해 파싱된 UDM 데이터의 색인을 생성합니다. 해당 사항 없음
색인에서 파싱된 고객 데이터로 색인 처리된 데이터를 분석을 위해 파싱된 고객 데이터로 제공합니다. 2분 미만

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.