자동 추출 개요

다음에서 지원:

이 문서에서는 데이터를 수집, 처리, 분석하는 기능을 개선하기 위해 데이터를 자동으로 추출하는 방법을 간략하게 설명합니다.

Google Security Operations는 사전 빌드된 파서 를 사용하여 통합 데이터 모델 (UDM) 스키마를 통해 로그 데이터를 추출하고 구조화합니다. 이러한 파서를 관리하고 유지보수하는 것은 데이터 추출 불완전성, 관리해야 하는 파서 수 증가, 로그 형식이 진화함에 따라 자주 업데이트해야 하는 요구사항 등 여러 가지 제한사항으로 인해 어려울 수 있습니다.

이러한 문제를 해결하기 위해 자동 추출 기능을 사용할 수 있습니다. 이 기능은 Google SecOps로 수집된 JSON 형식 및 XML 형식 로그에서 키-값 쌍을 자동으로 추출합니다. 또한 JSON 메시지가 포함된 Syslog 형식 로그도 지원합니다. 이 추출된 데이터는 extracted라는 UDM 맵 유형 필드에 저장됩니다. 그런 다음 UDM 검색어, 기본 대시보드, YARA-L 규칙 내에서 이 데이터를 사용할 수 있습니다.

권장사항에 따라 추출된 필드를 사용하는 UDM 검색은 검색어 성능을 개선하기 위해 쿼리에 metadata.log_type을 포함해야 합니다.

자동 추출의 이점은 파서에 대한 의존도를 줄여 파서가 없거나 로그 파싱에 실패하는 경우에도 데이터를 계속 사용할 수 있도록 보장한다는 것입니다.

원시 로그에서 데이터 파싱 및 추출

  1. 파싱: Google SecOps는 사용 가능한 경우 로그 유형에 특정한 파서 를 사용하여 로그를 파싱하려고 시도합니다. 특정 파서가 없거나 파싱에 실패하면 Google SecOps는 일반 파서를 사용하여 수집된 타임스탬프, 로그 유형, 메타데이터 라벨과 같은 기본 정보를 추출합니다.

  2. 데이터 추출: 자동 추출은 기본적으로 사용 설정되지 않습니다. 로그에서 추출할 특정 필드 (데이터 포인트)를 선택합니다.

  3. 이벤트 보강: Google SecOps는 파싱된 데이터와 모든 맞춤 형식 필드를 결합하여 보강된 이벤트를 생성하고 더 많은 컨텍스트와 세부정보를 제공합니다.

  4. 다운스트림 데이터 전송: 이러한 보강된 이벤트는 추가 분석 및 처리를 위해 다른 시스템으로 전송됩니다.

  • 파서가 있는 경우: 기본 자동 추출이 발생하지 않습니다. 추출기 작업 섹션에 설명된 대로 필요한 특정 필드를 명시적으로 선택해야 합니다.
  • 파서가 없는 경우: 자동 추출이 자동으로 시작되고 처음 100개의 필드를 추출합니다.

추출기 작업

추출기를 사용하면 지원되는 모든 로그 소스에서 필드를 추출할 수 있으며 로그 관리를 최적화하도록 설계되었습니다. 추출기를 사용하면 이벤트 크기를 줄이고 파싱 효율성을 높이며 데이터 추출을 더 효과적으로 제어할 수 있습니다. 이는 특히 새 로그 유형을 관리하거나 처리 시간을 최소화하는 데 유용합니다.

SIEM 설정 메뉴를 사용하거나 원시 로그 검색을 실행하여 추출기를 만들 수 있습니다.

추출기 만들기

  1. 다음 방법 중 하나를 사용하여 추가 필드 추출 창으로 이동합니다.

    • SIEM 설정 > 파서를 클릭하고 다음을 실행합니다.
      1. 표시되는 파서 표에서 파서 (로그 소스)를 식별하고 메뉴 > 파서 확장 > 추가 필드 추출을 클릭합니다.
    • 원시 로그 스캔을 사용하고 다음을 실행합니다.
      1. 로그 소스 메뉴에서 필요한 로그 소스 (파서)를 선택합니다.
      2. 원시 로그 결과에서 로그 소스를 선택하여 이벤트 데이터 창을 엽니다.
      3. 이벤트 데이터 창에서 파서 관리 > 파서 확장 > 추가 필드 추출 을 클릭합니다.
    • UDM 검색을 사용하고 다음을 실행합니다.
      1. UDM 검색 결과의 이벤트 탭에서 로그 소스를 선택하여 이벤트 뷰어 창을 봅니다.
      2. 원시 로그 탭에서 파서 관리 > 파서 확장 > 추가 필드 추출 을 클릭합니다.

  2. 추가 필드 추출 창의 추출기 선택 탭에서 필요한 원시 로그 필드를 선택합니다. 기본적으로 최대 100개의 필드를 선택할 수 있습니다. 추출할 추가 필드가 없으면 경고 알림이 표시됩니다.

    원시 로그 참조 탭을 클릭하여 원시 로그 데이터를 보고 UDM 출력을 미리 봅니다.

  3. 저장 을 클릭합니다.

새로 생성된 추출기는 EXTRACTOR로 라벨이 지정됩니다. 추출된 필드는 UDM 출력에 extracted.field{"fieldName"}로 표시됩니다.

추출기 세부정보 보기

  1. 파서 표에서 추출기 행으로 이동하고 메뉴 > 파서 확장 > 확장 프로그램 보기 를 클릭합니다.
  2. 맞춤 파서 보기 페이지에서 확장 프로그램 및 추출된 필드 탭을 클릭합니다.

이 탭에는 파서 확장 프로그램 및 추출기 필드에 관한 정보가 표시됩니다. 맞춤 파서 보기 페이지에서 필드를 수정하거나 삭제하고 파서 출력을 미리 볼 수 있습니다.

제한사항

  • 일괄 UDM 이벤트 크기가 8.2MB를 초과하면 추출된 모든 필드가 삭제됩니다.
  • 단일 UDM 이벤트가 500KB를 초과하면 추출된 필드가 삭제됩니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.