Google 관리 BigQuery 프로젝트로 내보내기

다음에서 지원:

Google SecOps는 BigQuery로 데이터 내보내기를 통해 정규화된 데이터 및 위협 인텔리전스로 강화된 원격 분석 데이터가 포함된 관리형 데이터 레이크를 제공합니다. 이를 통해 다음 작업을 할 수 있습니다.

  • BigQuery에서 직접 임시 쿼리를 실행합니다.
  • Looker 또는 Microsoft Power BI와 같은 자체 비즈니스 인텔리전스 도구를 사용해서 대시보드, 보고서, 분석을 만듭니다.
  • Google SecOps 데이터를 서드 파티 데이터 세트와 조인합니다.
  • 데이터 과학 또는 머신러닝 도구를 사용해서 분석을 실행합니다.
  • 사전 정의된 기본 대시보드 및 커스텀 대시보드를 사용해서 보고서를 실행합니다.

Google SecOps는 다음 데이터 카테고리를 BigQuery로 내보냅니다.

  • UDM 이벤트 레코드: 고객이 수집한 로그 데이터로부터 생성된 UDM 레코드입니다. 이러한 레코드는 별칭 정보로 보강됩니다.
  • 규칙 일치(감지): 규칙이 하나 이상의 이벤트와 일치하는 인스턴스입니다.
  • IoC 일치: 침해 지표(IoC) 피드와 일치하는 이벤트의 아티팩트(예: 도메인, IP 주소)입니다. 여기에는 전역 피드 및 고객 특정 피드에 대한 일치가 포함됩니다.
  • 수집 측정항목: 수집된 로그 줄 수, 로그에서 생성된 이벤트 수, 로그를 파싱할 수 없음을 나타내는 로그 오류 수, Google SecOps 전달자 상태와 같은 통계가 포함됩니다. 자세한 내용은 수집 측정항목 BigQuery 스키마를 참조하세요.
  • 항목 그래프 및 항목 관계: 항목 설명 및 다른 항목과의 관계가 저장됩니다.

테이블 개요

Google SecOps는 BigQuery 및 다음 테이블에 datalake 데이터 세트를 만듭니다.

  • entity_enum_value_to_name_mapping: entity_graph 테이블의 열거한 유형에 대해 숫자 값을 문자열 값에 매핑합니다.
  • entity_graph: UDM 항목에 대한 데이터를 저장합니다.
  • events: UDM 이벤트에 대한 데이터를 저장합니다.
  • ingestion_metrics: Google SecOps 전달자, 피드 및 Ingestion API와 같은 특정 수집 소스로부터 데이터 수집 및 정규화와 관련된 통계를 저장합니다.
  • ioc_matches: UDM 이벤트에 대해 확인된 IOC 일치 항목을 저장합니다.
  • job_metadata: BigQuery에 대해 데이터 내보내기를 추적하는 데 사용되는 내부 테이블입니다.
  • rule_detections: Google SecOps에서 실행된 규칙으로 반환되는 감지 항목을 저장합니다. 이 표에는 내보내기 프로세스가 실행될 때 활성 상태 (예: 사용 설정되고 삭제되지 않음)였던 규칙의 감지 항목만 포함됩니다. 내보내기 작업이 실행되기 전에 사용 중지되거나 삭제된 규칙의 감지는 감지 시간이 쿼리 범위에 속하더라도 이 표에 포함되지 않습니다.
  • rulesets: 각 규칙 집합이 속하는 카테고리, 사용 설정되었는지 여부, 현재 알림 상태를 포함하여 Google SecOps 선별 감지에 대한 정보가 저장됩니다.
  • udm_enum_value_to_name_mapping: 이벤트 테이블의 열거 유형에 대해 숫자 값을 문자열 값에 매핑합니다.
  • udm_events_aggregates: 정규화된 이벤트 시간에 따라 요약된 집계 데이터를 저장합니다. 이 표는 최선을 다해 작성됩니다. 매시간의 데이터를 즉시 사용할 수 없으며 데이터가 채워지는 데 지연이 있을 수 있습니다.

데이터 업데이트 빈도 및 내보내기 일정

BigQuery 테이블의 데이터는 서로 다른 간격으로 업데이트됩니다. 이러한 요소를 이해하면 데이터 사용 가능 여부에 대한 기대치를 설정하는 데 도움이 됩니다.

  • UDM 이벤트 (events 테이블): 일반적으로 자주 업데이트되며 데이터는 수집 후 약 2시간 이내에 제공됩니다.
  • 최선의 노력으로 내보내기: 그 밖의 많은 데이터 세트는 최선의 노력을 기반으로 내보내집니다. 여기에는 다음이 포함되지만 이에 국한되지는 않습니다.
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

최선의 노력으로 내보낸 테이블의 경우 업데이트는 정기적으로 이루어지지만 엄격하게 약정된 지연 시간이나 타이밍은 없습니다. 지연이 발생할 수 있으며 udm_events_aggregates와 같은 시간별 집계의 경우 매시간 데이터가 시간 종료 시 즉시 제공되지 않을 수 있습니다. 데이터는 일반적으로 하루 이내에 업데이트됩니다.

BigQuery의 데이터에 액세스

BigQuery에서 직접 쿼리를 실행하거나 Looker 또는 Microsoft Power BI와 같은 자체 비즈니스 인텔리전스 도구를 BigQuery에 연결할 수 있습니다.

BigQuery 인스턴스에 대해 액세스를 사용 설정하려면 Google SecOps BigQuery Access API를 사용합니다. 소유한 사용자 또는 그룹에 대해 이메일 주소를 제공할 수 있습니다. 그룹에 대해 액세스를 구성하는 경우 해당 그룹을 사용해서 멤버가 BigQuery 인스턴스에 액세스할 수 있는 팀을 관리합니다.

Looker 또는 다른 비즈니스 인텔리전스 도구를 BigQuery에 연결하려면 Google SecOps 담당자에게 연락하여 애플리케이션을 Google SecOps BigQuery 데이터 세트에 연결할 수 있게 해주는 서비스 계정 사용자 인증 정보를 요청합니다. 서비스 계정에 IAM BigQuery 데이터 뷰어 역할(roles/bigquery.dataViewer) 및 BigQuery 작업 뷰어 역할(roles/bigquery.jobUser)이 포함됩니다.

데이터 보관

Google 관리 BigQuery를 사용하는 Google SecOps Enterprise Plus 고객에게는 다음 보관 설정이 적용됩니다.

  • 기존 Google SecOps Enterprise Plus 고객 (지원 중단 경로):

    • ioc_matches 및 rule_detections 표: 볼륨이 낮아 보관 기간 한도가 설정되지 않습니다.
    • entity_graph, udm_events_aggregates 및 events 테이블을 제외한 기타 파티션을 나눈 테이블: 180일
    • events 테이블 (UDM 이벤트): 데이터는 Google SecOps 계약에 따라 보관되거나 계약에 지정되지 않은 경우 기본값인 366일 동안 보관됩니다.

  • 신규 고객: 보관 기간은 Google SecOps 계약에 따라 관리됩니다 (고급 BigQuery 내보내기 기능과 동일).

다음 단계

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.