Google Cloud VPC 흐름 로그 수집

파서 버전: 6.0

다음에서 지원:

이 문서에서는 Google Cloud 스토리지를 사용하여 Google Cloud VPC 흐름 로그를 Google Security Operations로 수집하는 방법을 설명합니다.

VPC 흐름 로그는 Google Kubernetes Engine 노드로 사용되는 인스턴스를 포함하여 VM 인스턴스에서 전송되거나 수신되는 네트워크 흐름의 샘플을 기록합니다. 이러한 로그는 네트워크 모니터링, 포렌식, 실시간 보안 분석, 비용 최적화에 사용할 수 있습니다. 흐름 로그는 구성 가능한 간격으로 연결별로 집계되고 Cloud Logging을 통해 거의 실시간으로 내보내집니다. Logging 싱크는 VPC 흐름 로그를 Cloud Storage 버킷으로 라우팅하고, Google SecOps는 여기에서 로그를 수집합니다.

시작하기 전에

다음 기본 요건을 충족해야 합니다.

  • Google SecOps 인스턴스
  • 다음 API가 사용 설정된 Google Cloud 프로젝트:
    • Cloud Storage API
    • Cloud Logging API
    • Compute Engine API
  • 다음에 대한 권한:
    • 서브넷에서 VPC 흐름 로그 사용 설정
    • Cloud Storage 버킷 만들기 및 관리
    • Cloud Storage 버킷의 IAM 정책 관리
    • Cloud Logging API 싱크 만들기 및 관리
  • VPC 흐름 로그를 사용 설정할 VPC 서브넷이 하나 이상 있어야 합니다.

서브넷에서 VPC 흐름 로그 사용 설정

수집 파이프라인을 구성하기 전에 대상 서브넷에서 VPC 흐름 로그가 사용 설정되어 있는지 확인하세요. Google Cloud 에서는 VPC 흐름 로그를 관리하기 위해 Network Management API(권장)와 Compute Engine API라는 두 가지 API를 지원합니다.

Google Cloud 콘솔(Network Management API) 사용

  1. Google Cloud 콘솔에서 VPC 네트워크 > VPC 네트워크로 이동합니다.
  2. 현재 프로젝트의 서브넷 탭을 클릭합니다.
  3. 흐름 로그를 사용 설정할 서브넷을 선택합니다.
  4. 흐름 로그 관리를 클릭합니다.
  5. 새 구성 추가를 클릭합니다.
  6. 구성 이름을 입력합니다.
  7. 다음 선택적 설정을 구성합니다.
    • 집계 간격: 집계 간격을 선택합니다(기본값: 5초). 간격이 짧을수록 더 세분화된 데이터가 제공되지만 로그 볼륨이 증가합니다.
    • 메타데이터 포함: VM 인스턴스 및 VPC 세부정보를 포함하려면 모든 메타데이터 포함을 선택합니다.
    • 보조 샘플링 레이트: 샘플링 레이트를 설정합니다(기본값: Network Management API의 경우 100%). 비율이 높을수록 더 많은 흐름이 캡처되지만 로그 볼륨이 증가합니다.
    • 필터 표현식: 특정 흐름을 포함하거나 제외하는 선택적 CEL 필터 표현식입니다(최대 2,048자).
  8. 저장을 클릭합니다.

gcloud 명령줄 도구(Network Management API) 사용

  • 다음 구문을 사용합니다.

    gcloud network-management vpc-flow-logs-configs create <CONFIG_NAME> \
            --location=global \
            --subnet=projects/<PROJECT_ID>/regions/<REGION>/subnetworks/<SUBNET_NAME> \
            --aggregation-interval=INTERVAL_5_SEC \
            --metadata=INCLUDE_ALL_METADATA \
            --flow-sampling=1.0
    

다음과 같이 바꿉니다.

  • <CONFIG_NAME>: 구성을 설명하는 이름(예: vpc-flow-logs-config)
  • <PROJECT_ID>: Google Cloud 프로젝트 ID
  • <REGION>: 서브넷 리전(예: us-central1)
  • <SUBNET_NAME>: 서브넷 이름

gcloud 명령줄 도구(Compute Engine API) 사용

  • 다음 구문을 사용합니다.

    gcloud compute networks subnets update <SUBNET_NAME> \
            --region=<REGION> \
            --enable-flow-logs \
            --logging-aggregation-interval=interval-5-sec \
            --logging-metadata=include-all \
            --logging-flow-sampling=0.5 \
            --project=<PROJECT_ID>
    

다음과 같이 바꿉니다.

  • <SUBNET_NAME>: 서브넷 이름
  • <REGION>: 서브넷 리전(예: us-central1)
  • <PROJECT_ID>: Google Cloud 프로젝트 ID

Google Cloud Storage 버킷 만들기

  1. Google Cloud 콘솔로 이동합니다.
  2. 프로젝트를 선택합니다.
  3. 탐색 메뉴에서 Cloud Storage > 버킷으로 이동합니다.
  4. 버킷 만들기를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.

    설정 값
    버킷 이름 지정 전역적으로 고유한 이름(예: vpc-flow-logs-bucket)을 입력합니다.
    위치 유형 필요에 따라 선택(리전, 이중 리전, 멀티 리전)
    위치 위치를 선택합니다(예: us-central1).
    스토리지 클래스 표준(자주 액세스하는 로그에 권장)
    액세스 제어 균일(권장)
    보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정
  6. 만들기를 클릭합니다.

VPC 흐름 로그를 GCS로 내보내는 Logging 싱크 만들기

Logging 싱크는 Logging에서 Cloud Storage 버킷으로 VPC 흐름 로그를 라우팅합니다. 그러면 Google SecOps가 버킷에서 내보낸 객체를 수집합니다.

로그 싱크 만들기

  1. Google Cloud 콘솔에서 Logging > 로그 라우터로 이동합니다.
  2. 싱크 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 싱크 이름: 설명이 포함된 이름(예: vpc-flow-to-gcs)을 입력합니다.
    • 싱크 설명: Route VPC Flow Logs to Cloud Storage for Google SecOps ingestion를 입력합니다.
  4. 다음을 클릭합니다.
  5. 싱크 서비스 선택 섹션에서 다음을 수행합니다.
    • 싱크 서비스: Cloud Storage 버킷을 선택합니다.
    • Cloud Storage 버킷 선택: vpc-flow-logs-bucket 버킷을 선택합니다.
  6. 다음을 클릭합니다.
  7. 싱크에 포함할 로그 선택 섹션에서 다음 필터를 입력하여 VPC 흐름 로그를 캡처합니다.

    resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows")
    
    resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows") AND resource.labels.subnetwork_name="<SUBNET_NAME>"
    
    • <SUBNET_NAME>을 대상 서브넷 이름으로 바꿉니다.
  8. 다음을 클릭합니다.

  9. 구성을 검토하고 싱크 만들기를 클릭합니다.

싱크 작성자에게 버킷에 대한 쓰기 권한 부여

싱크를 만든 후 Logging은 싱크에 작성자 서비스 계정(작성자 ID)을 할당합니다. 이 ID에 버킷에 객체를 쓸 수 있는 권한을 부여합니다.

  1. 로깅 > 로그 라우터로 이동합니다.
  2. 싱크 vpc-flow-to-gcs를 찾아 점 3개 메뉴를 클릭하고 싱크 세부정보 보기를 선택합니다.
  3. 작성자 ID 값(serviceAccount:p<PROJECT_NUMBER>-<ID>@gcp-sa-logging.iam.gserviceaccount.com 형식)을 복사합니다.
  4. Cloud Storage > 버킷으로 이동합니다.
  5. vpc-flow-logs-bucket 버킷을 클릭합니다.
  6. 권한 탭으로 이동합니다.
  7. 액세스 권한 부여를 클릭합니다.
  8. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: 싱크 작성자 ID를 붙여넣습니다(serviceAccount: 프리픽스 제외).
    • 역할 할당: 스토리지 객체 생성자(roles/storage.objectCreator)를 선택합니다.
  9. 저장을 클릭합니다.

로그가 내보내기되고 있는지 확인

  1. Cloud Storage > 버킷으로 이동합니다.
  2. vpc-flow-logs-bucket 버킷을 클릭합니다.
  3. 싱크가 첫 번째 객체를 쓸 때까지 몇 분 정도 기다립니다.
  4. compute.googleapis.com/vpc_flows/(또는 날짜가 지정된 경로)라는 폴더가 생성되고 내보낸 로그 파일이 포함되어 있는지 확인합니다.

VPC 흐름 로그를 수집하도록 Google SecOps에서 피드 구성

  1. 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다(예: GCP VPC Flow Logs).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
  6. 로그 유형으로 GCP VPC 흐름을 선택합니다.
  7. 서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. 이 이메일 주소를 복사합니다. 다음 단계에서 사용합니다.

  9. 다음을 클릭합니다.

  10. 다음 입력 파라미터의 값을 지정합니다.

    • 스토리지 버킷 URI: 프리픽스 경로가 있는 GCS 버킷 URI를 입력합니다.

      gs://vpc-flow-logs-bucket/compute.googleapis.com/vpc_flows/
      
      • 다음과 같이 바꿉니다.
        • vpc-flow-logs-bucket: GCS 버킷 이름입니다.
        • compute.googleapis.com/vpc_flows: 싱크가 로그를 쓰는 선택적 프리픽스/폴더 경로입니다(루트의 경우 비워 둠).
    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.

      • 삭제 안함: 전송 후 파일을 삭제하지 않습니다(테스트에 권장).
      • 전송된 파일 삭제: 전송이 완료된 후 파일을 삭제합니다.
      • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료된 후 파일과 빈 디렉터리를 삭제합니다.
    • 최대 파일 기간(일): 지난 며칠 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.

    • 애셋 네임스페이스: 애셋 네임스페이스입니다.

    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.

  11. 다음을 클릭합니다.

  12. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 Cloud Storage 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

  1. Cloud Storage > 버킷으로 이동합니다.
  2. vpc-flow-logs-bucket 버킷을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
    • 역할 할당: 스토리지 객체 뷰어(roles/storage.objectViewer)를 선택합니다.
  6. 저장을 클릭합니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 로직
_field additional.fields 병합됨
textpayload_label additional.fields 병합됨
tunnel_id_label additional.fields 병합됨
description metadata.description 직접 매핑됨
timestamp metadata.event_timestamp ISO8601(으)로 파싱됨
ts metadata.event_timestamp ISO8601(으)로 파싱됨
event_type metadata.event_type 직접 매핑됨
product_event_type metadata.product_event_type 직접 매핑됨
product_log_id metadata.product_log_id 직접 매핑됨
product_name metadata.product_name 직접 매핑됨
product_version metadata.product_version 직접 매핑됨
vendor_name metadata.vendor_name 직접 매핑됨
ip_protocol_out network.ip_protocol 직접 매핑됨
jsonPayload.bytes_sent network.sent_bytes 이름 변경/매핑됨
jsonPayload.packets_sent network.sent_packets 이름 변경/매핑됨
principal.ip principal.asset.ip 병합됨
target.ip principal.asset.ip 병합됨
jsonPayload.src_instance.vm_name principal.hostname 직접 매핑됨
target.hostname principal.hostname 이름 변경/매핑됨
jsonPayload.connection.src_ip principal.ip 직접 매핑됨
target.ip principal.ip 병합됨
jsonPayload.src_location.city principal.location.city 직접 매핑됨
target.location.city principal.location.city 이름 변경/매핑됨
jsonPayload.src_location.country principal.location.country_or_region 직접 매핑됨
target.location.country_or_region principal.location.country_or_region 이름 변경/매핑됨
jsonPayload.src_instance.region principal.location.name 직접 매핑됨
resource.labels.location principal.location.name 직접 매핑됨
target.location.name principal.location.name 이름 변경/매핑됨
jsonPayload.src_location.region principal.location.state 직접 매핑됨
target.location.state principal.location.state 이름 변경/매핑됨
jsonPayload.src_vpc.project_id principal.namespace 직접 매핑됨
jsonPayload.src_vpc.vpc_name principal.namespace 직접 매핑됨
target.namespace principal.namespace 이름 변경/매핑됨
jsonPayload.connection.src_port principal.port 직접 매핑됨
_field principal.resource.attribute.labels 병합됨
key principal.resource.attribute.labels 매핑됨: jsonPayload_src_google_service_type → _field
src_gke_cluster_location principal.resource.attribute.labels 병합됨
src_gke_cluster_name principal.resource.attribute.labels 병합됨
src_gke_namespace principal.resource.attribute.labels 병합됨
src_gke_pod_name principal.resource.attribute.labels 병합됨
logName security_result.category_details 병합됨
severity security_result.severity 매핑됨: DEBUG → LOW
principal.ip target.asset.ip 병합됨
target.ip target.asset.ip 병합됨
jsonPayload.dest_instance.vm_name target.hostname 직접 매핑됨
principal.hostname target.hostname 이름 변경/매핑됨
jsonPayload.connection.dest_ip target.ip 직접 매핑됨
principal.ip target.ip 병합됨
jsonPayload.dest_location.city target.location.city 직접 매핑됨
principal.location.city target.location.city 이름 변경/매핑됨
jsonPayload.dest_location.country target.location.country_or_region 직접 매핑됨
principal.location.country_or_region target.location.country_or_region 이름 변경/매핑됨
jsonPayload.dest_instance.region target.location.name 직접 매핑됨
principal.location.name target.location.name 이름 변경/매핑됨
jsonPayload.dest_location.region target.location.state 직접 매핑됨
principal.location.state target.location.state 이름 변경/매핑됨
jsonPayload.dest_vpc.project_id target.namespace 직접 매핑됨
jsonPayload.dest_vpc.vpc_name target.namespace 직접 매핑됨
principal.namespace target.namespace 이름 변경/매핑됨
jsonPayload.connection.dest_port target.port 이름 변경/매핑됨
dest_gke_cluster_location target.resource.attribute.labels 병합됨
dest_gke_cluster_name target.resource.attribute.labels 병합됨
dest_gke_namespace target.resource.attribute.labels 병합됨
dest_gke_pod_name target.resource.attribute.labels 병합됨
service_name_label target.resource.attribute.labels 병합됨
service_namespace_label target.resource.attribute.labels 병합됨
subnetwork_id_field target.user.attribute.labels 병합됨
해당 사항 없음 network.direction 상수: OUTBOUND
해당 사항 없음 network.ip_protocol 상수: network.ip_protocol
해당 사항 없음 network.sent_bytes 상수: network.sent_bytes
해당 사항 없음 principal.hostname 상수: target.hostname
해당 사항 없음 principal.location.city 상수: target.location.city
해당 사항 없음 principal.location.country_or_region 상수: target.location.country_or_region
해당 사항 없음 principal.location.name 상수: target.location.name
해당 사항 없음 principal.location.state 상수: target.location.state
해당 사항 없음 principal.namespace 상수: target.namespace
해당 사항 없음 principal.port 상수: principal.port
해당 사항 없음 security_result.severity 상수: LOW
해당 사항 없음 target.hostname 상수: principal.hostname
해당 사항 없음 target.location.city 상수: principal.location.city
해당 사항 없음 target.location.country_or_region 상수: principal.location.country_or_re...
해당 사항 없음 target.location.name 상수: principal.location.name
해당 사항 없음 target.location.state 상수: principal.location.state
해당 사항 없음 target.namespace 상수: principal.namespace
해당 사항 없음 target.port 상수: -99
resource.labels.subnetwork_id target.user.attribute.labels 변경 로그에서 매핑됨

변경 로그

이 파서의 변경 로그 보기

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.