Google Cloud VPC 흐름 로그 수집
파서 버전: 6.0
이 문서에서는 Google Cloud 스토리지를 사용하여 Google Cloud VPC 흐름 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
VPC 흐름 로그는 Google Kubernetes Engine 노드로 사용되는 인스턴스를 포함하여 VM 인스턴스에서 전송되거나 수신되는 네트워크 흐름의 샘플을 기록합니다. 이러한 로그는 네트워크 모니터링, 포렌식, 실시간 보안 분석, 비용 최적화에 사용할 수 있습니다. 흐름 로그는 구성 가능한 간격으로 연결별로 집계되고 Cloud Logging을 통해 거의 실시간으로 내보내집니다. Logging 싱크는 VPC 흐름 로그를 Cloud Storage 버킷으로 라우팅하고, Google SecOps는 여기에서 로그를 수집합니다.
시작하기 전에
다음 기본 요건을 충족해야 합니다.
- Google SecOps 인스턴스
- 다음 API가 사용 설정된 Google Cloud 프로젝트:
- Cloud Storage API
- Cloud Logging API
- Compute Engine API
- 다음에 대한 권한:
- 서브넷에서 VPC 흐름 로그 사용 설정
- Cloud Storage 버킷 만들기 및 관리
- Cloud Storage 버킷의 IAM 정책 관리
- Cloud Logging API 싱크 만들기 및 관리
- VPC 흐름 로그를 사용 설정할 VPC 서브넷이 하나 이상 있어야 합니다.
서브넷에서 VPC 흐름 로그 사용 설정
수집 파이프라인을 구성하기 전에 대상 서브넷에서 VPC 흐름 로그가 사용 설정되어 있는지 확인하세요. Google Cloud 에서는 VPC 흐름 로그를 관리하기 위해 Network Management API(권장)와 Compute Engine API라는 두 가지 API를 지원합니다.
Google Cloud 콘솔(Network Management API) 사용
- Google Cloud 콘솔에서 VPC 네트워크 > VPC 네트워크로 이동합니다.
- 현재 프로젝트의 서브넷 탭을 클릭합니다.
- 흐름 로그를 사용 설정할 서브넷을 선택합니다.
- 흐름 로그 관리를 클릭합니다.
- 새 구성 추가를 클릭합니다.
- 구성 이름을 입력합니다.
- 다음 선택적 설정을 구성합니다.
- 집계 간격: 집계 간격을 선택합니다(기본값: 5초). 간격이 짧을수록 더 세분화된 데이터가 제공되지만 로그 볼륨이 증가합니다.
- 메타데이터 포함: VM 인스턴스 및 VPC 세부정보를 포함하려면 모든 메타데이터 포함을 선택합니다.
- 보조 샘플링 레이트: 샘플링 레이트를 설정합니다(기본값: Network Management API의 경우 100%). 비율이 높을수록 더 많은 흐름이 캡처되지만 로그 볼륨이 증가합니다.
- 필터 표현식: 특정 흐름을 포함하거나 제외하는 선택적 CEL 필터 표현식입니다(최대 2,048자).
- 저장을 클릭합니다.
gcloud 명령줄 도구(Network Management API) 사용
다음 구문을 사용합니다.
gcloud network-management vpc-flow-logs-configs create <CONFIG_NAME> \ --location=global \ --subnet=projects/<PROJECT_ID>/regions/<REGION>/subnetworks/<SUBNET_NAME> \ --aggregation-interval=INTERVAL_5_SEC \ --metadata=INCLUDE_ALL_METADATA \ --flow-sampling=1.0
다음과 같이 바꿉니다.
<CONFIG_NAME>: 구성을 설명하는 이름(예:vpc-flow-logs-config)<PROJECT_ID>: Google Cloud 프로젝트 ID<REGION>: 서브넷 리전(예:us-central1)<SUBNET_NAME>: 서브넷 이름
gcloud 명령줄 도구(Compute Engine API) 사용
다음 구문을 사용합니다.
gcloud compute networks subnets update <SUBNET_NAME> \ --region=<REGION> \ --enable-flow-logs \ --logging-aggregation-interval=interval-5-sec \ --logging-metadata=include-all \ --logging-flow-sampling=0.5 \ --project=<PROJECT_ID>
다음과 같이 바꿉니다.
<SUBNET_NAME>: 서브넷 이름<REGION>: 서브넷 리전(예:us-central1)<PROJECT_ID>: Google Cloud 프로젝트 ID
Google Cloud Storage 버킷 만들기
- Google Cloud 콘솔로 이동합니다.
- 프로젝트를 선택합니다.
- 탐색 메뉴에서 Cloud Storage > 버킷으로 이동합니다.
- 버킷 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 버킷 이름 지정 전역적으로 고유한 이름(예: vpc-flow-logs-bucket)을 입력합니다.위치 유형 필요에 따라 선택(리전, 이중 리전, 멀티 리전) 위치 위치를 선택합니다(예: us-central1).스토리지 클래스 표준(자주 액세스하는 로그에 권장) 액세스 제어 균일(권장) 보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정 만들기를 클릭합니다.
VPC 흐름 로그를 GCS로 내보내는 Logging 싱크 만들기
Logging 싱크는 Logging에서 Cloud Storage 버킷으로 VPC 흐름 로그를 라우팅합니다. 그러면 Google SecOps가 버킷에서 내보낸 객체를 수집합니다.
로그 싱크 만들기
- Google Cloud 콘솔에서 Logging > 로그 라우터로 이동합니다.
- 싱크 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 싱크 이름: 설명이 포함된 이름(예:
vpc-flow-to-gcs)을 입력합니다. - 싱크 설명:
Route VPC Flow Logs to Cloud Storage for Google SecOps ingestion를 입력합니다.
- 싱크 이름: 설명이 포함된 이름(예:
- 다음을 클릭합니다.
- 싱크 서비스 선택 섹션에서 다음을 수행합니다.
- 싱크 서비스: Cloud Storage 버킷을 선택합니다.
- Cloud Storage 버킷 선택:
vpc-flow-logs-bucket버킷을 선택합니다.
- 다음을 클릭합니다.
싱크에 포함할 로그 선택 섹션에서 다음 필터를 입력하여 VPC 흐름 로그를 캡처합니다.
resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows")resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows") AND resource.labels.subnetwork_name="<SUBNET_NAME>"<SUBNET_NAME>을 대상 서브넷 이름으로 바꿉니다.
다음을 클릭합니다.
구성을 검토하고 싱크 만들기를 클릭합니다.
싱크 작성자에게 버킷에 대한 쓰기 권한 부여
싱크를 만든 후 Logging은 싱크에 작성자 서비스 계정(작성자 ID)을 할당합니다. 이 ID에 버킷에 객체를 쓸 수 있는 권한을 부여합니다.
- 로깅 > 로그 라우터로 이동합니다.
- 싱크
vpc-flow-to-gcs를 찾아 점 3개 메뉴를 클릭하고 싱크 세부정보 보기를 선택합니다. - 작성자 ID 값(
serviceAccount:p<PROJECT_NUMBER>-<ID>@gcp-sa-logging.iam.gserviceaccount.com형식)을 복사합니다. - Cloud Storage > 버킷으로 이동합니다.
vpc-flow-logs-bucket버킷을 클릭합니다.- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 싱크 작성자 ID를 붙여넣습니다(
serviceAccount:프리픽스 제외). - 역할 할당: 스토리지 객체 생성자(
roles/storage.objectCreator)를 선택합니다.
- 주 구성원 추가: 싱크 작성자 ID를 붙여넣습니다(
- 저장을 클릭합니다.
로그가 내보내기되고 있는지 확인
- Cloud Storage > 버킷으로 이동합니다.
vpc-flow-logs-bucket버킷을 클릭합니다.- 싱크가 첫 번째 객체를 쓸 때까지 몇 분 정도 기다립니다.
compute.googleapis.com/vpc_flows/(또는 날짜가 지정된 경로)라는 폴더가 생성되고 내보낸 로그 파일이 포함되어 있는지 확인합니다.
VPC 흐름 로그를 수집하도록 Google SecOps에서 피드 구성
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름 필드에 피드 이름을 입력합니다(예:
GCP VPC Flow Logs). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
- 로그 유형으로 GCP VPC 흐름을 선택합니다.
서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com이 이메일 주소를 복사합니다. 다음 단계에서 사용합니다.
다음을 클릭합니다.
다음 입력 파라미터의 값을 지정합니다.
스토리지 버킷 URI: 프리픽스 경로가 있는 GCS 버킷 URI를 입력합니다.
gs://vpc-flow-logs-bucket/compute.googleapis.com/vpc_flows/- 다음과 같이 바꿉니다.
vpc-flow-logs-bucket: GCS 버킷 이름입니다.compute.googleapis.com/vpc_flows: 싱크가 로그를 쓰는 선택적 프리픽스/폴더 경로입니다(루트의 경우 비워 둠).
- 다음과 같이 바꿉니다.
소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 삭제 안함: 전송 후 파일을 삭제하지 않습니다(테스트에 권장).
- 전송된 파일 삭제: 전송이 완료된 후 파일을 삭제합니다.
- 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료된 후 파일과 빈 디렉터리를 삭제합니다.
최대 파일 기간(일): 지난 며칠 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.
애셋 네임스페이스: 애셋 네임스페이스입니다.
수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.
Google SecOps 서비스 계정에 IAM 권한 부여
Google SecOps 서비스 계정에는 Cloud Storage 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.
- Cloud Storage > 버킷으로 이동합니다.
vpc-flow-logs-bucket버킷을 클릭합니다.- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당: 스토리지 객체 뷰어(
roles/storage.objectViewer)를 선택합니다.
저장을 클릭합니다.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
_field |
additional.fields |
병합됨 |
textpayload_label |
additional.fields |
병합됨 |
tunnel_id_label |
additional.fields |
병합됨 |
description |
metadata.description |
직접 매핑됨 |
timestamp |
metadata.event_timestamp |
ISO8601(으)로 파싱됨 |
ts |
metadata.event_timestamp |
ISO8601(으)로 파싱됨 |
event_type |
metadata.event_type |
직접 매핑됨 |
product_event_type |
metadata.product_event_type |
직접 매핑됨 |
product_log_id |
metadata.product_log_id |
직접 매핑됨 |
product_name |
metadata.product_name |
직접 매핑됨 |
product_version |
metadata.product_version |
직접 매핑됨 |
vendor_name |
metadata.vendor_name |
직접 매핑됨 |
ip_protocol_out |
network.ip_protocol |
직접 매핑됨 |
jsonPayload.bytes_sent |
network.sent_bytes |
이름 변경/매핑됨 |
jsonPayload.packets_sent |
network.sent_packets |
이름 변경/매핑됨 |
principal.ip |
principal.asset.ip |
병합됨 |
target.ip |
principal.asset.ip |
병합됨 |
jsonPayload.src_instance.vm_name |
principal.hostname |
직접 매핑됨 |
target.hostname |
principal.hostname |
이름 변경/매핑됨 |
jsonPayload.connection.src_ip |
principal.ip |
직접 매핑됨 |
target.ip |
principal.ip |
병합됨 |
jsonPayload.src_location.city |
principal.location.city |
직접 매핑됨 |
target.location.city |
principal.location.city |
이름 변경/매핑됨 |
jsonPayload.src_location.country |
principal.location.country_or_region |
직접 매핑됨 |
target.location.country_or_region |
principal.location.country_or_region |
이름 변경/매핑됨 |
jsonPayload.src_instance.region |
principal.location.name |
직접 매핑됨 |
resource.labels.location |
principal.location.name |
직접 매핑됨 |
target.location.name |
principal.location.name |
이름 변경/매핑됨 |
jsonPayload.src_location.region |
principal.location.state |
직접 매핑됨 |
target.location.state |
principal.location.state |
이름 변경/매핑됨 |
jsonPayload.src_vpc.project_id |
principal.namespace |
직접 매핑됨 |
jsonPayload.src_vpc.vpc_name |
principal.namespace |
직접 매핑됨 |
target.namespace |
principal.namespace |
이름 변경/매핑됨 |
jsonPayload.connection.src_port |
principal.port |
직접 매핑됨 |
_field |
principal.resource.attribute.labels |
병합됨 |
key |
principal.resource.attribute.labels |
매핑됨: jsonPayload_src_google_service_type → _field |
src_gke_cluster_location |
principal.resource.attribute.labels |
병합됨 |
src_gke_cluster_name |
principal.resource.attribute.labels |
병합됨 |
src_gke_namespace |
principal.resource.attribute.labels |
병합됨 |
src_gke_pod_name |
principal.resource.attribute.labels |
병합됨 |
logName |
security_result.category_details |
병합됨 |
severity |
security_result.severity |
매핑됨: DEBUG → LOW |
principal.ip |
target.asset.ip |
병합됨 |
target.ip |
target.asset.ip |
병합됨 |
jsonPayload.dest_instance.vm_name |
target.hostname |
직접 매핑됨 |
principal.hostname |
target.hostname |
이름 변경/매핑됨 |
jsonPayload.connection.dest_ip |
target.ip |
직접 매핑됨 |
principal.ip |
target.ip |
병합됨 |
jsonPayload.dest_location.city |
target.location.city |
직접 매핑됨 |
principal.location.city |
target.location.city |
이름 변경/매핑됨 |
jsonPayload.dest_location.country |
target.location.country_or_region |
직접 매핑됨 |
principal.location.country_or_region |
target.location.country_or_region |
이름 변경/매핑됨 |
jsonPayload.dest_instance.region |
target.location.name |
직접 매핑됨 |
principal.location.name |
target.location.name |
이름 변경/매핑됨 |
jsonPayload.dest_location.region |
target.location.state |
직접 매핑됨 |
principal.location.state |
target.location.state |
이름 변경/매핑됨 |
jsonPayload.dest_vpc.project_id |
target.namespace |
직접 매핑됨 |
jsonPayload.dest_vpc.vpc_name |
target.namespace |
직접 매핑됨 |
principal.namespace |
target.namespace |
이름 변경/매핑됨 |
jsonPayload.connection.dest_port |
target.port |
이름 변경/매핑됨 |
dest_gke_cluster_location |
target.resource.attribute.labels |
병합됨 |
dest_gke_cluster_name |
target.resource.attribute.labels |
병합됨 |
dest_gke_namespace |
target.resource.attribute.labels |
병합됨 |
dest_gke_pod_name |
target.resource.attribute.labels |
병합됨 |
service_name_label |
target.resource.attribute.labels |
병합됨 |
service_namespace_label |
target.resource.attribute.labels |
병합됨 |
subnetwork_id_field |
target.user.attribute.labels |
병합됨 |
| 해당 사항 없음 | network.direction |
상수: OUTBOUND |
| 해당 사항 없음 | network.ip_protocol |
상수: network.ip_protocol |
| 해당 사항 없음 | network.sent_bytes |
상수: network.sent_bytes |
| 해당 사항 없음 | principal.hostname |
상수: target.hostname |
| 해당 사항 없음 | principal.location.city |
상수: target.location.city |
| 해당 사항 없음 | principal.location.country_or_region |
상수: target.location.country_or_region |
| 해당 사항 없음 | principal.location.name |
상수: target.location.name |
| 해당 사항 없음 | principal.location.state |
상수: target.location.state |
| 해당 사항 없음 | principal.namespace |
상수: target.namespace |
| 해당 사항 없음 | principal.port |
상수: principal.port |
| 해당 사항 없음 | security_result.severity |
상수: LOW |
| 해당 사항 없음 | target.hostname |
상수: principal.hostname |
| 해당 사항 없음 | target.location.city |
상수: principal.location.city |
| 해당 사항 없음 | target.location.country_or_region |
상수: principal.location.country_or_re... |
| 해당 사항 없음 | target.location.name |
상수: principal.location.name |
| 해당 사항 없음 | target.location.state |
상수: principal.location.state |
| 해당 사항 없음 | target.namespace |
상수: principal.namespace |
| 해당 사항 없음 | target.port |
상수: -99 |
resource.labels.subnetwork_id |
target.user.attribute.labels |
변경 로그에서 매핑됨 |
변경 로그
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.