Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

OpenTelemetry Netflow 수신기 로그 수집

다음에서 지원:

Google SecOps SIEM

이 문서에서는 Google Cloud Storage V2를 사용하여 OpenTelemetry Netflow Receiver 로그를 Google Security Operations로 수집하는 방법을 설명합니다.

OpenTelemetry Netflow 수신기는 Netflow, sflow, IPFIX UDP 트래픽을 수신 대기하고 OpenTelemetry 로그 레코드로 변환하는 오픈소스 구성요소입니다. 이를 통해 프로토콜 식별, 트래픽 양 분석, 포트 사용량 추적, 바이트/패킷 통계 등 네트워크 트래픽 모니터링 및 분석이 가능합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

Google SecOps 인스턴스
Cloud Storage API가 사용 설정된 GCP 프로젝트
GCS 버킷을 만들고 관리할 수 있는 권한
GCS 버킷의 IAM 정책을 관리할 수 있는 권한
Cloud Run 서비스, Pub/Sub 주제, Cloud Scheduler 작업을 만들 수 있는 권한
netflow, sflow 또는 IPFIX 데이터를 전송할 수 있는 네트워크 기기
네트워크 기기 내보내기 설정을 구성할 수 있는 액세스 권한

Google Cloud Storage 버킷 만들기

Google Cloud 콘솔로 이동합니다.
프로젝트를 선택하거나 새 프로젝트를 만듭니다.
탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
버킷 만들기를 클릭합니다.

다음 구성 세부정보를 제공합니다.

설정	값
버킷 이름 지정	전역적으로 고유한 이름 (예: `netflow-logs-bucket`)을 입력합니다.
위치 유형	필요에 따라 선택 (리전, 이중 리전, 멀티 리전)
위치	위치를 선택합니다 (예: `us-central1`).
스토리지 클래스	표준 (자주 액세스하는 로그에 권장)
액세스 제어	균일 (권장)
보호 도구	선택사항: 객체 버전 관리 또는 보관 정책 사용 설정

만들기를 클릭합니다.

Cloud Run 함수의 서비스 계정 만들기

Cloud Run 함수에는 GCS 버킷에 쓰고 Pub/Sub에서 호출할 수 있는 권한이 있는 서비스 계정이 필요합니다.

서비스 계정 만들기

GCP 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
서비스 계정 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 서비스 계정 이름: netflow-collector-sa을 입력합니다.
- 서비스 계정 설명: Service account for Cloud Run function to collect netflow logs를 입력합니다.
만들고 계속하기를 클릭합니다.
이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
1. 역할 선택을 클릭합니다.
2. 스토리지 객체 관리자를 검색하여 선택합니다.
3. + 다른 역할 추가를 클릭합니다.
4. Cloud Run 호출자를 검색하여 선택합니다.
5. + 다른 역할 추가를 클릭합니다.
6. Cloud Functions 호출자를 검색하여 선택합니다.
계속을 클릭합니다.
완료를 클릭합니다.

이러한 역할은 다음 작업에 필요합니다.

스토리지 객체 관리자: GCS 버킷에 로그를 쓰고 상태 파일을 관리합니다.
Cloud Run 호출자: Pub/Sub에서 함수를 호출하도록 허용
Cloud Functions 호출자: 함수 호출 허용

GCS 버킷에 대한 IAM 권한 부여

GCS 버킷에 대한 쓰기 권한을 서비스 계정에 부여합니다.

Cloud Storage > 버킷으로 이동합니다.
버킷 이름 (예: netflow-logs-bucket)을 클릭합니다.
권한 탭으로 이동합니다.
액세스 권한 부여를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 서비스 계정 이메일 (예: netflow-collector-sa@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다.
- 역할 할당: 스토리지 객체 관리자 선택
저장을 클릭합니다.

Pub/Sub 주제 만들기

Cloud Scheduler가 게시하고 Cloud Run 함수가 구독할 Pub/Sub 주제를 만듭니다.

GCP 콘솔에서 Pub/Sub> 주제로 이동합니다.
주제 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 주제 ID: netflow-trigger를 입력합니다.
- 다른 설정은 기본값으로 둡니다.
만들기를 클릭합니다.

NetFlow 로그를 수집하는 Cloud Run 함수 만들기

Cloud Run 함수는 netflow 데이터를 수신하고 GCS로 내보내는 OpenTelemetry Collector를 실행합니다.

GCP 콘솔에서 Cloud Run으로 이동합니다.
서비스 만들기를 클릭합니다.
함수를 선택합니다 (인라인 편집기를 사용하여 함수 만들기).
구성 섹션에서 다음 구성 세부정보를 제공합니다.

설정 값

서비스 이름 netflow-collector

리전 GCS 버킷과 일치하는 리전을 선택합니다 (예: us-central1).

런타임 Python 3.12 이상 선택
트리거 (선택사항) 섹션에서 다음을 수행합니다.
1. + 트리거 추가를 클릭합니다.
2. Cloud Pub/Sub를 선택합니다.
3. Cloud Pub/Sub 주제 선택에서 Pub/Sub 주제 netflow-trigger를 선택합니다.
4. 저장을 클릭합니다.
인증 섹션에서 다음을 구성합니다.
1. 인증 필요를 선택합니다.
2. ID 및 액세스 관리 (IAM)를 확인합니다.
참고: 함수를 호출할 때 Pub/Sub에서 인증을 자동으로 처리합니다.
아래로 스크롤하고 컨테이너, 네트워킹, 보안을 펼칩니다.
보안 탭으로 이동합니다.
- 서비스 계정: 서비스 계정 netflow-collector-sa를 선택합니다.

설정	값
서비스 이름	`netflow-collector`
리전	GCS 버킷과 일치하는 리전을 선택합니다 (예: `us-central1`).
런타임	Python 3.12 이상 선택

컨테이너 탭으로 이동합니다.

변수 및 보안 비밀을 클릭합니다.
각 환경 변수에 대해 + 변수 추가를 클릭합니다.

변수 이름	예시 값	설명
`GCS_BUCKET`	`netflow-logs-bucket`	GCS 버킷 이름
`GCS_PREFIX`	`netflow`	로그 파일의 접두사
`NETFLOW_PORT`	`2055`	NetFlow 수신자 포트
`NETFLOW_SCHEME`	`netflow`	스키마 유형: netflow, sflow 또는 ipfix
`NETFLOW_SOCKETS`	`4`	UDP 소켓 수
`NETFLOW_WORKERS`	`8`	디코더 작업자 수

변수 및 보안 비밀 섹션에서 요청으로 스크롤합니다.
- 요청 제한 시간: 600초 (10분)를 입력합니다.
설정 탭으로 이동합니다.
- 리소스 섹션에서 다음을 수행합니다.
  - 메모리: 1GiB 이상 선택
  - CPU: 2 선택
버전 확장 섹션에서 다음을 수행합니다.
- 최소 인스턴스 수: 1을 입력합니다.
- 최대 인스턴스 수: 10를 입력합니다.
만들기를 클릭합니다.
서비스가 생성될 때까지 기다립니다 (1~2분).
서비스가 생성되면 인라인 코드 편집기가 자동으로 열립니다.

함수 코드 추가

진입점 필드에 main을 입력합니다.

인라인 코드 편집기에서 다음 세 파일을 만듭니다.

main.py:

import functions_framework
from google.cloud import storage
import json
import os
import subprocess
import tempfile
import signal
import time
from datetime import datetime, timezone

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'netflow')
NETFLOW_PORT = os.environ.get('NETFLOW_PORT', '2055')
NETFLOW_SCHEME = os.environ.get('NETFLOW_SCHEME', 'netflow')
NETFLOW_SOCKETS = os.environ.get('NETFLOW_SOCKETS', '4')
NETFLOW_WORKERS = os.environ.get('NETFLOW_WORKERS', '8')

# Global process handle
collector_process = None

def create_collector_config():
  """Create OpenTelemetry Collector configuration."""
  timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
  file_path = f"/tmp/netflow_{timestamp}.ndjson"

  config = {
    'receivers': {
      'netflow': {
        'scheme': NETFLOW_SCHEME,
        'hostname': '0.0.0.0',
        'port': int(NETFLOW_PORT),
        'sockets': int(NETFLOW_SOCKETS),
        'workers': int(NETFLOW_WORKERS),
        'queue_size': 5000
      }
    },
    'processors': {
      'batch': {
        'timeout': '10s',
        'send_batch_size': 1000
      }
    },
    'exporters': {
      'file': {
        'path': file_path,
        'format': 'json'
      }
    },
    'service': {
      'pipelines': {
        'logs': {
          'receivers': ['netflow'],
          'processors': ['batch'],
          'exporters': ['file']
        }
      },
      'telemetry': {
        'logs': {
          'level': 'info'
        }
      }
    }
  }

  config_path = '/tmp/otel-config.yaml'
  with open(config_path, 'w') as f:
    import yaml
    yaml.dump(config, f)

  return config_path, file_path

def upload_to_gcs(file_path):
  """Upload netflow logs to GCS."""
  if not os.path.exists(file_path) or os.path.getsize(file_path) == 0:
    print(f"No data to upload from {file_path}")
    return

  bucket = storage_client.bucket(GCS_BUCKET)
  timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
  object_key = f"{GCS_PREFIX}/netflow_{timestamp}.ndjson"
  blob = bucket.blob(object_key)

  blob.upload_from_filename(file_path, content_type='application/x-ndjson')
  print(f"Uploaded {os.path.getsize(file_path)} bytes to gs://{GCS_BUCKET}/{object_key}")

def signal_handler(signum, frame):
  """Handle shutdown signals."""
  global collector_process
  if collector_process:
    print("Shutting down collector...")
    collector_process.terminate()
    collector_process.wait(timeout=10)

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function to run OpenTelemetry Collector for netflow collection.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """
  global collector_process

  if not GCS_BUCKET:
    print('Error: GCS_BUCKET environment variable not set')
    return

  try:
    # Set up signal handlers
    signal.signal(signal.SIGTERM, signal_handler)
    signal.signal(signal.SIGINT, signal_handler)

    # Create collector configuration
    config_path, file_path = create_collector_config()
    print(f"Created collector config at {config_path}")
    print(f"Netflow receiver listening on {NETFLOW_SCHEME}://0.0.0.0:{NETFLOW_PORT}")

    # Start OpenTelemetry Collector
    collector_process = subprocess.Popen(
      ['/otelcol-contrib', '--config', config_path],
      stdout=subprocess.PIPE,
      stderr=subprocess.PIPE,
      text=True
    )

    print(f"Started OpenTelemetry Collector (PID: {collector_process.pid})")

    # Run for collection period (e.g., 5 minutes)
    collection_time = 300
    print(f"Collecting netflow data for {collection_time} seconds...")

    start_time = time.time()
    while time.time() - start_time < collection_time:
      if collector_process.poll() is not None:
        stdout, stderr = collector_process.communicate()
        print(f"Collector exited unexpectedly")
        print(f"STDOUT: {stdout}")
        print(f"STDERR: {stderr}")
        break
      time.sleep(10)

    # Stop collector
    if collector_process.poll() is None:
      print("Stopping collector...")
      collector_process.terminate()
      collector_process.wait(timeout=10)

    # Upload collected data
    upload_to_gcs(file_path)

    # Cleanup
    if os.path.exists(file_path):
      os.remove(file_path)
    if os.path.exists(config_path):
      os.remove(config_path)

    print("Netflow collection completed successfully")

  except Exception as e:
    print(f'Error during netflow collection: {str(e)}')
    if collector_process and collector_process.poll() is None:
      collector_process.terminate()
    raise

requirements.txt:

functions-framework==3.*
google-cloud-storage==2.*
PyYAML==6.*

Dockerfile:

FROM python:3.12-slim

# Install OpenTelemetry Collector Contrib
RUN apt-get update && apt-get install -y wget && \
  wget https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.144.0/otelcol-contrib_0.144.0_linux_amd64.deb && \
  dpkg -i otelcol-contrib_0.144.0_linux_amd64.deb && \
  rm otelcol-contrib_0.144.0_linux_amd64.deb && \
  apt-get clean

# Set working directory
WORKDIR /app

# Copy requirements and install
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# Copy function code
COPY main.py .

# Expose netflow port
EXPOSE 2055/udp

# Run function
CMD ["functions-framework", "--target=main", "--port=8080"]

배포를 클릭하여 함수를 저장하고 배포합니다.
배포가 완료될 때까지 기다립니다 (3~5분).

netflow 데이터를 전송하도록 네트워크 기기 구성

Cloud Run 함수로 netflow, sflow 또는 IPFIX 데이터를 내보내도록 네트워크 기기 (라우터, 스위치, 방화벽)를 구성합니다.

Cloud Run 함수 외부 IP 가져오기

GCP 콘솔에서 Cloud Run > 서비스로 이동합니다.
함수 이름 netflow-collector을 클릭합니다.
상단에 표시된 URL을 복사합니다 (예: https://netflow-collector-xxxxx-uc.a.run.app).
URL에서 호스트 이름을 추출합니다.
nslookup 또는 dig를 사용하여 IP 주소를 확인합니다.
```
nslookup netflow-collector-xxxxx-uc.a.run.app
```

예시: Cisco 라우터 NetFlow 구성

  ! Configure netflow exporter
  flow exporter OTEL-EXPORTER
  destination <CLOUD_RUN_IP>
  transport udp 2055
  source <INTERFACE>
  export-protocol netflow-v9

  ! Configure flow monitor
  flow monitor OTEL-MONITOR
  exporter OTEL-EXPORTER
  record netflow ipv4 original-input

  ! Apply to interface
  interface GigabitEthernet0/0
  ip flow monitor OTEL-MONITOR input
  ip flow monitor OTEL-MONITOR output

예: 일반 netflow 구성

대부분의 네트워크 기기에서 다음 설정을 구성합니다.
- Netflow 버전: NetFlow v5, v9 또는 IPFIX
- 수집기 IP: Cloud Run 함수 IP 주소
- 수집기 포트: 2055 (또는 구성된 포트)
- 프로토콜: UDP
- 활성 제한 시간: 60초 (권장)
- 비활성 제한 시간: 15초 (권장)

Cloud Scheduler 작업 만들기

Cloud Scheduler는 일정 간격으로 Pub/Sub 주제에 메시지를 게시하여 Cloud Run 함수를 트리거합니다.

GCP Console에서 Cloud Scheduler로 이동합니다.
작업 만들기를 클릭합니다.

다음 구성 세부정보를 제공합니다.

설정	값
이름	`netflow-collector-hourly`
리전	Cloud Run 함수와 동일한 리전 선택
주파수	`0 * * * *` (매시간 정각)
시간대	시간대 선택 (UTC 권장)
타겟 유형	Pub/Sub
주제	Pub/Sub 주제 `netflow-trigger`를 선택합니다.
메일 본문	`{}` (빈 JSON 객체)

만들기를 클릭합니다.

일정 빈도 옵션

로그 볼륨 및 지연 시간 요구사항에 따라 빈도를 선택합니다.

빈도	크론 표현식	사용 사례
5분마다	`/5 * * *`	대용량, 저지연
15분마다	`/15 * * *`	검색량 보통
1시간마다	`0 * * * *`	표준 (권장)
6시간마다	`0 /6 * *`	적은 볼륨, 일괄 처리

통합 테스트

Cloud Scheduler 콘솔에서 작업 netflow-collector-hourly을 찾습니다.
강제 실행을 클릭하여 작업을 수동으로 트리거합니다.
몇 초 동안 기다립니다.
Cloud Run > 서비스로 이동합니다.
함수 이름 netflow-collector을 클릭합니다.
로그 탭을 클릭합니다.

함수가 성공적으로 실행되었는지 확인합니다. 다음 항목을 찾습니다.

Started OpenTelemetry Collector (PID: ...)
Netflow receiver listening on netflow://0.0.0.0:2055
Collecting netflow data for 300 seconds...
Uploaded ... bytes to gs://netflow-logs-bucket/netflow/netflow_YYYYMMDD_HHMMSS.ndjson
Netflow collection completed successfully

Cloud Storage> 버킷으로 이동합니다.
버킷 이름 netflow-logs-bucket을 클릭합니다.
접두사 폴더 netflow/로 이동합니다.
현재 타임스탬프로 새 .ndjson 파일이 생성되었는지 확인합니다.

로그에 오류가 표시되는 경우:

수집기가 예기치 않게 종료됨: netflow 수신기 구성 확인
업로드할 데이터가 없음: 네트워크 기기가 올바른 IP 및 포트로 netflow 데이터를 전송하는지 확인합니다.
권한 거부됨: 서비스 계정에 스토리지 객체 관리자 역할이 있는지 확인하세요.
포트 바인딩 오류: 포트 2055가 이미 사용 중이 아닌지 확인합니다.

Google SecOps 서비스 계정 가져오기

Google SecOps는 고유한 서비스 계정을 사용하여 GCS 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷 액세스 권한을 부여해야 합니다.

서비스 계정 이메일 가져오기

SIEM 설정 > 피드로 이동합니다.
새 피드 추가를 클릭합니다.
단일 피드 구성을 클릭합니다.
피드 이름 필드에 피드 이름을 입력합니다(예: OpenTelemetry Netflow Logs).
소스 유형으로 Google Cloud Storage V2를 선택합니다.
로그 유형으로 NETFLOW_OTEL을 선택합니다.
서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.

참고: 각 Google SecOps 인스턴스에는 고유한 서비스 계정이 있습니다. 다른 문서나 예시의 서비스 계정을 사용하지 마세요.
다음을 클릭합니다.
다음 입력 매개변수의 값을 지정합니다.
- 스토리지 버킷 URL: 프리픽스 경로가 있는 GCS 버킷 URI를 입력합니다.
```
gs://netflow-logs-bucket/netflow/
```
참고: URI 끝에 항상 후행 슬래시 (/)를 포함하세요.
- 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
  - 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
  - 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
  - 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.
    
    참고: 삭제 옵션을 선택하는 경우 서비스 계정에 스토리지 객체 뷰어 대신 스토리지 객체 관리자 역할이 있어야 합니다. 이에 따라 IAM 권한을 업데이트합니다.
- 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다 (기본값은 180일).
- 애셋 네임스페이스: 애셋 네임스페이스
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

Cloud Storage> 버킷으로 이동합니다.
버킷 이름 netflow-logs-bucket을 클릭합니다.
권한 탭으로 이동합니다.
액세스 권한 부여를 클릭합니다.
다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당: 스토리지 객체 뷰어를 선택합니다.
저장을 클릭합니다.

UDM 매핑 테이블

다음 표에서는 OpenTelemetry Netflow 수신자 로그 필드가 Google SecOps UDM 필드에 매핑되는 방식을 보여줍니다.

OpenTelemetry 필드	UDM 필드	설명
`source.address`	`principal.ip`	소스 IP 주소
`source.port`	`principal.port`	소스 포트 번호
`destination.address`	`target.ip`	대상 IP 주소
`destination.port`	`target.port`	대상 포트 번호
`network.transport`	`network.ip_protocol`	전송 프로토콜 (tcp, udp)
`network.type`	`network.ip_version`	IP 버전 (ipv4, ipv6)
`flow.io.bytes`	`network.sent_bytes`	전송된 총 바이트
`flow.io.packets`	`network.sent_packets`	전송된 총 패킷 수
`flow.type`	`metadata.product_log_id`	흐름 유형 (NETFLOW_V5, NETFLOW_V9, SFLOW_5, IPFIX)
`flow.start`	`metadata.event_timestamp`	흐름 시작 시간
`flow.end`	`network.session_duration`	흐름 종료 시간
`flow.sampler_address`	`intermediary.ip`	Netflow 내보내기 프로그램 IP 주소
`flow.tcp_flags`	`network.tcp_flags`	TCP 플래그
`flow.io.bytes`	`event.idm.read_only_udm.network.sent_bytes`	변경 로그에서 매핑됨
`source.port`	`event.idm.read_only_udm.principal.port`	변경 로그에서 매핑됨
`destination.port`	`event.idm.read_only_udm.target.port`	변경 로그에서 매핑됨
`network.transport`	`event.idm.read_only_udm.network.ip_protocol`	변경 로그에서 매핑됨
`network.type`	`event.idm.read_only_udm.security_result.detection_fields`	변경 로그에서 매핑됨
`flow.sequence_num`	`event.idm.read_only_udm.network.session_id`	변경 로그에서 매핑됨
`flow.sampler_address`	`event.idm.read_only_udm.observer.ip`	변경 로그에서 매핑됨
`flow.type`	`event.idm.read_only_udm.metadata.product_event_type`	변경 로그에서 매핑됨

변경 로그

이 파서의 변경 로그 보기

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.