Fastly CDN 로그 수집

파서 버전: 2.0

다음에서 지원:

이 문서에서는 Amazon S3를 사용하여 Fastly CDN 로그를 Google Security Operations로 수집하는 방법을 설명합니다.

Fastly는 실시간 콘텐츠 전송, 보안, 에지 컴퓨팅 서비스를 제공하는 콘텐츠 전송 네트워크(CDN) 및 에지 클라우드 플랫폼입니다. Fastly의 실시간 로그 스트리밍 기능은 보안 모니터링 및 분석을 위해 CDN 액세스 로그, WAF 이벤트, 기타 원격 분석 데이터를 Amazon S3를 비롯한 다양한 대상으로 전송할 수 있습니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스
  • Fastly 제어판 또는 API에 대한 액세스 권한
  • AWS(S3, IAM)에 대한 액세스 권한
  • global 또는 global:read 범위가 있는 Fastly API 토큰

Fastly API 토큰 만들기

  1. https://manage.fastly.com에서 Fastly 제어판에 로그인합니다.
  2. 오른쪽 상단에 있는 사용자 아이콘을 클릭합니다.
  3. 가다 계정 > 개인 API 토큰.
  4. 토큰 만들기를 클릭합니다.
  5. API 토큰 만들기 대화상자에서 다음을 입력합니다.
    • 이름: 설명이 포함된 이름을 입력합니다(예: Google SecOps S3 Logging Configuration).
    • 유형: 사용자 토큰을 선택합니다.
    • 범위: 전역 액세스를 선택합니다(로깅 엔드포인트를 구성하는 데 필요).
    • 만료: 만료되지 않음을 선택하거나 적절한 만료일을 설정합니다.
  6. 토큰 만들기를 클릭합니다.
  7. API 토큰을 복사하여 안전하게 저장합니다.

Google SecOps용 AWS S3 버킷 및 IAM 구성

  1. 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
  2. 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다(예: fastly-cdn-logs).
  3. 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
  4. 생성된 사용자를 선택합니다.
  5. 보안용 사용자 인증 정보 탭을 선택합니다.
  6. 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
  7. 사용 사례로 서드 파티 서비스를 선택합니다.
  8. 다음을 클릭합니다.
  9. 선택사항: 설명 태그를 추가합니다.
  10. 액세스 키 만들기를 클릭합니다.
  11. .csv 파일 다운로드를 클릭하여 나중에 참조할 수 있도록 액세스 키와 보안 비밀 액세스 키를 저장합니다.
  12. 완료를 클릭합니다.
  13. 권한 탭을 선택합니다.
  14. 권한 정책 섹션에서 권한 추가을 클릭합니다.
  15. 권한 추가를 선택합니다.
  16. 직접 정책 연결을 선택합니다.
  17. AmazonS3FullAccess 정책을 검색합니다.
  18. 정책을 선택합니다.
  19. 다음을 클릭합니다.
  20. 권한 추가를 클릭합니다.

Fastly S3 로깅 엔드포인트 구성

옵션 A: Fastly 제어판을 통해 구성

  1. https://manage.fastly.com에서 Fastly 제어판에 로그인합니다.
  2. 로깅을 구성할 서비스를 선택합니다.
  3. 구성 수정을 클릭하고 활성 버전 클론을 선택하여 새 초안 버전을 만듭니다.
  4. 왼쪽 탐색 메뉴에서 로깅을 클릭합니다.
  5. Amazon Web Services S3 섹션에서 엔드포인트 만들기를 클릭합니다.
  6. Amazon S3 엔드포인트 만들기 양식에서 다음 구성 세부정보를 입력합니다.

    • 기본 설정:

      • 이름: 설명이 포함된 이름을 입력합니다(예: secops-s3-logs).
      • 게재위치: 형식 버전 기본값(권장)을 선택합니다.
      • 로그 형식: 다음 JSON 형식 문자열을 입력합니다.

        {"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
        
      • 타임스탬프 형식: 기본값(strftime 호환 문자열)으로 둡니다.

    S3 버킷 구성:

    • 버킷 이름: S3 버킷 이름(예: fastly-cdn-logs)을 입력합니다.
    • 도메인: 버킷이 미국 표준 리전에 있는 경우 비워 둡니다. 다른 리전의 경우 적절한 S3 엔드포인트를 입력합니다(예: us-west-2 리전의 경우 s3-us-west-2.amazonaws.com).
    • 액세스 방법: 사용자 인증 정보를 선택합니다.
    • 액세스 키: 11단계의 AWS 액세스 키를 입력합니다.
    • 보안 비밀 키: 11단계의 AWS 보안 비밀 액세스 키를 입력합니다.
    • 기간: 3600를 입력합니다(로그는 매시간 완료됨).
  7. 고급 옵션을 클릭하여 추가 설정을 펼칩니다.

    고급 설정:

    • 경로: fastly-cdn/(버킷 내에서 로그를 정리하기 위한 선택적 프리픽스)를 입력합니다.
    • PGP 공개 키: 비워 둡니다(이 통합에는 암호화가 필요하지 않음).
    • 로그 줄 형식 선택: 비어 있음을 선택합니다(커스텀 JSON 형식을 사용함).
    • 압축: gzip을 선택합니다(스토리지 비용을 줄이기 위해 권장됨).
    • 중복 수준: 표준을 선택합니다.
    • ACL: 비공개를 선택합니다(권장).
    • 서버 측 암호화: 없음을 선택하거나 보안 요구사항에 따라 구성합니다.
    • 최대 바이트: 0을 입력합니다(최대 파일 크기 제한 없음).
  8. 만들기를 클릭하여 로깅 엔드포인트를 만듭니다.

  9. 오른쪽 상단에서 활성화를 클릭합니다.

  10. 프로덕션에서 활성화를 선택하여 구성 변경사항을 배포합니다.

  11. 확인 대화상자에서 활성화를 클릭하여 확인합니다.

옵션 B: Fastly API를 통해 구성

API를 통해 로깅을 구성하려면 다음 방법을 사용하세요.

  1. 제어판에서 또는 서비스를 나열하여 Fastly 서비스 ID를 가져옵니다.

    curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service
    
  2. 활성 버전을 클론하여 새 초안 버전을 만듭니다.

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"
    
  3. 새 초안 버전에 S3 로깅 엔드포인트를 만듭니다.

    curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      -H "Content-Type: application/x-www-form-urlencoded" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \
      --data-urlencode 'name=secops-s3-logs' \
      --data-urlencode 'bucket_name=fastly-cdn-logs' \
      --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \
      --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \
      --data-urlencode 'path=fastly-cdn/' \
      --data-urlencode 'period=3600' \
      --data-urlencode 'gzip_level=9' \
      --data-urlencode 'format_version=2' \
      --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'
    
  4. 새 버전을 활성화합니다.

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
    

S3로의 로그 전송 확인

  1. 첫 번째 로그 파일이 완료될 때까지 약 1시간(구성된 기간에 따라 다름)을 기다립니다.
  2. AWS 콘솔에서 S3 > 버킷으로 이동합니다.
  3. 버킷 이름(예: fastly-cdn-logs)을 클릭합니다.
  4. fastly-cdn/ 프리픽스 폴더로 이동합니다.
  5. 다음과 유사한 이름 지정 패턴으로 로그 파일이 생성되는지 확인합니다.

    fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gz
    
  6. 샘플 로그 파일을 다운로드하고 JSON 형식이 구성과 일치하는지 확인합니다.

Fastly CDN 로그를 수집하도록 Google SecOps에서 피드 구성

  1. 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 다음 페이지에서 단일 피드 구성을 클릭합니다.
  4. 피드 이름에 고유한 이름을 입력합니다.
  5. 소스 유형으로 Amazon S3 V2를 선택합니다.
  6. 로그 유형으로 Fastly CDN을 선택합니다.
  7. 다음을 클릭한 후 제출을 클릭합니다.
  8. 다음 필드의 값을 지정합니다.

    • S3 URI: s3://fastly-cdn-logs/fastly-cdn/
    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
    • 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다 (기본값은 180일).
    • 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키입니다.
    • 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.
    • 애셋 네임스페이스: 애셋 네임스페이스입니다.
    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
  9. 다음을 클릭한 후 제출을 클릭합니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 로직
request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge additional.fields 비어 있지 않은 경우 각 필드에서 생성된 라벨과 병합됨
metadata.event_type 'GENERIC_EVENT'로 설정한 후 principal_mid_present가 true인 경우 'STATUS_UPDATE'로 설정합니다.
request_method network.http.method 값이 직접 복사됨
request_user_agent network.http.parsed_user_agent parseduseragent로 변환된 후 이름이 변경됨
request_referer network.http.referral_url 값이 직접 복사됨
response_status network.http.response_code 문자열로 변환된 후 정수로 변환됨
request_user_agent network.http.user_agent 값이 직접 복사됨
호스트 principal.asset.hostname 값이 직접 복사됨
client_ip principal.asset.ip 값이 직접 복사됨(IP로 grok 검증 후)
호스트 principal.hostname 값이 직접 복사됨
client_ip principal.ip 값이 직접 복사됨(IP로 grok 검증 후)
geo_city principal.location.city 값이 직접 복사됨
geo_country principal.location.country_or_region 값이 직접 복사됨
security_result security_result 값이 직접 복사됨
url target.url 값이 직접 복사됨
metadata.product_name 'FASTLY_CDN'으로 설정합니다.
metadata.vendor_name 'FASTLY_CDN'으로 설정합니다.

변경 로그

이 파서의 변경 로그 보기

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.