Fastly CDN 로그 수집
파서 버전: 2.0
이 문서에서는 Amazon S3를 사용하여 Fastly CDN 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
Fastly는 실시간 콘텐츠 전송, 보안, 에지 컴퓨팅 서비스를 제공하는 콘텐츠 전송 네트워크(CDN) 및 에지 클라우드 플랫폼입니다. Fastly의 실시간 로그 스트리밍 기능은 보안 모니터링 및 분석을 위해 CDN 액세스 로그, WAF 이벤트, 기타 원격 분석 데이터를 Amazon S3를 비롯한 다양한 대상으로 전송할 수 있습니다.
시작하기 전에
다음 기본 요건이 충족되었는지 확인합니다.
- Google SecOps 인스턴스
- Fastly 제어판 또는 API에 대한 액세스 권한
- AWS(S3, IAM)에 대한 액세스 권한
global또는global:read범위가 있는 Fastly API 토큰
Fastly API 토큰 만들기
- https://manage.fastly.com에서 Fastly 제어판에 로그인합니다.
- 오른쪽 상단에 있는 사용자 아이콘을 클릭합니다.
- 가다 계정 > 개인 API 토큰.
- 토큰 만들기를 클릭합니다.
- API 토큰 만들기 대화상자에서 다음을 입력합니다.
- 이름: 설명이 포함된 이름을 입력합니다(예:
Google SecOps S3 Logging Configuration). - 유형: 사용자 토큰을 선택합니다.
- 범위: 전역 액세스를 선택합니다(로깅 엔드포인트를 구성하는 데 필요).
- 만료: 만료되지 않음을 선택하거나 적절한 만료일을 설정합니다.
- 이름: 설명이 포함된 이름을 입력합니다(예:
- 토큰 만들기를 클릭합니다.
- API 토큰을 복사하여 안전하게 저장합니다.
Google SecOps용 AWS S3 버킷 및 IAM 구성
- 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
- 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다(예:
fastly-cdn-logs). - 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
- 생성된 사용자를 선택합니다.
- 보안용 사용자 인증 정보 탭을 선택합니다.
- 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
- 사용 사례로 서드 파티 서비스를 선택합니다.
- 다음을 클릭합니다.
- 선택사항: 설명 태그를 추가합니다.
- 액세스 키 만들기를 클릭합니다.
- .csv 파일 다운로드를 클릭하여 나중에 참조할 수 있도록 액세스 키와 보안 비밀 액세스 키를 저장합니다.
- 완료를 클릭합니다.
- 권한 탭을 선택합니다.
- 권한 정책 섹션에서 권한 추가을 클릭합니다.
- 권한 추가를 선택합니다.
- 직접 정책 연결을 선택합니다.
- AmazonS3FullAccess 정책을 검색합니다.
- 정책을 선택합니다.
- 다음을 클릭합니다.
- 권한 추가를 클릭합니다.
Fastly S3 로깅 엔드포인트 구성
옵션 A: Fastly 제어판을 통해 구성
- https://manage.fastly.com에서 Fastly 제어판에 로그인합니다.
- 로깅을 구성할 서비스를 선택합니다.
- 구성 수정을 클릭하고 활성 버전 클론을 선택하여 새 초안 버전을 만듭니다.
- 왼쪽 탐색 메뉴에서 로깅을 클릭합니다.
- Amazon Web Services S3 섹션에서 엔드포인트 만들기를 클릭합니다.
Amazon S3 엔드포인트 만들기 양식에서 다음 구성 세부정보를 입력합니다.
기본 설정:
- 이름: 설명이 포함된 이름을 입력합니다(예:
secops-s3-logs). - 게재위치: 형식 버전 기본값(권장)을 선택합니다.
로그 형식: 다음 JSON 형식 문자열을 입력합니다.
{"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
- 타임스탬프 형식: 기본값(strftime 호환 문자열)으로 둡니다.
- 이름: 설명이 포함된 이름을 입력합니다(예:
S3 버킷 구성:
- 버킷 이름: S3 버킷 이름(예:
fastly-cdn-logs)을 입력합니다. - 도메인: 버킷이 미국 표준 리전에 있는 경우 비워 둡니다. 다른 리전의 경우 적절한 S3 엔드포인트를 입력합니다(예: us-west-2 리전의 경우
s3-us-west-2.amazonaws.com). - 액세스 방법: 사용자 인증 정보를 선택합니다.
- 액세스 키: 11단계의 AWS 액세스 키를 입력합니다.
- 보안 비밀 키: 11단계의 AWS 보안 비밀 액세스 키를 입력합니다.
- 기간:
3600를 입력합니다(로그는 매시간 완료됨).
고급 옵션을 클릭하여 추가 설정을 펼칩니다.
고급 설정:
- 경로:
fastly-cdn/(버킷 내에서 로그를 정리하기 위한 선택적 프리픽스)를 입력합니다. - PGP 공개 키: 비워 둡니다(이 통합에는 암호화가 필요하지 않음).
- 로그 줄 형식 선택: 비어 있음을 선택합니다(커스텀 JSON 형식을 사용함).
- 압축: gzip을 선택합니다(스토리지 비용을 줄이기 위해 권장됨).
- 중복 수준: 표준을 선택합니다.
- ACL: 비공개를 선택합니다(권장).
- 서버 측 암호화: 없음을 선택하거나 보안 요구사항에 따라 구성합니다.
- 최대 바이트:
0을 입력합니다(최대 파일 크기 제한 없음).
- 경로:
만들기를 클릭하여 로깅 엔드포인트를 만듭니다.
오른쪽 상단에서 활성화를 클릭합니다.
프로덕션에서 활성화를 선택하여 구성 변경사항을 배포합니다.
확인 대화상자에서 활성화를 클릭하여 확인합니다.
옵션 B: Fastly API를 통해 구성
API를 통해 로깅을 구성하려면 다음 방법을 사용하세요.
제어판에서 또는 서비스를 나열하여 Fastly 서비스 ID를 가져옵니다.
curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service활성 버전을 클론하여 새 초안 버전을 만듭니다.
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"새 초안 버전에 S3 로깅 엔드포인트를 만듭니다.
curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ -H "Content-Type: application/x-www-form-urlencoded" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \ --data-urlencode 'name=secops-s3-logs' \ --data-urlencode 'bucket_name=fastly-cdn-logs' \ --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \ --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \ --data-urlencode 'path=fastly-cdn/' \ --data-urlencode 'period=3600' \ --data-urlencode 'gzip_level=9' \ --data-urlencode 'format_version=2' \ --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'새 버전을 활성화합니다.
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
S3로의 로그 전송 확인
- 첫 번째 로그 파일이 완료될 때까지 약 1시간(구성된 기간에 따라 다름)을 기다립니다.
- AWS 콘솔에서 S3 > 버킷으로 이동합니다.
- 버킷 이름(예:
fastly-cdn-logs)을 클릭합니다. fastly-cdn/프리픽스 폴더로 이동합니다.다음과 유사한 이름 지정 패턴으로 로그 파일이 생성되는지 확인합니다.
fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gz샘플 로그 파일을 다운로드하고 JSON 형식이 구성과 일치하는지 확인합니다.
Fastly CDN 로그를 수집하도록 Google SecOps에서 피드 구성
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 다음 페이지에서 단일 피드 구성을 클릭합니다.
- 피드 이름에 고유한 이름을 입력합니다.
- 소스 유형으로 Amazon S3 V2를 선택합니다.
- 로그 유형으로 Fastly CDN을 선택합니다.
- 다음을 클릭한 후 제출을 클릭합니다.
다음 필드의 값을 지정합니다.
- S3 URI:
s3://fastly-cdn-logs/fastly-cdn/ - 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다 (기본값은 180일).
- 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키입니다.
- 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.
- 애셋 네임스페이스: 애셋 네임스페이스입니다.
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
- S3 URI:
다음을 클릭한 후 제출을 클릭합니다.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
| request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge | additional.fields | 비어 있지 않은 경우 각 필드에서 생성된 라벨과 병합됨 |
| metadata.event_type | 'GENERIC_EVENT'로 설정한 후 principal_mid_present가 true인 경우 'STATUS_UPDATE'로 설정합니다. | |
| request_method | network.http.method | 값이 직접 복사됨 |
| request_user_agent | network.http.parsed_user_agent | parseduseragent로 변환된 후 이름이 변경됨 |
| request_referer | network.http.referral_url | 값이 직접 복사됨 |
| response_status | network.http.response_code | 문자열로 변환된 후 정수로 변환됨 |
| request_user_agent | network.http.user_agent | 값이 직접 복사됨 |
| 호스트 | principal.asset.hostname | 값이 직접 복사됨 |
| client_ip | principal.asset.ip | 값이 직접 복사됨(IP로 grok 검증 후) |
| 호스트 | principal.hostname | 값이 직접 복사됨 |
| client_ip | principal.ip | 값이 직접 복사됨(IP로 grok 검증 후) |
| geo_city | principal.location.city | 값이 직접 복사됨 |
| geo_country | principal.location.country_or_region | 값이 직접 복사됨 |
| security_result | security_result | 값이 직접 복사됨 |
| url | target.url | 값이 직접 복사됨 |
| metadata.product_name | 'FASTLY_CDN'으로 설정합니다. | |
| metadata.vendor_name | 'FASTLY_CDN'으로 설정합니다. |
변경 로그
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.