F5 Shape 로그 수집

파서 버전: 1.0

다음에서 지원:

이 문서에서는 Cloud Storage V2를 사용하여 F5 Shape 로그를 Google Security Operations로 수집하는 방법을 설명합니다.

F5 Distributed Cloud Bot Defense(이전 명칭: Shape Security)는 악성 봇을 식별하고 완화하여 자동화된 공격으로부터 애플리케이션을 보호합니다. Bot Defense는 JavaScript 및 네이티브 모바일 SDK를 사용하여 클라이언트 브라우저 및 모바일 기기에서 원격 분석을 수집하고, 요청이 애플리케이션에 도달하기 전에 이 원격 분석을 검사합니다. 이 서비스는 보안 이벤트, 액세스 로그, 감사 로그를 포함하여 분석된 트래픽에 대한 자세한 정보를 볼 수 있는 통합 대시보드와 보고 기능을 제공합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스
  • Cloud Storage API가 사용 설정된 Google Cloud 프로젝트
  • Cloud Storage 버킷을 만들고 관리할 수 있는 권한
  • Cloud Storage 버킷에서 Identity and Access Management(IAM) 정책을 관리할 수 있는 권한
  • F5 Distributed Cloud 콘솔에 대한 권한이 있는 액세스
  • 멀티 클라우드 네트워크 연결 또는 공유 구성 서비스 액세스 권한이 있는 F5 Distributed Cloud 계정

Cloud Storage 버킷 만들기

  1. Google Cloud 콘솔로 이동합니다.
  2. 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
  3. 탐색 메뉴에서 Cloud Storage > 버킷으로 이동합니다.
  4. 버킷 만들기를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.

    설정 값
    버킷 이름 지정 전역적으로 고유한 이름(예: f5-xc-logs)을 입력합니다.
    위치 유형 필요에 따라 선택합니다(리전, 이중 리전, 멀티 리전).
    위치 위치를 선택합니다(예: us-central1).
    스토리지 클래스 표준(자주 액세스하는 로그에 권장)
    액세스 제어 균등(권장)
    보호 도구 선택사항: 객체 버전 관리 또는 보관 정책을 사용 설정합니다.
  6. 만들기를 클릭합니다.

F5 Shape API 사용자 인증 정보 생성

F5 Distributed Cloud는 인증에 API 인증서(mTLS) 또는 API 토큰을 사용합니다. 보안 강화를 위해 API 인증서를 사용하는 것이 좋습니다.

API 인증서 만들기

  1. F5 Distributed Cloud 콘솔에 로그인합니다.
  2. 콘솔 홈페이지에서 관리를 선택합니다.
  3. 왼쪽 탐색 메뉴에서 개인 관리 > 사용자 인증 정보로 이동합니다.
  4. Add Credentials(사용자 인증 정보 추가)를 클릭합니다.
  5. 메타데이터 섹션에서 인증서의 이름을 입력합니다(예: secops-integration).
  6. 사용자 인증 정보 유형 목록에서 API 인증서를 선택합니다.
  7. 비밀번호를 입력하고 비밀번호 확인 필드에서 확인합니다.
  8. 캘린더 목록에서 만료일을 선택합니다.

  9. 다운로드를 클릭하여 .p12 파일 형식으로 인증서를 생성하고 다운로드합니다.

  10. 나중에 사용할 수 있도록 다운로드한 인증서 파일과 비밀번호를 안전하게 저장합니다.

F5 Distributed Cloud에서 Google Cloud 사용자 인증 정보 만들기

F5 Distributed Cloud에서 Cloud Storage 버킷에 로그를 쓰려면 Google Cloud 서비스 계정 사용자 인증 정보가 필요합니다.

Google Cloud 서비스 계정 만들기

  1. Google Cloud 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
  2. 서비스 계정 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 서비스 계정 이름: f5-xc-log-writer(또는 원하는 이름)을 입력합니다.
    • 서비스 계정 설명: Service account for F5 Distributed Cloud to write logs to GCS을 입력합니다.
  4. 만들고 계속하기를 클릭합니다.
  5. 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음을 수행합니다.
    1. 역할 선택을 클릭합니다.
    2. 스토리지 객체 관리자를 검색하고 선택합니다.
  6. 계속을 클릭합니다.
  7. 완료를 클릭합니다.

Cloud Storage 버킷에 대한 IAM 권한 부여

  1. Cloud Storage > 버킷으로 이동합니다.
  2. 버킷 이름(예: f5-xc-logs)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: 서비스 계정 이메일(예: f5-xc-log-writer@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다.
    • 역할 할당: 스토리지 객체 관리자를 선택합니다.
  6. 저장을 클릭합니다.

서비스 계정 키 만들기

  1. Google Cloud 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
  2. 서비스 계정(예: f5-xc-log-writer)을 찾아 클릭합니다.
  3. 키 탭으로 이동합니다.
  4. 키 추가 > 새 키 만들기를 클릭합니다.
  5. 키 유형으로 JSON을 선택합니다.
  6. 만들기를 클릭합니다.
  7. JSON 키 파일이 자동으로 다운로드됩니다. 이 파일을 안전하게 저장합니다.

F5 Distributed Cloud에 Google Cloud 사용자 인증 정보 추가

  1. F5 Distributed Cloud 콘솔의 홈페이지에서 멀티 클라우드 네트워크 연결 또는 공유 구성을 선택합니다.
  2. 왼쪽 탐색 메뉴에서 관리 > 사이트 관리 > 클라우드 사용자 인증 정보로 이동합니다.
  3. 클라우드 사용자 인증 정보 추가를 클릭합니다.
  4. 메타데이터 섹션에서 이름을 입력합니다(예: gcp-secops-logs).
  5. Cloud Credentials Type(클라우드 사용자 인증 정보 유형) 목록에서 GCP Credentials(GCP 사용자 인증 정보)를 선택합니다.
  6. GCP 사용자 인증 정보 섹션에서 구성을 클릭합니다.
  7. 서비스 계정 키 섹션에서 다음을 수행합니다.
    1. 보안 비밀 유형 목록에서 Blindfolded 보안 비밀을 선택합니다.
    2. 작업 목록에서 새 보안 비밀 블라인드폴드를 선택합니다.
    3. 정책 유형 목록에서 기본 제공을 선택합니다.
    4. Secret to Blindfold 필드에 다운로드한 JSON 키 파일의 전체 콘텐츠를 붙여넣습니다.
  8. 적용을 클릭합니다.
  9. 저장 후 종료를 클릭합니다.

Cloud Storage의 전역 로그 수신자 구성

F5 Distributed Cloud Global Log Receiver는 5분마다 NDJSON 형식(줄바꿈으로 구분된 JSON)으로 로그를 Cloud Storage로 스트리밍합니다.

전역 로그 수신자 만들기

  1. F5 Distributed Cloud 콘솔의 홈페이지에서 멀티 클라우드 네트워크 연결 또는 공유 구성을 선택합니다.
    • 멀티 클라우드 네트워크 연결: 관리 > 로그 관리 > 전역 로그 수신자로 이동합니다.
    • 공유 구성: 관리 > 전역 로그 수신자로 이동합니다.
  2. 전역 로그 수신자 추가를 클릭합니다.
  3. 메타데이터 섹션에서 이름을 입력합니다(예: secops-gcs-receiver).
  4. 원하는 경우 라벨과 설명을 추가합니다.
  5. 로그 유형 목록에서 수집할 로그 유형을 선택합니다.

    • 요청 로그: 부하 분산기의 HTTP 액세스 로그
    • 보안 이벤트: 봇 방어 및 WAF 보안 이벤트
    • 감사 로그: 구성 및 관리 감사 로그
    • DNS 요청 로그: DNS 쿼리 로그
  6. 로그 메시지 선택 목록에서 다음을 수행합니다.

    • 멀티 클라우드 네트워크 연결 서비스를 사용하는 경우 현재 네임스페이스에서 로그 선택(시스템 네임스페이스)을 선택합니다.
    • 공유 구성 서비스를 사용하는 경우 다음 중 하나를 선택합니다.
      • 현재 네임스페이스에서 로그 선택: 공유 네임스페이스에서만 로그를 전송합니다.
      • 모든 네임스페이스에서 로그 선택: 모든 네임스페이스에서 로그를 전송합니다.
      • 특정 네임스페이스의 로그 선택: 특정 네임스페이스 이름을 입력하고 항목 추가를 클릭하여 더 추가합니다.
  7. 수신자 구성 목록에서 GCP 버킷을 선택합니다.

  8. GCP 버킷 섹션에서 다음 구성을 제공합니다.

    • GCP 버킷 이름: Cloud Storage 버킷 이름(예: f5-xc-logs)을 입력합니다.
    • GCP 클라우드 사용자 인증 정보: 목록에서 만든 클라우드 사용자 인증 정보(예: gcp-secops-logs)를 선택합니다.

고급 설정 구성(선택사항)

  1. 고급 필드 표시 전환 버튼을 클릭합니다.
  2. 배치 옵션 섹션에서 다음을 구성합니다(선택사항).

    • 배치 제한 시간 옵션: 제한 시간(초)을 선택하고 값을 입력합니다(기본값: 300초).
    • 일괄 최대 이벤트: 최대 이벤트를 선택하고 32~2,000 사이의 값을 입력합니다(선택사항).
    • 일괄 바이트: 최대 바이트를 선택하고 4096~1048576 사이의 값을 입력합니다(기본값: 10485760바이트/10MB).

구성 완료 및 테스트

  1. 저장 후 종료를 클릭하여 전역 로그 수신자를 만듭니다.
  2. 전역 로그 수신자 목록에서 수신자(예: secops-gcs-receiver)를 찾습니다.
  3. 작업 열에서 점 3개 …를 클릭하고 연결 테스트를 선택합니다.
  4. 테스트가 완료될 때까지 기다립니다. 연결이 작동 중임을 나타내는 성공 메시지가 표시됩니다.

  5. 로그가 Cloud Storage에 기록되고 있는지 확인합니다.

    1. Google Cloud 콘솔에서 Cloud Storage > 버킷으로 이동합니다.
    2. 버킷 이름(예: f5-xc-logs)을 클릭합니다.
    3. 5~10분 이내에 다음과 같은 구조로 폴더가 생성됩니다.
      • 일일 폴더: YYYY-MM-DD/
      • 시간별 하위 폴더: YYYY-MM-DD/HH/
      • 로그 파일: YYYY-MM-DD/HH/logs_YYYYMMDDHHMMSS.ndjson.gz

방화벽 허용 목록 구성

F5 Distributed Cloud는 로그 전송을 위해 방화벽에서 특정 IP 범위를 허용해야 합니다.

방화벽의 허용 목록에 다음 IP 주소 범위를 추가합니다.

  • 193.16.236.64/29
  • 185.160.8.152/29

Google SecOps 서비스 계정 검색

Google SecOps는 고유한 서비스 계정을 사용하여 Cloud Storage 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷에 대한 액세스 권한을 부여해야 합니다.

서비스 계정 이메일 가져오기

  1. 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다(예: F5 Distributed Cloud Bot Defense).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
  6. 로그 유형으로 F5_SHAPE를 선택합니다.
  7. 서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.

    secops-12345678@secops-gcp-prod.iam.gserviceaccount.com
    
  8. 다음 단계에서 사용할 이메일 주소를 복사합니다.

  9. 다음을 클릭합니다.

  10. 다음 입력 파라미터의 값을 지정합니다.

    • 스토리지 버킷 URL: 프리픽스 경로가 있는 Cloud Storage 버킷 URI를 입력합니다.

      gs://f5-xc-logs/
      
      • f5-xc-logs을 실제 Cloud Storage 버킷 이름으로 바꿉니다.
      • 전역 로그 수신기에 특정 프리픽스를 구성한 경우 경로에 포함합니다(예: gs://f5-xc-logs/bot-defense/).
    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.

      • 삭제 안함: 전송 후 파일을 삭제하지 않습니다(테스트에 권장).
      • 전송된 파일 삭제: 전송이 완료된 후 파일을 삭제합니다.
      • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료된 후 파일과 빈 디렉터리를 삭제합니다.

    • 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다(기본값은 180일).

    • 애셋 네임스페이스: 애셋 네임스페이스입니다.

    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.

  11. 다음을 클릭합니다.

  12. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 Cloud Storage 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

  1. Cloud Storage > 버킷으로 이동합니다.
  2. 버킷 이름(예: f5-xc-logs)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
    • 역할 할당: 스토리지 객체 뷰어를 선택합니다.
  6. 저장을 클릭합니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 로직
msg.requestHeaders.Proxy-Client-IP, msg.requestHeaders.WF-Forwarded-For, msg.requestHeaders.X-Forwarded-For, msg.requestHeaders.wl-proxy-client-ip, msg.hashedUserAgent, msg.transactionId, msg.hashedUsername, msg.dcgShapeFailedOn, ShapeShifterId, eventType, eventId, latRequest, latResponse, latTotal, latRspWait, count, latEccWait additional.fields 다양한 필드에서 생성된 라벨에서 병합됨
intermediary intermediary 비어 있지 않은 경우 값이 직접 복사됨
설명 metadata.description 값이 직접 복사됨
target, has_principal_machine metadata.event_type target != ""인 경우 NETWORK_HTTP로 설정되고, 그렇지 않고 has_principal_machine == true인 경우 STATUS_UPDATE로 설정되고, 그렇지 않으면 GENERIC_EVENT로 설정됩니다.
앱 network.application_protocol 값이 대문자로 변환됨
requestMethod, msg.method network.http.method 비어 있지 않은 경우 requestMethod의 값, 그렇지 않으면 msg.method
requestClientApplication, msg.requestHeaders.User-Agent network.http.parsed_user_agent 비어 있지 않은 경우 requestClientApplication의 값, 그렇지 않으면 msg.requestHeaders.User-Agent가 파싱된 사용자 에이전트로 변환됨
requestContext, msg.requestHeaders.Referer network.http.referral_url 비어 있지 않은 경우 requestContext의 값, 그렇지 않으면 msg.requestHeaders.Referer
msg.sseResponseCode, prCode network.http.response_code 비어 있지 않은 경우 msg.sseResponseCode의 값, 그렇지 않으면 prCode(정수로 변환됨)
requestClientApplication, msg.requestHeaders.User-Agent network.http.user_agent 비어 있지 않은 경우 requestClientApplication의 값, 그렇지 않으면 msg.requestHeaders.User-Agent
requestHeader.x-shape-src-virtual observer.ip 값이 직접 복사됨
주 구성원 주 구성원 값이 직접 복사됨
msg.host principal.asset.hostname 값이 직접 복사됨
src, msg.src, msg.trueClientIP, requestHeader.X-Forwarded-For principal.asset.ip 비어 있지 않은 경우 src의 값, 그렇지 않으면 msg.src, 그렇지 않으면 msg.trueClientIP, 그렇지 않으면 X-Forwarded-For의 첫 번째 IP(src가 아닌 경우)
msg.host principal.hostname 값이 직접 복사됨
src, msg.src, msg.trueClientIP, requestHeader.X-Forwarded-For principal.ip 비어 있지 않은 경우 src의 값, 그렇지 않으면 msg.src, 그렇지 않으면 msg.trueClientIP, 그렇지 않으면 X-Forwarded-For의 첫 번째 IP(src가 아닌 경우)
msg.requestHeaders principal.resource.attribute.labels msg.requestHeaders의 키-값 쌍에서 병합됨
msg.uri principal.url 값이 직접 복사됨
security_result security_result 값이 직접 복사됨
deviceExternalId security_result.about.asset_id 값이 직접 복사됨
flowLabel, agentLabel, requestHeader.Content-Length, requestHeader.Content-Type, requestHeader.Accept, requestHeader.Accept-Encoding, browserType, accountInfo, requestHeader.Via, asn, tid, ctag, requestHeader.Cache-Control, transactionResult security_result.about.labels 다양한 필드에서 생성된 라벨에서 병합됨
act, msg.transactionResult security_result.action act가 PASS 및 isAttack과 일치하면 ALLOW로 설정하고, 그렇지 않으면 UNKNOWN_ACTION으로 설정합니다. 또는 msg.transactionResult == Success이면 ALLOW로 설정하고, Failure이면 BLOCK으로 설정합니다.
act, msg.transactionResult security_result.action_details 비어 있지 않은 경우 act의 값, 그렇지 않으면 msg.transactionResult
severity security_result.severity Error, error, warning인 경우 HIGH로 설정, critical과 일치하는 경우 CRITICAL로 설정, notice인 경우 MEDIUM으로 설정, information, info, INFO인 경우 LOW로 설정
severity security_result.severity_details 값이 직접 복사됨
attackCause security_result.threat_name 값이 직접 복사됨
대상 대상 값이 직접 복사됨
appName target.application 값이 직접 복사됨
dst, msg.dst target.asset.ip 비어 있지 않은 경우 dst의 값, 그렇지 않으면 msg.dst
dhost target.hostname 값이 직접 복사됨
dst, msg.dst target.ip 비어 있지 않은 경우 dst의 값, 그렇지 않으면 msg.dst
countryName target.location.country_or_region 값이 직접 복사됨
dpt target.port 정수로 변환됨
msg.responseHeaders target.resource.attribute.labels msg.responseHeaders의 키-값 쌍에서 병합됨
요청 target.url 값이 직접 복사됨
requestHeader.X-Forwarded-For intermediary.ip X-Forwarded-For 배열의 후속 IP로 설정
metadata.product_name '도형'으로 설정
metadata.vendor_name 'F5'로 설정
requestHeaders_id_array.User-Agent network.http.user_agent 변경 로그에서 매핑됨
requestHeaders_id_array.Referer network.http.referral_url 변경 로그에서 매핑됨
requestHeaders_id_array.Proxy-Client-IP", "requestHeaders_id_array.WF-Forwarded-For", "requestHeaders_id_array.X-Forwarded-For", and "requestHeaders_id_array.wl-proxy-client-ip additional.fields 변경 로그에서 매핑됨

변경 로그

이 파서의 변경 로그 보기

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.