Google App Engine 로그 수집

다음에서 지원:

이 문서에서는 Google Cloud Storage V2를 사용하여 Google App Engine 로그를 Google Security Operations로 수집하는 방법을 설명합니다.

Google App Engine은 웹 애플리케이션과 API를 빌드하고 배포하기 위한 완전 관리형 서버리스 플랫폼입니다. App Engine은 HTTP 요청에 대한 요청 로그와 코드의 애플리케이션 로그를 자동으로 생성합니다. 이러한 로그는 Cloud Logging으로 전송되며 Google Security Operations에 수집하기 위해 Cloud Storage로 내보낼 수 있습니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스
  • Cloud Storage API가 사용 설정된 GCP 프로젝트
  • GCS 버킷을 만들고 관리할 수 있는 권한
  • GCS 버킷의 IAM 정책을 관리할 수 있는 권한
  • Cloud Logging 싱크를 만들 수 있는 권한 (roles/logging.configWriter)
  • 활성 App Engine 애플리케이션 (표준 또는 가변형 환경)

Google Cloud Storage 버킷 만들기

  1. Google Cloud Console로 이동합니다.
  2. 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
  3. 탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
  4. 버킷 만들기를 클릭합니다.

  5. 다음 구성 세부정보를 제공합니다.

    설정 값
    버킷 이름 지정 전역적으로 고유한 이름 (예: appengine-logs-export)을 입력합니다.
    위치 유형 필요에 따라 선택 (리전, 이중 리전, 멀티 리전)
    위치 위치를 선택합니다 (예: us-central1).
    스토리지 클래스 Standard (자주 액세스하는 로그에 권장)
    액세스 제어 균일 (권장)
    보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정

  6. 만들기를 클릭합니다.

App Engine 로그를 GCS로 내보내도록 Cloud Logging 구성

Cloud Logging은 로그 싱크를 사용하여 Cloud Storage 버킷을 비롯한 지원되는 대상으로 로그 항목을 라우팅합니다. 싱크의 작성자 ID에는 대상 버킷에 대한 스토리지 객체 생성자 역할 (roles/storage.objectCreator)이 필요합니다.

Cloud Logging 싱크 만들기

  1. Google Cloud 콘솔에서 로깅 > 로그 라우터로 이동합니다.
  2. 싱크 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 싱크 이름: 설명이 포함된 이름 (예: appengine-to-gcs)을 입력합니다.
    • 싱크 설명: 선택사항인 설명입니다.
  4. 다음을 클릭합니다.
  5. 싱크 서비스 선택 섹션에서 다음 단계를 따릅니다.
    • 싱크 서비스: Cloud Storage 버킷을 선택합니다.
    • Cloud Storage 버킷 선택: 드롭다운에서 appengine-logs-export를 선택합니다.
  6. 다음을 클릭합니다.

  7. 싱크에 포함할 로그 선택 섹션에서 App Engine 로그를 선택하는 필터 쿼리를 입력합니다. 리소스 유형은 정확히 'gae_app'이어야 합니다.

    모든 App Engine 로그 (요청 및 애플리케이션 로그)의 경우:

    resource.type="gae_app"

    App Engine 요청 로그만 해당:

    resource.type="gae_app"
logName="projects/PROJECT_ID/logs/appengine.googleapis.com/request_log"

    App Engine 애플리케이션 로그 (stdout/stderr)의 경우:

    resource.type="gae_app"
(logName="projects/PROJECT_ID/logs/stdout" OR logName="projects/PROJECT_ID/logs/stderr")

    PROJECT_ID를 GCP 프로젝트 ID로 바꿉니다.

  8. 다음을 클릭합니다.

  9. 구성을 검토하고 싱크 만들기를 클릭합니다.

싱크 작성자 ID에 권한 부여

싱크를 만든 후에는 대상 버킷에 싱크의 작성자 ID에 스토리지 객체 생성자 역할을 부여해야 합니다. 서비스 계정의 작성자 ID는 serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com과 유사합니다.

  1. 로그 라우터 페이지에서 새로 만든 싱크를 찾습니다.
  2. 싱크 이름 옆에 있는 메뉴 아이콘 (세로 점 3개)을 클릭합니다.
  3. 싱크 세부정보 보기를 선택합니다.
  4. 작성자 ID (서비스 계정 이메일)를 복사합니다.
  5. Cloud Storage> 버킷으로 이동합니다.
  6. 버킷 이름 (appengine-logs-export)을 클릭합니다.
  7. 권한 탭으로 이동합니다.
  8. 액세스 권한 부여를 클릭합니다.
  9. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: 싱크의 작성자 ID (서비스 계정 이메일)를 붙여넣습니다.
    • 역할 할당: 스토리지 객체 생성자를 선택합니다.
  10. 저장을 클릭합니다.

Google SecOps 서비스 계정 가져오기

Google SecOps는 고유한 서비스 계정을 사용하여 GCS 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷에 대한 액세스 권한을 부여해야 합니다.

App Engine 로그를 수집하도록 Google SecOps에서 피드 구성

  1. SIEM 설정> 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다(예: App Engine Logs).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.

  6. 로그 유형으로 GCP_APP_ENGINE을 선택합니다.

  7. 서비스 계정 가져오기를 클릭합니다.

  8. 고유한 서비스 계정 이메일이 표시됩니다(예:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  9. 이 이메일 주소를 복사합니다. 다음 단계에서 사용합니다.

  10. 다음을 클릭합니다.

  11. 다음 입력 매개변수의 값을 지정합니다.

    • 스토리지 버킷 URL: 다음 접두사 경로를 사용하여 GCS 버킷 URI를 입력합니다.

      gs://appengine-logs-export/

      Cloud Logging은 내보낸 로그 파일을 로그 유형과 날짜를 기준으로 한 디렉터리 계층구조로 구성합니다. 로그 유형은 appengine.googleapis.com/request_log와 같은 복합 이름일 수 있습니다. 파일은 샤딩되고 시간대 (예: 08:00:00_08:59:59_S0.json)로 이름이 지정됩니다.

    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.

      • 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
      • 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
      • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.

    • 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.

    • 애셋 네임스페이스: 애셋 네임스페이스입니다.

    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.

  12. 다음을 클릭합니다.

  13. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

  1. Cloud Storage> 버킷으로 이동합니다.
  2. 버킷 이름 (appengine-logs-export)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
    • 역할 할당: 스토리지 객체 뷰어를 선택합니다.

  6. 저장을 클릭합니다.

App Engine 로그 구조 이해

App Engine은 요청 로그와 앱 로그를 모두 Cloud Logging으로 자동 전송합니다. App Engine은 앱에 전송된 요청에 대한 로그를 자동으로 내보내므로 요청 로그를 작성할 필요가 없습니다. 이 섹션에서는 앱 로그를 작성하는 방법을 설명합니다.

App Engine 요청 로그에는 @type이 'type.googleapis.com/google.appengine.logging.v1.RequestLog'인 RequestLog 유형의 객체를 보유하는 protoPayload 필드가 포함된 로그 항목이 있습니다. 리소스 유형은 'gae_app'입니다.

기본적으로 로그 페이로드는 로그 항목의 textPayload 필드에 저장되는 텍스트 문자열입니다. 문자열은 로그 탐색기에 메시지로 표시되며 이를 출력한 App Engine 서비스와 버전과 연결됩니다.

구조화된 로그를 작성하려면 한 줄로 직렬화된 JSON 형식으로 로그를 작성합니다. 구조화된 로그를 JSON 사전으로 제공하면 일부 특수 필드가 jsonPayload에서 삭제되고 생성된 LogEntry의 해당 필드에 작성됩니다. 예를 들어 JSON에 심각도 속성이 포함되어 있으면 이 속성은 jsonPayload에서 삭제되고 대신 로그 항목의 심각도로 표시됩니다.

알려진 제한사항

로그 싱크에서 Cloud Storage로 로그를 라우팅하면 Cloud Storage 대상에 요청 로그만 포함됩니다. App Engine은 앱 로그를 다른 폴더에 작성합니다.

라우팅된 로그 항목은 1시간마다 일괄적으로 Cloud Storage 버킷에 저장됩니다. 첫 번째 항목이 나타나기 시작하려면 2~3시간이 걸릴 수 있습니다.

App Engine 가변형 환경에서는 로깅이 자동으로 작동합니다. 하지만 로그는 다른 형식으로 수집됩니다. 로그는 요청에 따라 번들로 묶이지 않으며 stdout 및 stderr의 로그가 별도로 수집됩니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 논리
jsonPayload.logger, taskTypeName, jsonPayload.@type, jsonPayload.backendTargetProjectNumber, jsonPayload.cacheDecision, resource.labels.version_id, resource.labels.module_id, logName, spanId, trace, protoPayload.@type, labels.clone_id, operation.producer additional.fields 각 필드에서 생성된 키-값 라벨과 병합됨
메타데이터 메타데이터 메타데이터에서 이름이 변경됨
receiveTimestamp metadata.collected_timestamp RFC3339를 사용하여 날짜 필터를 통해 파싱됨
metadata.event_type has_principal, has_target, has_principal_user가 있는 경우 'USER_LOGIN', has_principal 및 has_target이 있는 경우 'NETWORK_CONNECTION', has_principal이 없고 has_target이 있는 경우 'USER_UNCATEGORIZED', has_principal이 있는 경우 'STATUS_UPDATE', has_principal_user가 있는 경우 'USER_UNCATEGORIZED', 그 외의 경우 'GENERIC_EVENT'로 설정됩니다.
metadata.extensions.auth.type has_principal, has_target, has_principal_user가 있는 경우 'AUTHTYPE_UNSPECIFIED'로 설정됩니다.
insertId metadata.product_log_id 값이 직접 복사됨
httpRequest.requestMethod,protoPayload.method network.http.method 비어 있지 않으면 httpRequest.requestMethod의 값, 그렇지 않으면 protoPayload.method
httpRequest.userAgent network.http.parsed_user_agent parseduseragent로 변환됨
httpRequest.status network.http.response_code 문자열로 변환한 후 정수로 변환
httpRequest.userAgent network.http.user_agent 값이 직접 복사됨
httpRequest.responseSize network.received_bytes uint로 변환됨
httpRequest.requestSize network.sent_bytes uint로 변환됨
principal principal 비어 있지 않은 경우 주 구성원에서 이름이 변경됨
protoPayload.host principal.asset.hostname 값이 직접 복사됨
httpRequest.serverIp, protoPayload.ip principal.asset.ip httpRequest.serverIp 또는 protoPayload.ip의 server_ip와 병합됨
protoPayload.host principal.hostname 값이 직접 복사됨
httpRequest.serverIp, protoPayload.ip principal.ip httpRequest.serverIp 또는 protoPayload.ip의 server_ip와 병합됨
protoPayload.appId principal.resource.attribute.labels 'appId' 키와 필드의 값이 포함된 appId_label과 병합됨
requestUser principal.user.email_addresses 이메일 패턴과 일치하는 경우 requestUser와 병합됨
security_result security_result security_result에서 병합됨
resource.labels.forwarding_rule_name security_result.rule_labels 'forwarding_rule_name' 키와 필드의 값이 포함된 rule_label과 병합됨
줄이는 것을 security_result.severity (?i)ERROR|CRITICAL과 일치하면 심각도로 설정되고, (?i)INFO와 일치하면 정보로 설정되고, (?i)WARN과 일치하면 중간으로 설정되고, (?i)DEBUG와 일치하면 낮음으로 설정되고, 그 외에는 UNKNOWN_SEVERITY로 설정됩니다.
jsonPayload.statusDetails security_result.summary 값이 직접 복사됨
target target 비어 있지 않은 경우 타겟에서 이름이 변경됨
resource.labels.backend_service_name target.application 값이 직접 복사됨
httpRequest.remoteIp, jsonPayload.remoteIp target.asset.ip httpRequest.remoteIp 또는 jsonPayload.remoteIp에서 추출된 remote_ip와 병합됨
resource.labels.project_id target.cloud.project.name 값이 직접 복사됨
httpRequest.remoteIp, jsonPayload.remoteIp target.ip httpRequest.remoteIp 또는 jsonPayload.remoteIp에서 추출된 remote_ip와 병합됨
resource.labels.zone target.resource.attribute.cloud.availability_zone 값이 직접 복사됨
resource.labels.target_proxy_name, resource.labels.url_map_name target.resource.attribute.labels 각 소스의 라벨과 병합됨
resource.type target.resource.type 값이 직접 복사됨
httpRequest.requestUrl target.url 값이 직접 복사됨
metadata.product_name 'GCP_APP_ENGINE'으로 설정됩니다.
metadata.vendor_name 'GCP'로 설정

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.