AWS Lambda 함수 로그 수집
다음에서 지원:
Google secops
SIEM
이 문서에서는 Amazon S3를 사용하여 AWS Lambda 함수 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
AWS Lambda는 이벤트에 응답하여 코드를 실행하고 기본 컴퓨팅 리소스를 자동으로 관리하는 서버리스 컴퓨팅 서비스입니다. Lambda는 모든 함수 로그 (플랫폼 로그, 확장 프로그램 로그, 애플리케이션 출력)를 Amazon CloudWatch Logs로 자동 전송하여 함수별 로그 그룹을 만듭니다. 이 통합은 Amazon Data Firehose를 사용하여 CloudWatch Logs에서 S3 버킷으로 Lambda 로그 이벤트를 스트리밍하며, Google SecOps는 Amazon S3 V2 피드를 사용하여 이를 수집합니다.
시작하기 전에
다음 기본 요건이 충족되었는지 확인합니다.
- Google SecOps 인스턴스
- 다음 항목을 관리할 수 있는 권한이 있는 AWS 관리 콘솔에 대한 액세스 권한
- AWS Lambda (함수, 로깅 구성)
- Amazon CloudWatch Logs (로그 그룹, 구독 필터)
- Amazon Data Firehose (전송 스트림)
- Amazon S3 (버킷)
- AWS IAM (역할, 정책, 사용자)
Lambda 함수의 CloudWatch Logs 로그 그룹 확인
AWS Lambda는 함수가 처음 호출될 때 각 함수에 대해 CloudWatch Logs 로그 그룹을 자동으로 만듭니다. 기본 로그 그룹 이름 지정 규칙은 다음과 같습니다.
/aws/lambda/<function-name>
확인 방법은 다음과 같습니다.
- AWS 콘솔에서 CloudWatch > Logs > Log groups로 이동합니다.
/aws/lambda/을 검색합니다.로그를 수집하려는 각 Lambda 함수에 로그 그룹이 있는지 확인합니다.
AWS S3 버킷 구성
- 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
- 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다 (예:
lambda-logs-to-secops).
Amazon Data Firehose의 IAM 역할 구성
Amazon Data Firehose는 S3 버킷에 로그를 쓰기 위해 IAM 역할이 필요합니다.
IAM 정책 만들기
- AWS 콘솔에서 IAM > 정책 > 정책 만들기로 이동합니다.
- JSON 탭을 선택합니다.
다음 정책을 붙여넣습니다 (
lambda-logs-to-secops을 실제 버킷 이름으로 바꿈).{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3Delivery", "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::lambda-logs-to-secops", "arn:aws:s3:::lambda-logs-to-secops/*" ] }, { "Sid": "CloudWatchLogging", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": "arn:aws:logs:*:*:log-group:/aws/kinesisfirehose/lambda-logs-to-secops:log-stream:*" } ] }다음을 클릭합니다.
정책 이름 필드에
LambdaLogsFirehoseS3Policy을 입력합니다.정책 만들기를 클릭합니다.
IAM 역할 만들기
- IAM > 역할 > 역할 만들기로 이동합니다.
- 커스텀 트러스트 정책을 선택합니다.
다음 트러스트 정책을 붙여넣습니다.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "firehose.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }다음을 클릭합니다.
LambdaLogsFirehoseS3Policy를 검색하여 선택합니다.
다음을 클릭합니다.
역할 이름 필드에
LambdaLogsFirehoseToS3Role를 입력합니다.역할 만들기를 클릭합니다.
Amazon Data Firehose 스트림 만들기
- https://console.aws.amazon.com/kinesis에서 Kinesis 콘솔을 엽니다.
- 탐색 창에서 Amazon Data Firehose를 선택합니다.
- Firehose 스트림 만들기를 클릭합니다.
- 소스 및 대상 선택에서 다음 구성을 제공합니다.
- 소스: 직접 PUT을 선택합니다.
- 대상: Amazon S3를 선택합니다.
- Firehose 스트림 이름 필드에
lambda-logs-to-secops를 입력합니다. 레코드 변환의 Amazon CloudWatch Logs에서 소스 레코드 압축 해제 섹션에서 다음을 수행합니다.
- 압축 해제 사용 설정을 선택합니다.
- 메시지 추출 사용 설정을 선택하지 마세요.
대상 설정에서 다음을 수행합니다.
- S3 버킷: S3 버킷
lambda-logs-to-secops를 선택합니다. - S3 버킷 접두사 (선택사항):
lambda-logs/를 입력합니다. - S3 버킷 오류 출력 접두사 (선택사항):
firehose-errors/를 입력합니다.
- S3 버킷: S3 버킷
버퍼 힌트에서 다음을 수행합니다.
- 버퍼 크기:
5MiB (기본값) - 버퍼 간격:
300초 (기본값)
- 버퍼 크기:
고급 설정에서 다음을 수행합니다.
- 서버 측 암호화: 선택사항입니다. 암호화가 필요한 경우 사용 설정합니다.
- 오류 로깅: 사용을 선택합니다 (권장).
- 권한: 기존 IAM 역할 선택을 선택한 후
LambdaLogsFirehoseToS3Role를 선택합니다.
Firehose 스트림 만들기를 클릭합니다.
스트림 상태가 활성으로 표시될 때까지 기다립니다.
CloudWatch Logs의 IAM 역할 구성
CloudWatch Logs에서 로그 데이터를 Firehose 스트림으로 보내려면 IAM 역할이 필요합니다.
IAM 정책 만들기
- IAM > 정책 > 정책 만들기로 이동합니다.
- JSON 탭을 선택합니다.
다음 정책을 붙여넣습니다 (
<region>및<account-id>을 AWS 리전 및 계정 ID로 바꿈).{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "firehose:PutRecord", "firehose:PutRecordBatch" ], "Resource": "arn:aws:firehose:<region>:<account-id>:deliverystream/lambda-logs-to-secops" } ] }다음을 클릭합니다.
정책 이름 필드에
LambdaLogsCWLtoFirehosePolicy을 입력합니다.정책 만들기를 클릭합니다.
IAM 역할 만들기
- IAM > 역할 > 역할 만들기로 이동합니다.
- 커스텀 트러스트 정책을 선택합니다.
다음 트러스트 정책을 붙여넣습니다 (
<region>을 AWS 리전으로 바꿈).{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "logs.<region>.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }다음을 클릭합니다.
LambdaLogsCWLtoFirehosePolicy를 검색하여 선택합니다.
다음을 클릭합니다.
역할 이름 필드에
LambdaLogsCWLtoFirehoseRole를 입력합니다.역할 만들기를 클릭합니다.
CloudWatch Logs 구독 필터 만들기
- AWS 콘솔에서 CloudWatch > Logs > Log groups로 이동합니다.
- 로그 그룹
/aws/lambda/<function-name>를 선택합니다. - 구독 필터 탭을 선택합니다.
- 만들기 > Amazon Data Firehose 구독 필터 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 대상: Firehose 스트림
lambda-logs-to-secops를 선택합니다. - 권한 부여: 역할
LambdaLogsCWLtoFirehoseRole를 선택합니다. - 구독 필터 이름: 설명이 포함된 이름을 입력합니다 (예:
lambda-logs-to-secops-filter). - 로그 형식: 기타를 선택합니다.
- 구독 필터 패턴: 모든 Lambda 함수 로그 이벤트를 전송하려면 비워 둡니다.
- 대상: Firehose 스트림
스트리밍 시작을 클릭합니다.
Google SecOps용 IAM 사용자 구성
Google SecOps는 전송된 로그를 수집하기 위해 S3 버킷에 액세스할 수 있는 IAM 사용자가 필요합니다.
- 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
- 생성된 사용자를 선택합니다.
- 보안용 사용자 인증 정보 탭을 선택합니다.
- 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
- 사용 사례로 서드 파티 서비스를 선택합니다.
- 다음을 클릭합니다.
- 선택사항: 설명 태그를 추가합니다.
- 액세스 키 만들기를 클릭합니다.
- .csv 파일 다운로드를 클릭하여 나중에 참고할 수 있도록 액세스 키와 보안 비밀 액세스 키를 저장합니다.
- 완료를 클릭합니다.
- 권한 탭을 선택합니다.
- 권한 정책 섹션에서 권한 추가를 클릭합니다.
- 권한 추가를 선택합니다.
- 정책 직접 연결을 선택합니다.
- AmazonS3FullAccess 정책을 검색합니다.
- 정책을 선택합니다.
- 다음을 클릭합니다.
- 권한 추가를 클릭합니다.
AWS Lambda 함수 로그를 수집하도록 Google SecOps에서 피드 구성
- SIEM 설정> 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 다음 페이지에서 단일 피드 구성을 클릭합니다.
- 피드 이름에 고유한 이름을 입력합니다.
- 소스 유형으로 Amazon S3 V2를 선택합니다.
- 로그 유형으로 AWS Lambda 함수를 선택합니다.
- 다음을 클릭한 후 제출을 클릭합니다.
- 다음 필드에 값을 지정합니다.
- S3 URI:
s3://lambda-logs-to-secops/lambda-logs/ - 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다 (기본값은 180일).
- 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키
- 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키
- 애셋 네임스페이스: 애셋 네임스페이스
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
- S3 URI:
- 다음을 클릭한 후 제출을 클릭합니다.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 논리 |
|---|---|---|
Activity_id_label |
additional.fields |
병합됨 |
Arrays_label |
additional.fields |
병합됨 |
Name_label |
additional.fields |
병합됨 |
Type_1_label |
additional.fields |
병합됨 |
Type_id_label |
additional.fields |
병합됨 |
Type_label |
additional.fields |
병합됨 |
Uid_label |
additional.fields |
병합됨 |
Uid_label_1 |
additional.fields |
병합됨 |
Value_label |
additional.fields |
병합됨 |
__type_label |
additional.fields |
병합됨 |
attempts_label |
additional.fields |
병합됨 |
class_name_label |
additional.fields |
병합됨 |
contentType_label |
additional.fields |
병합됨 |
env_label |
additional.fields |
병합됨 |
extendedRequestId_label |
additional.fields |
병합됨 |
feature_name_label |
additional.fields |
병합됨 |
line_number_label |
additional.fields |
병합됨 |
logType_label |
additional.fields |
병합됨 |
product_name_label |
additional.fields |
병합됨 |
requestid_label |
additional.fields |
병합됨 |
sourceAccount_label |
additional.fields |
병합됨 |
stack_label |
additional.fields |
병합됨 |
totalRetryDelay_label |
additional.fields |
병합됨 |
vendor_name_label |
additional.fields |
병합됨 |
version_label |
additional.fields |
병합됨 |
has_principal |
extensions.auth.type |
매핑됨: true → AUTHTYPE_UNSPECIFIED |
description |
metadata.description |
직접 매핑됨 |
file_desc |
metadata.description |
직접 매핑됨 |
Time |
metadata.event_timestamp |
UNIX로 파싱됨 |
time |
metadata.event_timestamp |
yyyy-MM-ddTHH:mm:ss.SSSZ로 파싱됨 |
has_principal |
metadata.event_type |
매핑됨: true → USER_LOGIN, true → NETWORK_HTTP, true → NETWORK_CONNECTION, `true... |
has_principal_user |
metadata.event_type |
매핑됨: true → USER_RESOURCE_ACCESS |
Api.Operation |
metadata.product_event_type |
직접 매핑됨 |
name |
metadata.product_event_type |
직접 매핑됨 |
Api.Request.Uid |
metadata.product_log_id |
직접 매핑됨 |
id |
metadata.product_log_id |
직접 매핑됨 |
meta_data.requestId |
metadata.product_log_id |
직접 매핑됨 |
Metadata.Version |
metadata.product_version |
직접 매핑됨 |
version |
metadata.product_version |
직접 매핑됨 |
meta_data.httpStatusCode |
network.http.response_code |
직접 매핑됨 |
Http_request.User_agent |
network.http.user_agent |
직접 매핑됨 |
Actor.Invoked_by |
principal.administrative_domain |
직접 매핑됨 |
Src_endpoint.Domain |
principal.asset.hostname |
직접 매핑됨 |
Src_endpoint.Domain |
principal.hostname |
직접 매핑됨 |
Cloud.Region |
principal.resource.attribute.cloud.availability_zone |
직접 매핑됨 |
Actor.User.Name |
principal.user.userid |
직접 매핑됨 |
Status |
security_result.action_details |
직접 매핑됨 |
Category_name |
security_result.category_details |
병합됨 |
error |
security_result.description |
직접 매핑됨 |
errorMessage |
security_result.description |
직접 매핑됨 |
Metadata_uid_label |
security_result.detection_fields |
병합됨 |
category_uid_label |
security_result.detection_fields |
병합됨 |
class_uid_label |
security_result.detection_fields |
병합됨 |
errorType_label |
security_result.detection_fields |
병합됨 |
event_code_label |
security_result.detection_fields |
병합됨 |
fault_label |
security_result.detection_fields |
병합됨 |
functionName_label |
security_result.detection_fields |
병합됨 |
severity_id_label |
security_result.detection_fields |
병합됨 |
sourceArn_label |
security_result.detection_fields |
병합됨 |
type_name_label |
security_result.detection_fields |
병합됨 |
type_uid_label |
security_result.detection_fields |
병합됨 |
user_type_label |
security_result.detection_fields |
병합됨 |
Severity |
security_result.severity |
매핑됨: Informational → INFORMATIONAL |
severity |
security_result.severity |
매핑됨: INFO → INFORMATIONAL |
msg |
security_result.summary |
직접 매핑됨 |
Api.Service.Name |
target.application |
직접 매핑됨 |
service |
target.application |
직접 매핑됨 |
size |
target.file.size |
직접 매핑됨 |
filename |
target.process.file.full_path |
직접 매핑됨 |
Activity_name |
target.resource.name |
직접 매핑됨 |
targetVar |
target.resource.name |
직접 매핑됨 |
| 해당 사항 없음 | extensions.auth.type |
상수: AUTHTYPE_UNSPECIFIED |
| 해당 사항 없음 | metadata.event_type |
상수: USER_UNCATEGORIZED |
| 해당 사항 없음 | metadata.product_name |
상수: AWS_Lambda_Function |
| 해당 사항 없음 | metadata.vendor_name |
상수: AWS_Lambda_Function |
| 해당 사항 없음 | principal.resource.attribute.cloud.environment |
상수: AMAZON_WEB_SERVICES |
| 해당 사항 없음 | security_result.severity |
상수: INFORMATIONAL |
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.