Okera Dynamic Access Platform(ODAP) 감사 로그 수집
이 문서에서는 클라우드 스토리지(Amazon S3, Google Cloud Storage, Azure Blob Storage)를 사용하여 Okera Dynamic Access Platform(ODAP) 감사 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
Okera Dynamic Access Platform(ODAP)은 데이터 레이크 및 분석 플랫폼에 대한 세분화된 액세스 제어, 자동화된 데이터 검색 및 분류, 포괄적인 감사 로깅을 제공하는 데이터 액세스 제어 및 거버넌스 플랫폼입니다. 플랫폼은 모든 데이터 액세스 이벤트, 정책 변경사항, 관리 작업을 캡처하는 JSON 형식의 감사 로그를 생성합니다.
시작하기 전에
다음 기본 요건을 충족하는지 확인합니다.
- Google SecOps 인스턴스
- 활성 Okera ODAP 배포(버전 2.0 이상)
- Okera 클러스터 구성에 대한 관리 액세스(Helm 차트 또는 구성 YAML)
- 다음 클라우드 플랫폼 중 하나에 대한 액세스 권한:
- Amazon S3 스토리지의 AWS(S3, IAM)
- Google Cloud Storage용 GCP(Cloud Storage, IAM)
- Azure Data Lake Storage Gen2용 Azure(스토리지 계정)
- Okera 클러스터에 클라우드 스토리지 위치에 대한 쓰기 액세스 권한이 있어야 합니다.
Okera ODAP 감사 로그 내보내기 구성
Okera ODAP 감사 로그는 클러스터 구성 YAML 파일을 통해 구성되고 Okera Helm 차트를 사용하여 배포됩니다. 감사 로그는 JSON 형식으로 공유 클라우드 스토리지 위치에 기록됩니다.
클라우드 스토리지 플랫폼 결정
Okera 배포에 따라 다음 클라우드 스토리지 플랫폼 중 하나를 선택합니다.
- Amazon S3: AWS에서 실행되는 Okera 클러스터의 경우
- Google Cloud Storage: GCP에서 실행되는 Okera 클러스터용
- Azure Data Lake Storage Gen2: Azure에서 실행되는 Okera 클러스터의 경우
감사 로그 스토리지 위치 구성
- Okera 클러스터 구성 YAML 파일에 액세스합니다.
- 감사 로그 구성 섹션을 찾습니다.
클라우드 플랫폼에 따라 감사 로그 대상을 구성합니다.
Amazon S3:
WATCHER_LOG_DST_DIR: "s3://your-company/okera/ops/" WATCHER_AUDIT_LOG_DST_DIR: "s3://your-company/okera/audit/" WATCHER_S3_REGION: "us-east-1" WATCHER_S3_ENCRYPT: "true" WATCHER_AUDIT_UPLOAD_INTERVAL_SEC: "15"다음을 바꿉니다.
your-company: S3 버킷 이름us-east-1: AWS 리전
Google Cloud Storage:
WATCHER_LOG_DST_DIR: "gs://your-company/okera/ops/" WATCHER_AUDIT_LOG_DST_DIR: "gs://your-company/okera/audit/" WATCHER_AUDIT_UPLOAD_INTERVAL_SEC: "15"다음을 바꿉니다.
your-company: GCS 버킷 이름
Azure Data Lake Storage Gen2:
WATCHER_LOG_DST_DIR: "abfs://okera-ops@yourstorageaccount.dfs.core.windows.net/" WATCHER_AUDIT_LOG_DST_DIR: "abfs://okera-audit@yourstorageaccount.dfs.core.windows.net/" WATCHER_AUDIT_UPLOAD_INTERVAL_SEC: "15"다음을 바꿉니다.
yourstorageaccount: Azure Storage 계정 이름okera-ops및okera-audit: 컨테이너 이름
구성 파일을 저장합니다.
Helm 차트를 사용하여 Okera 클러스터를 업데이트합니다.
helm upgrade okera okera/okera -f your-config.yaml감사 로그가 구성된 위치에 기록되고 있는지 확인합니다.
S3:
aws s3 ls s3://your-company/okera/audit/GCS:
gsutil ls gs://your-company/okera/audit/Azure:
az storage blob list --account-name yourstorageaccount --container-name okera-audit
감사 로그 형식
Okera 감사 로그는 다음 특성을 가진 JSON 형식으로 작성됩니다.
- 각 파일에는 여러 JSON 레코드가 포함되며, 한 줄에 하나씩 포함됩니다(NDJSON 형식).
- 모든 데이터 액세스 이벤트, 정책 변경사항, 관리 작업이 기록에 포함됩니다.
- 파일은 저장소 위치에 날짜별로 정리됩니다.
okera_system.audit_logs데이터 세트는 감사 데이터의 쿼리 가능한 뷰를 제공합니다.
Google SecOps의 Cloud Storage 액세스 구성
클라우드 스토리지 플랫폼에 따라 아래의 적절한 가이드를 따르세요.
Amazon S3의 경우
- Okera 감사 로그가 포함된 S3 버킷에 대한 읽기 액세스 권한이 있는 IAM 사용자를 만듭니다.
- AWS S3 구성 가이드의 단계에 따라 다음을 수행합니다.
- IAM 사용자 만들기
- 액세스 키 생성
AmazonS3ReadOnlyAccess또는s3:GetObject및s3:ListBucket권한이 있는 커스텀 정책 부여
Google Cloud Storage
Google SecOps 서비스 계정 이메일을 가져옵니다.
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름을 입력합니다(예:
okera-audit-logs). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
- 로그 유형으로 Okera DAP를 선택합니다.
- 서비스 계정 가져오기를 클릭합니다.
- 표시된 서비스 계정 이메일을 복사합니다.
서비스 계정에 GCS 버킷에 대한 액세스 권한을 부여합니다.
- GCP 콘솔에서 Cloud Storage > 버킷으로 이동합니다.
- Okera 감사 로그가 포함된 버킷을 클릭합니다.
- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 주 구성원 추가에 Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당에서 스토리지 객체 뷰어를 선택합니다.
- 저장을 클릭합니다.
Azure Blob Storage
스토리지 계정 액세스 키를 검색합니다.
- Azure 포털에서 스토리지 계정으로 이동합니다.
- 보안 + 네트워킹에서 액세스 키를 선택합니다.
- 키 표시를 클릭합니다.
- 키 1 또는 키 2를 복사합니다.
Blob 서비스 엔드포인트를 기록해 둡니다.
- 형식:
https://yourstorageaccount.blob.core.windows.net/
- 형식:
Okera ODAP 감사 로그를 수집하도록 Google SecOps에서 피드 구성
Amazon S3의 경우
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름에 고유한 이름을 입력합니다(예:
okera-audit-s3). - 소스 유형으로 Amazon S3 V2를 선택합니다.
- 로그 유형으로 Okera DAP를 선택합니다.
- 다음을 클릭한 후 제출을 클릭합니다.
다음 필드의 값을 지정합니다.
- S3 URI:
s3://your-company/okera/audit/ - 소스 삭제 옵션: 안함을 선택합니다(감사 로그를 보존하는 것이 좋음).
- 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다(기본값은 180일).
- 액세스 키 ID: S3 버킷에 대한 읽기 액세스 권한이 있는 IAM 사용자 액세스 키
- 보안 비밀 액세스 키: IAM 사용자 보안 비밀 키
- 애셋 네임스페이스: 애셋 네임스페이스
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
- S3 URI:
다음을 클릭한 후 제출을 클릭합니다.
Google Cloud Storage
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름에 고유한 이름을 입력합니다(예:
okera-audit-gcs). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
- 로그 유형으로 Okera DAP를 선택합니다.
- 다음을 클릭합니다.
다음 필드의 값을 지정합니다.
- 스토리지 버킷 URL:
gs://your-company/okera/audit/ - 소스 삭제 옵션: 안함을 선택합니다(감사 로그를 보존하는 것이 좋음).
- 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다(기본값은 180일).
- 애셋 네임스페이스: 애셋 네임스페이스
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
- 스토리지 버킷 URL:
다음을 클릭한 후 제출을 클릭합니다.
Azure Blob Storage
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름에 고유한 이름을 입력합니다(예:
okera-audit-azure). - 소스 유형으로 Microsoft Azure Blob Storage V2를 선택합니다.
- 로그 유형으로 Okera DAP를 선택합니다.
- 다음을 클릭합니다.
다음 필드의 값을 지정합니다.
- Azure URI:
https://yourstorageaccount.blob.core.windows.net/okera-audit/ - 소스 삭제 옵션: 안함을 선택합니다(감사 로그를 보존하는 것이 좋음).
- 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다(기본값은 180일).
- 공유 키: 스토리지 계정 액세스 키
- 애셋 네임스페이스: 애셋 네임스페이스
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
- Azure URI:
다음을 클릭한 후 제출을 클릭합니다.
감사 로그 수집 확인
- 초기 처리가 완료될 때까지 10~15분 정도 기다립니다.
- Google SecOps에서 검색으로 이동합니다.
검색어를 실행하여 Okera 감사 로그가 수집되고 있는지 확인합니다.
metadata.vendor_name = "Okera"이벤트가 최근 타임스탬프와 함께 표시되는지 확인합니다.
피드 상태를 확인합니다.
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- Okera 감사 피드를 찾습니다.
- 상태가 활성으로 표시되는지 확인합니다.
- 마지막으로 성공한 처리 타임스탬프를 확인합니다.
문제 해결
Google SecOps에 로그가 표시되지 않음
- Okera가 구성된 클라우드 스토리지 위치에 감사 로그를 작성하는지 확인합니다.
- 피드 구성의 저장소 경로가
WATCHER_AUDIT_LOG_DST_DIR설정과 일치하는지 확인합니다. - Cloud Storage 권한이 올바르게 구성되었는지 확인
- 피드 상태에서 오류 메시지 확인하기
권한 오류
- S3: IAM 사용자에게
s3:GetObject및s3:ListBucket권한이 있는지 확인합니다. - GCS: Google SecOps 서비스 계정에 스토리지 객체 뷰어 역할이 있는지 확인합니다.
- Azure: 스토리지 계정 액세스 키가 올바르고 만료되지 않았는지 확인합니다.
Okera에서 감사 로그를 작성하지 않음
WATCHER_AUDIT_LOG_DST_DIR구성이 올바르게 설정되었는지 확인합니다.- Okera 클러스터에 클라우드 스토리지 위치에 대한 쓰기 권한이 있는지 확인합니다.
- Helm 차트 업데이트가 성공적으로 적용되었는지 확인
- Okera 클러스터 로그에서 감사 로그 업로드와 관련된 오류 확인
Databricks Unity Catalog로 마이그레이션
Okera ODAP에서 Databricks Unity Catalog로 마이그레이션하려는 경우 다음 안내를 따르세요.
- Databricks Unity Catalog 감사 로그 문서를 검토합니다.
- 클라우드 스토리지로의 Unity Catalog 감사 로그 전송 구성
- Unity Catalog 감사 로그를 위한 새 Google SecOps 피드 만들기
- 이전 기간 동안 두 피드 모두 유지
- 이전이 완료된 후 Okera 피드 사용 중지
Okera ODAP 또는 Unity Catalog로의 마이그레이션에 대한 지원이 필요한 경우 Databricks 지원팀에 문의하세요.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
| extensions.auth.type | extensions.auth.type | 인증 유형 |
| json_entry.request_time | metadata.event_timestamp | 이벤트가 발생한 시점의 타임스탬프 |
| metadata.event_type | metadata.event_type | 이벤트 유형 |
| json_entry.statement_type | metadata.product_event_type | 제품별 이벤트 유형 |
| metadata.product_name | metadata.product_name | 제품 이름 |
| metadata.vendor_name | metadata.vendor_name | 공급업체/회사 이름 |
| json_entry.session_id | network.session_id | 세션 식별자 |
| json_entry.connected_user | principal.user.userid | 사용자 식별자 |
| json_entry.auth_failure | security_result.action | 수행한 작업 |
| json_entry.status | security_result.summary | 보안 결과 요약 |
| json_entry.client_application | target.application | 애플리케이션 이름 |
| json_entry.client_network_address | target.ip | IP 주소 |
| json_entry.client_network_address | target.port | 포트 번호 |
| json_entry.request_id | target.resource.attribute.labels | 리소스의 속성 키-값 쌍 |
| json_entry.num_results_read | target.resource.attribute.labels | |
| json_entry.num_results_returned | target.resource.attribute.labels | |
| json_entry.peak_memory_usage | target.resource.attribute.labels | |
| json_entry.statement | target.resource.attribute.labels | |
| json_entry.bytes_scanned | target.resource.attribute.labels | |
| json_entry.for_reporting | target.resource.attribute.labels | |
| json_entry.auth_failure | target.resource.attribute.labels | |
| json_entry.default_db | target.resource.name | 리소스의 이름 |
| target.resource.resource_type | target.resource.resource_type | 리소스 유형 |
| json_entry.user | target.user.userid | 사용자 식별자 |
변경 로그
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.