Looker 감사 로그 수집
이 문서에서는 Cloud Storage 또는 Amazon S3를 사용하여 Looker 감사 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
Looker는 조직이 실시간 비즈니스 인사이트를 탐색, 분석, 공유할 수 있도록 지원하는 비즈니스 인텔리전스 및 데이터 분석 플랫폼입니다. Looker의 시스템 활동 모델은 사용자 인증 이벤트, 쿼리 실행 기록, 대시보드 및 Look 액세스, 콘텐츠 생성 및 수정, 다운로드 이벤트, API 호출, 예약된 전송 이벤트, 권한 변경을 추적합니다.
시작하기 전에
다음 기본 요건이 충족되었는지 확인합니다.
- Google SecOps 인스턴스
- 관리 액세스 권한 또는
see_system_activity권한이 있는 Looker 인스턴스 - Looker API 사용자 인증 정보(클라이언트 ID 및 클라이언트 보안 비밀번호)
- Cloud Storage 경로: Cloud Storage, Cloud Run, Pub/Sub, Cloud Scheduler API가 사용 설정된 Google Cloud 프로젝트
- S3 경로: AWS(S3, IAM)에 대한 액세스 권한
Looker API 사용자 인증 정보 구성
Google SecOps에서 시스템 활동 감사 데이터를 검색할 수 있도록 하려면 Looker에서 API 사용자 인증 정보를 만들고 필요한 권한으로 서비스 계정을 구성해야 합니다.
API 액세스를 위한 Looker 서비스 계정 만들기
- 관리자로 Looker 인스턴스에 로그인합니다.
- 관리자 > 사용자로 이동합니다.
- 사용자 추가를 클릭합니다.
- 이메일 필드에 서비스 계정 이메일(예:
chronicle-integration@yourcompany.com)을 입력합니다. 역할에서
see_system_activity권한이 포함된 역할을 선택합니다.저장을 클릭합니다.
API3 사용자 인증 정보 생성
- 관리자 > 사용자로 이동합니다.
- 만든 서비스 계정 사용자를 찾아 수정을 클릭합니다.
- API 키 섹션까지 아래로 스크롤합니다.
- 새 API 키를 클릭합니다.
다음 값을 복사하여 안전한 위치에 저장합니다.
- 클라이언트 ID: API 인증의 공개 식별자입니다.
- 클라이언트 보안 비밀번호: API 인증을 위한 비공개 키
Looker API 기준 URL 식별
Looker API 기준 URL은 다음 형식을 따릅니다.
https://<instance_name>.cloud.looker.com
Google Cloud, Microsoft Azure에서 호스팅되는 Looker 인스턴스와 2020년 7월 7일 이후에 생성된 AWS에서 호스팅되는 인스턴스의 경우 API는 포트 443(기본 HTTPS)을 사용합니다. 이전 AWS 호스팅 인스턴스의 경우 API에서 포트 19999를 사용할 수 있습니다.
Looker 인스턴스에서 관리 > API로 이동하여 API 호스트 URL을 찾을 수 있습니다.
테스트 API 액세스
통합을 진행하기 전에 사용자 인증 정보를 테스트합니다.
# Replace with your actual credentials LOOKER_BASE_URL="https://your-instance.cloud.looker.com" CLIENT_ID="your-client-id" CLIENT_SECRET="your-client-secret" # Obtain access token TOKEN=$(curl -s -X POST "${LOOKER_BASE_URL}/api/4.0/login" \ -d "client_id=${CLIENT_ID}&client_secret=${CLIENT_SECRET}" \ | python3 -c "import sys,json; print(json.load(sys.stdin)['access_token'])") # Test System Activity access curl -s -H "Authorization: token ${TOKEN}" \ "${LOOKER_BASE_URL}/api/4.0/queries/run/json" \ -X POST \ -H "Content-Type: application/json" \ -d '{"model":"system__activity","view":"event","fields":["event.name","event.created_time"],"limit":"5","sorts":["event.created_time desc"]}' \ | python3 -m json.tool
성공적인 응답은 최근 Looker 이벤트의 JSON 배열을 반환합니다.
옵션 A: Cloud Storage를 사용하여 수집 구성
이 옵션은 Cloud Run 함수를 사용하여 Looker API에서 시스템 활동 감사 이벤트를 폴링하고 Google SecOps에서 수집할 수 있도록 Cloud Storage 버킷에 기록합니다.
Cloud Storage 버킷 만들기
- Google Cloud 콘솔로 이동합니다.
- 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
- 탐색 메뉴에서 Cloud Storage > 버킷으로 이동합니다.
- 버킷 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 버킷 이름 지정 전역적으로 고유한 이름(예: looker-audit-logs-gcs)을 입력합니다.위치 유형 필요에 따라 선택(리전, 이중 리전, 멀티 리전) 위치 위치를 선택합니다(예: us-central1).스토리지 클래스 표준(자주 액세스하는 로그에 권장) 액세스 제어 균일(권장) 보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정 만들기를 클릭합니다.
Cloud Run Functions의 서비스 계정 만들기
- Google Cloud 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
- 서비스 계정 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 서비스 계정 이름:
looker-audit-collector-sa을 입력합니다. - 서비스 계정 설명:
Service account for Cloud Run function to collect Looker audit logs을 입력합니다.
- 서비스 계정 이름:
- 만들고 계속하기를 클릭합니다.
- 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
- 역할 선택을 클릭합니다.
- 스토리지 객체 관리자를 검색하고 선택합니다.
- + 다른 역할 추가를 클릭합니다.
- Cloud Run 호출자를 검색하여 선택합니다.
- + 다른 역할 추가를 클릭합니다.
- Cloud Functions 호출자를 검색하여 선택합니다.
- 계속을 클릭합니다.
- 완료를 클릭합니다.
Cloud Storage 버킷에 Identity and Access Management(IAM) 권한 부여
- Cloud Storage > 버킷으로 이동합니다.
- 버킷 이름(
looker-audit-logs-gcs)을 클릭합니다. - 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 서비스 계정 이메일(
looker-audit-collector-sa@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다. - 역할 할당: 스토리지 객체 관리자를 선택합니다.
- 주 구성원 추가: 서비스 계정 이메일(
- 저장을 클릭합니다.
Pub/Sub 주제 만들기
- Google Cloud 콘솔에서 Pub/Sub > 주제로 이동합니다.
- 주제 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주제 ID:
looker-audit-trigger를 입력합니다. - 다른 설정은 기본값으로 둡니다.
- 주제 ID:
- 만들기를 클릭합니다.
로그를 수집하는 Cloud Run 함수 만들기
- Google Cloud 콘솔에서 Cloud Run으로 이동합니다.
- 서비스 만들기를 클릭합니다.
- 함수(인라인 편집기를 사용하여 함수 만들기)를 선택합니다.
구성 섹션에서 다음 구성 세부정보를 제공합니다.
설정 값 서비스 이름 looker-audit-collector리전 Cloud Storage 버킷과 일치하는 리전(예: us-central1)을 선택합니다.런타임 Python 3.12 이상을 선택합니다. 트리거(선택사항) 섹션에서 다음을 수행합니다.
- + 트리거 추가를 클릭합니다.
- Cloud Pub/Sub를 선택합니다.
- Cloud Pub/Sub 주제 선택에서
looker-audit-trigger를 선택합니다. - 저장을 클릭합니다.
인증 섹션에서 다음을 구성합니다.
- 인증 필요를 선택합니다.
- Identity and Access Management(IAM)를 확인합니다.
아래로 스크롤하고 컨테이너, 네트워킹, 보안을 펼칩니다.
보안 탭으로 이동합니다.
- 서비스 계정:
looker-audit-collector-sa를 선택합니다.
- 서비스 계정:
컨테이너 탭으로 이동합니다.
- 변수 및 보안 비밀을 클릭합니다.
- 각 환경 변수에 대해 + 변수 추가를 클릭합니다.
변수 이름 예시 값 설명 GCS_BUCKETlooker-audit-logs-gcsCloud Storage 버킷 이름 GCS_PREFIXlooker-audit로그 파일의 프리픽스 STATE_KEYlooker-audit/state.json상태 파일 경로 LOOKER_BASE_URLhttps://your-instance.cloud.looker.comLooker API 기준 URL LOOKER_CLIENT_IDyour-client-idLooker API 클라이언트 ID LOOKER_CLIENT_SECRETyour-client-secretLooker API 클라이언트 보안 비밀번호 LOOKBACK_HOURS24초기 대상 기간 PAGE_SIZE5000API 페이지당 레코드 수 MAX_PAGES20쿼리당 최대 페이지 수 변수 및 보안 비밀 섹션에서 요청으로 아래로 스크롤합니다.
- 요청 제한 시간:
600초(10분)를 입력합니다.
- 요청 제한 시간:
설정 탭으로 이동합니다.
- 리소스 섹션에서 다음을 수행합니다.
- 메모리: 512MiB 이상을 선택합니다.
- CPU: 1 선택
- 리소스 섹션에서 다음을 수행합니다.
버전 확장 섹션에서 다음을 수행합니다.
- 최소 인스턴스 수:
0를 입력합니다. - 최대 인스턴스 수:
100을 입력합니다.
- 최소 인스턴스 수:
만들기를 클릭합니다.
서비스가 생성될 때까지 기다립니다(1~2분).
서비스가 생성되면 인라인 코드 편집기가 자동으로 열립니다.
함수 코드 추가
- 진입점 필드에 main을 입력합니다.
- 인라인 코드 편집기에서 다음 두 파일을 만듭니다.
main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 import urllib.parse from datetime import datetime, timezone, timedelta http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=10.0, read=60.0), retries=False, ) storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'looker-audit') STATE_KEY = os.environ.get('STATE_KEY', 'looker-audit/state.json') LOOKER_BASE_URL = os.environ.get('LOOKER_BASE_URL', '').rstrip('/') CLIENT_ID = os.environ.get('LOOKER_CLIENT_ID') CLIENT_SECRET = os.environ.get('LOOKER_CLIENT_SECRET') LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '5000')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '20')) @functions_framework.cloud_event def main(cloud_event): if not all([GCS_BUCKET, LOOKER_BASE_URL, CLIENT_ID, CLIENT_SECRET]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) state = load_state(bucket) now = datetime.now(timezone.utc) if isinstance(state, dict) and state.get('last_event_time'): try: last_val = state['last_event_time'] if last_val.endswith('Z'): last_val = last_val[:-1] + '+00:00' last_time = datetime.fromisoformat(last_val) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") last_time = now - timedelta(hours=LOOKBACK_HOURS) else: last_time = now - timedelta(hours=LOOKBACK_HOURS) print(f"Fetching events from {last_time.isoformat()} to {now.isoformat()}") token = get_access_token() events = fetch_system_activity( token, 'event', [ 'event.id', 'event.name', 'event.category', 'event.created_time', 'event.is_api_call', 'event.is_admin', 'event.is_looker_employee', 'user.id', 'user.name', 'user.email' ], 'event.created_time', last_time, now ) history = fetch_system_activity( token, 'history', [ 'history.id', 'history.created_time', 'history.completed_time', 'history.status', 'history.source', 'history.issuer_source', 'history.runtime', 'history.message', 'query.id', 'query.model', 'query.view', 'user.id', 'user.name', 'user.email', 'dashboard.id', 'dashboard.title', 'look.id', 'look.title' ], 'history.created_time', last_time, now ) all_records = [] for e in events: e['_looker_record_type'] = 'event' all_records.append(e) for h in history: h['_looker_record_type'] = 'history' all_records.append(h) if not all_records: print("No new records found.") save_state(bucket, now.isoformat()) return timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/looker_audit_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join( [json.dumps(r, ensure_ascii=False, default=str) for r in all_records] ) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(all_records)} records to gs://{GCS_BUCKET}/{object_key}") newest = find_newest_time(events, history) save_state(bucket, newest if newest else now.isoformat()) print(f"Successfully processed {len(all_records)} records " f"(events: {len(events)}, history: {len(history)})") except Exception as e: print(f'Error processing logs: {str(e)}') raise def get_access_token(): url = f"{LOOKER_BASE_URL}/api/4.0/login" encoded_body = urllib.parse.urlencode({ 'client_id': CLIENT_ID, 'client_secret': CLIENT_SECRET }).encode('utf-8') response = http.request( 'POST', url, body=encoded_body, headers={'Content-Type': 'application/x-www-form-urlencoded'} ) if response.status != 200: raise Exception( f"Looker login failed: {response.status} - " f"{response.data.decode('utf-8')}" ) data = json.loads(response.data.decode('utf-8')) token = data.get('access_token') if not token: raise Exception("No access_token in login response") print("Successfully obtained Looker API access token") return token def fetch_system_activity(token, view, fields, time_field, start_time, end_time): start_str = start_time.strftime('%Y-%m-%d %H:%M:%S') end_str = end_time.strftime('%Y-%m-%d %H:%M:%S') all_records = [] offset = 0 for page in range(MAX_PAGES): query_body = { "model": "system__activity", "view": view, "fields": fields, "filters": { time_field: f"{start_str} to {end_str}" }, "sorts": [f"{time_field} asc"], "limit": str(PAGE_SIZE), "offset": str(offset) } url = f"{LOOKER_BASE_URL}/api/4.0/queries/run/json" response = http.request( 'POST', url, body=json.dumps(query_body).encode('utf-8'), headers={ 'Authorization': f'token {token}', 'Content-Type': 'application/json' } ) if response.status == 429: print(f"Rate limited on {view} query. Stopping pagination.") break if response.status != 200: print(f"{view} query failed: {response.status} - " f"{response.data.decode('utf-8')}") break page_results = json.loads(response.data.decode('utf-8')) if not page_results: break all_records.extend(page_results) print(f"{view} page {page + 1}: {len(page_results)} records " f"(total: {len(all_records)})") if len(page_results) < PAGE_SIZE: break offset += PAGE_SIZE print(f"Total {view} records fetched: {len(all_records)}") return all_records def find_newest_time(events, history): newest = None for e in events: t = e.get('event.created_time') if t and (newest is None or t > newest): newest = t for h in history: t = h.get('history.created_time') if t and (newest is None or t > newest): newest = t return newest def load_state(bucket): try: blob = bucket.blob(STATE_KEY) if blob.exists(): return json.loads(blob.download_as_text()) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, last_event_time_iso): try: state = { 'last_event_time': last_event_time_iso, 'last_run': datetime.now(timezone.utc).isoformat() } blob = bucket.blob(STATE_KEY) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}")requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
- 배포를 클릭하여 함수를 저장하고 배포합니다.
배포가 완료될 때까지 기다립니다(2~3분).
Cloud Scheduler 작업 만들기
- Google Cloud 콘솔에서 Cloud Scheduler로 이동합니다.
- 작업 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 이름 looker-audit-collector-hourly리전 Cloud Run 함수와 동일한 리전 선택 주파수 0 * * * *(매시간 정각)시간대 시간대 선택(UTC 권장) 타겟 유형 Pub/Sub 주제 looker-audit-trigger선택메일 본문 {}(빈 JSON 객체)만들기를 클릭합니다.
통합 테스트
- Cloud Scheduler 콘솔에서 작업(
looker-audit-collector-hourly)을 찾습니다. - 강제 실행을 클릭하여 작업을 수동으로 트리거합니다.
- 몇 초 동안 기다립니다.
- Cloud Run > 서비스로 이동합니다.
looker-audit-collector를 클릭합니다.- 로그 탭을 클릭합니다.
함수가 성공적으로 실행되었는지 확인합니다. 다음 항목을 찾습니다.
Fetching events from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Successfully obtained Looker API access token event page 1: X records (total: X) history page 1: X records (total: X) Wrote X records to gs://looker-audit-logs-gcs/looker-audit/looker_audit_YYYYMMDD_HHMMSS.ndjson Successfully processed X records (events: X, history: X)Cloud Storage > 버킷으로 이동합니다.
looker-audit-logs-gcs를 클릭합니다.looker-audit/폴더로 이동합니다.현재 타임스탬프로 새
.ndjson파일이 생성되었는지 확인합니다.
로그에 오류가 표시되는 경우:
- HTTP 401:
LOOKER_CLIENT_ID및LOOKER_CLIENT_SECRET환경 변수가 올바른지 확인합니다. - HTTP 403: Looker 사용자에게
see_system_activity권한이 있는지 확인합니다. - HTTP 429: 비율 제한 — 함수가 페이지 매김을 중지하고 다음 예약된 실행에서 재개됩니다.
- 누락된 환경 변수: Cloud Run 함수 구성에 필요한 모든 변수가 설정되어 있는지 확인합니다.
Google SecOps 서비스 계정 검색
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름 필드에 피드 이름을 입력합니다(예:
Looker Audit Logs GCS). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
- 로그 유형으로 Looker 감사를 선택합니다.
서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.
다음을 클릭합니다.
다음 입력 파라미터의 값을 지정합니다.
스토리지 버킷 URL: 프리픽스 경로가 있는 Cloud Storage 버킷 URI를 입력합니다.
gs://looker-audit-logs-gcs/looker-audit/
소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 삭제 안함: 전송 후 파일을 삭제하지 않습니다(테스트에 권장).
- 전송된 파일 삭제: 전송이 완료된 후 파일을 삭제합니다.
전송된 파일 및 빈 디렉터리 삭제: 전송이 완료된 후 파일과 빈 디렉터리를 삭제합니다.
최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다(기본값은 180일).
애셋 네임스페이스: 애셋 네임스페이스
수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.
Google SecOps 서비스 계정에 IAM 권한 부여
- Cloud Storage > 버킷으로 이동합니다.
looker-audit-logs-gcs를 클릭합니다.- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당: 스토리지 객체 뷰어를 선택합니다.
저장을 클릭합니다.
옵션 B: Amazon S3를 사용하여 수집 구성
이 옵션은 AWS Lambda 함수를 사용하여 Looker API에서 시스템 활동 감사 이벤트를 폴링하고 Google SecOps에서 수집할 수 있도록 S3 버킷에 기록합니다.
Google SecOps용 AWS S3 버킷 및 IAM 구성
- 이 사용자 가이드(버킷 만들기)에 따라 Amazon S3 버킷을 만듭니다.
- 나중에 참조할 수 있도록 버킷 이름과 리전을 저장합니다(예:
looker-audit-logs). - 이 사용자 가이드(IAM 사용자 만들기)에 따라 사용자를 만듭니다.
- 생성된 사용자를 선택합니다.
- 보안용 사용자 인증 정보 탭을 선택합니다.
- 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
- 사용 사례로 서드 파티 서비스를 선택합니다.
- 다음을 클릭합니다.
- 선택사항: 설명 태그를 추가합니다.
- 액세스 키 만들기를 클릭합니다.
- .csv 파일 다운로드를 클릭하여 나중에 참조할 수 있도록 액세스 키와 보안 비밀 액세스 키를 저장합니다.
- 완료를 클릭합니다.
- 권한 탭을 선택합니다.
- thought 권한 정책 섹션에서 권한 추가를 클릭합니다.
- 권한 추가를 선택합니다.
- 직접 정책 연결을 선택합니다.
- AmazonS3FullAccess 정책을 검색합니다.
- 정책을 선택합니다.
- 다음을 클릭합니다.
- 권한 추가를 클릭합니다.
S3 업로드에 대한 IAM 정책 및 역할 구성
- AWS 콘솔에서 IAM > 정책 > 정책 만들기 > JSON 탭으로 이동합니다.
- 아래 정책을 복사하여 붙여넣습니다.
정책 JSON(다른 버킷 이름을 입력한 경우
looker-audit-logs를 바꿈):{ "Version": "2012-10-17", "Statement": [ { "Sid": "AllowPutObjects", "Effect": "Allow", "Action": "s3:PutObject", "Resource": "arn:aws:s3:::looker-audit-logs/*" }, { "Sid": "AllowGetStateObject", "Effect": "Allow", "Action": "s3:GetObject", "Resource": "arn:aws:s3:::looker-audit-logs/looker-audit/state.json" } ] }다음 > 정책 만들기를 클릭합니다.
IAM > 역할 > 역할 만들기 > AWS 서비스 > Lambda로 이동합니다.
새로 만든 정책을 연결합니다.
역할 이름을
LookerAuditCollectorRole로 지정하고 역할 만들기를 클릭합니다.
Lambda 함수 만들기
- AWS 콘솔에서 Lambda > 함수 > 함수 만들기로 이동합니다.
- 처음부터 작성을 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 이름 LookerAuditCollector런타임 Python 3.13 아키텍처 x86_64 실행 역할 LookerAuditCollectorRole함수가 생성되면 코드 탭을 열고 스텁을 삭제한 후 아래 코드(LookerAuditCollector.py)를 붙여넣습니다.
import urllib3 import json import boto3 import os from datetime import datetime, timezone, timedelta import logging import urllib.parse logger = logging.getLogger() logger.setLevel(logging.INFO) http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=10.0, read=60.0), retries=False, ) s3 = boto3.client('s3') BUCKET = os.environ['S3_BUCKET'] PREFIX = os.environ['S3_PREFIX'] STATE_KEY = os.environ['STATE_KEY'] LOOKER_BASE_URL = os.environ['LOOKER_BASE_URL'].rstrip('/') CLIENT_ID = os.environ['LOOKER_CLIENT_ID'] CLIENT_SECRET = os.environ['LOOKER_CLIENT_SECRET'] LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '5000')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '20')) def lambda_handler(event, context): try: state = load_state() now = datetime.now(timezone.utc) if state and state.get('last_event_time'): try: last_time = datetime.fromisoformat( state['last_event_time'].replace('Z', '+00:00') ) last_time = last_time - timedelta(minutes=2) except Exception as e: logger.warning(f"Could not parse last_event_time: {e}") last_time = now - timedelta(hours=LOOKBACK_HOURS) else: last_time = now - timedelta(hours=LOOKBACK_HOURS) logger.info(f"Fetching events from {last_time.isoformat()} to {now.isoformat()}") token = get_access_token() events = fetch_events(token, last_time, now) history = fetch_history(token, last_time, now) all_records = [] for e in events: e['_looker_record_type'] = 'event' all_records.append(e) for h in history: h['_looker_record_type'] = 'history' all_records.append(h) if not all_records: logger.info("No new records found.") save_state(now.isoformat()) return {'statusCode': 200, 'body': json.dumps({'events': 0})} timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{PREFIX}/looker_audit_{timestamp}.ndjson" ndjson = '\n'.join( [json.dumps(r, ensure_ascii=False, default=str) for r in all_records] ) + '\n' s3.put_object( Bucket=BUCKET, Key=object_key, Body=ndjson.encode('utf-8'), ContentType='application/x-ndjson' ) logger.info(f"Wrote {len(all_records)} records to s3://{BUCKET}/{object_key}") newest_time = find_newest_time(events, history) save_state(newest_time if newest_time else now.isoformat()) return { 'statusCode': 200, 'body': json.dumps({ 'events': len(events), 'history': len(history), 'total': len(all_records) }) } except Exception as e: logger.error(f"Lambda execution failed: {str(e)}") raise def get_access_token(): url = f"{LOOKER_BASE_URL}/api/4.0/login" encoded_body = urllib.parse.urlencode({ 'client_id': CLIENT_ID, 'client_secret': CLIENT_SECRET }).encode('utf-8') response = http.request( 'POST', url, body=encoded_body, headers={'Content-Type': 'application/x-www-form-urlencoded'} ) if response.status != 200: raise Exception( f"Login failed with status {response.status}: " f"{response.data.decode('utf-8')}" ) data = json.loads(response.data.decode('utf-8')) token = data.get('access_token') if not token: raise Exception("No access_token in login response") logger.info("Successfully obtained Looker API access token") return token def fetch_events(token, start_time, end_time): start_str = start_time.strftime('%Y-%m-%d %H:%M:%S') end_str = end_time.strftime('%Y-%m-%d %H:%M:%S') all_events = [] offset = 0 for page in range(MAX_PAGES): query_body = { "model": "system__activity", "view": "event", "fields": [ "event.id", "event.name", "event.category", "event.created_time", "event.is_api_call", "event.is_admin", "event.is_looker_employee", "user.id", "user.name", "user.email" ], "filters": { "event.created_time": f"{start_str} to {end_str}" }, "sorts": ["event.created_time asc"], "limit": str(PAGE_SIZE), "offset": str(offset) } url = f"{LOOKER_BASE_URL}/api/4.0/queries/run/json" response = http.request( 'POST', url, body=json.dumps(query_body).encode('utf-8'), headers={ 'Authorization': f'token {token}', 'Content-Type': 'application/json' } ) if response.status == 429: logger.warning("Rate limited on events query. Stopping pagination.") break if response.status != 200: logger.error( f"Events query failed: {response.status} - " f"{response.data.decode('utf-8')}" ) break page_results = json.loads(response.data.decode('utf-8')) if not page_results: logger.info(f"Events: No more results at offset {offset}") break all_events.extend(page_results) logger.info( f"Events page {page + 1}: Retrieved {len(page_results)} records " f"(total: {len(all_events)})" ) if len(page_results) < PAGE_SIZE: break offset += PAGE_SIZE logger.info(f"Total events fetched: {len(all_events)}") return all_events def fetch_history(token, start_time, end_time): start_str = start_time.strftime('%Y-%m-%d %H:%M:%S') end_str = end_time.strftime('%Y-%m-%d %H:%M:%S') all_history = [] offset = 0 for page in range(MAX_PAGES): query_body = { "model": "system__activity", "view": "history", "fields": [ "history.id", "history.created_time", "history.completed_time", "history.status", "history.source", "history.issuer_source", "history.runtime", "history.message", "query.id", "query.model", "query.view", "user.id", "user.name", "user.email", "dashboard.id", "dashboard.title", "look.id", "look.title" ], "filters": { "history.created_time": f"{start_str} to {end_str}" }, "sorts": ["history.created_time asc"], "limit": str(PAGE_SIZE), "offset": str(offset) } url = f"{LOOKER_BASE_URL}/api/4.0/queries/run/json" response = http.request( 'POST', url, body=json.dumps(query_body).encode('utf-8'), headers={ 'Authorization': f'token {token}', 'Content-Type': 'application/json' } ) if response.status == 429: logger.warning("Rate limited on history query. Stopping pagination.") break if response.status != 200: logger.error( f"History query failed: {response.status} - " f"{response.data.decode('utf-8')}" ) break page_results = json.loads(response.data.decode('utf-8')) if not page_results: logger.info(f"History: No more results at offset {offset}") break all_history.extend(page_results) logger.info( f"History page {page + 1}: Retrieved {len(page_results)} records " f"(total: {len(all_history)})" ) if len(page_results) < PAGE_SIZE: break offset += PAGE_SIZE logger.info(f"Total history records fetched: {len(all_history)}") return all_history def find_newest_time(events, history): newest = None for e in events: t = e.get('event.created_time') if t and (newest is None or t > newest): newest = t for h in history: t = h.get('history.created_time') if t and (newest is None or t > newest): newest = t return newest def load_state(): try: obj = s3.get_object(Bucket=BUCKET, Key=STATE_KEY) return json.loads(obj['Body'].read().decode('utf-8')) except s3.exceptions.NoSuchKey: logger.info("No previous state found, starting fresh") return None except Exception as e: logger.warning(f"Could not load state: {e}") return None def save_state(last_event_time): state = { 'last_event_time': last_event_time, 'last_run': datetime.now(timezone.utc).isoformat() } s3.put_object( Bucket=BUCKET, Key=STATE_KEY, Body=json.dumps(state, indent=2).encode('utf-8'), ContentType='application/json' ) logger.info(f"Saved state: last_event_time={last_event_time}")구성 > 환경 변수 > 수정 > 새 환경 변수 추가로 이동합니다.
아래에 제공된 환경 변수를 입력하고 내 값으로 바꿉니다.
환경 변수
| 키 | 예시 값 |
|---|---|
S3_BUCKET |
looker-audit-logs |
S3_PREFIX |
looker-audit/ |
STATE_KEY |
looker-audit/state.json |
LOOKER_BASE_URL |
https://your-instance.cloud.looker.com |
LOOKER_CLIENT_ID |
your-looker-client-id |
LOOKER_CLIENT_SECRET |
your-looker-client-secret |
LOOKBACK_HOURS |
24 |
PAGE_SIZE |
5000 |
MAX_PAGES |
20 |
- 함수가 생성되면 해당 페이지에 머무르거나 Lambda > Functions > your-function을 엽니다.
- 구성 탭을 선택합니다.
- 일반 구성 패널에서 수정을 클릭합니다.
제한 시간을 5분(300초)으로 변경하고 저장을 클릭합니다.
EventBridge 일정 만들기
- Amazon EventBridge > Scheduler > Create schedule로 이동합니다.
- 다음 구성 세부정보를 제공합니다.
- 반복 일정: 비율(
1 hour) - 대상: Lambda 함수
LookerAuditCollector - 이름:
LookerAuditCollector-1h
- 반복 일정: 비율(
- 일정 만들기를 클릭합니다.
Looker 감사 로그를 수집하도록 Google SecOps에서 피드 구성
- 설정 > 데이터 관리 > 피드로 이동합니다. SIEM 전용 플랫폼을 사용하는 경우 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 다음 페이지에서 단일 피드 구성을 클릭합니다.
- 피드 이름에 고유한 이름을 입력합니다.
- 소스 유형으로 Amazon S3 V2를 선택합니다.
- 로그 유형으로 Looker 감사를 선택합니다.
- 다음을 클릭한 후 제출을 클릭합니다.
다음 필드의 값을 지정합니다.
- S3 URI:
s3://looker-audit-logs/looker-audit/ - 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 최대 파일 기간: 지난 며칠 동안 수정된 파일을 포함합니다(기본값은 180일).
- 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키
- 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키
- 애셋 네임스페이스: 애셋 네임스페이스
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.
- S3 URI:
다음을 클릭한 후 제출을 클릭합니다.
Looker 시스템 활동 데이터 참조
다음 표에서는 이 통합으로 수집되는 Looker 시스템 활동 탐색에서 사용할 수 있는 주요 데이터를 설명합니다.
| 탐색 | 수집되는 데이터 | 보관 |
|---|---|---|
| 이벤트 | 사용자 인증 이벤트, 콘텐츠 제작 및 수정, 권한 변경, API 호출, 예약된 전송 이벤트, 다운로드 이벤트 | 90일(기본값) |
| 기록 | 쿼리 실행 기록, 대시보드 및 Look 액세스, 쿼리 런타임 및 상태, 쿼리 소스(UI, API, 일정) | 90일(기본값) |
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
| 그룹 수정 링크 | additional.fields.Group_Edit_Link_label.value.string_value | 값이 직접 복사됨 |
| 그룹 ID | additional.fields.Group_ID_label.value.string_value | 값이 직접 복사됨 |
| 기록 최근 실행 시간(초) | additional.fields.History_Most_Recent_Run_Length_in_Seconds_label.value.string_value | 값이 직접 복사됨 |
| 기록 슬러그 | additional.fields.History_Slug_label.value.string_value | 값이 직접 복사됨 |
| 기록 소스 | additional.fields.History_Source_label.value.string_value | 값이 직접 복사됨 |
| 기록 상태 | additional.fields.History_Status_label.value.string_value | 값이 직접 복사됨 |
| Look Link | additional.fields.Look_Link_label.value.string_value | 값이 직접 복사됨 |
| Look 제목 | additional.fields.Look_Title_label.value.string_value | 값이 직접 복사됨 |
| 사용자 수정 링크 | additional.fields.User_Edit_Link_label.value.string_value | 값이 직접 복사됨 |
| 사용자 홈 폴더 | additional.fields.User_Home_Folder_label.value.string_value | 값이 직접 복사됨 |
| dashboard.link | additional.fields.dashboard_link_label.value.string_value | 값이 직접 복사됨 |
| dashboard.title | additional.fields.dashboard_title_label.value.string_value | 값이 직접 복사됨 |
| history.source | additional.fields.history_source_label.value.string_value | 값이 직접 복사됨 |
| history.status | additional.fields.history_status_label.value.string_value | 값이 직접 복사됨 |
| history.id | additional.fields.id_label.value.string_value | 문자열로 변환됨 |
| history.connection_name | additional.fields.name_label.value.string_value | 값이 직접 복사됨 |
| query.model | additional.fields.query_model_label.value.string_value | 값이 직접 복사됨 |
| query.view | additional.fields.query_view_label.value.string_value | 값이 직접 복사됨 |
| sql_text.text | additional.fields.sql_text_text_label.value.string_value | 값이 직접 복사됨 |
| 기록 생성 시간 | metadata.event_timestamp | ISO8601, RFC 3339 또는 yyyy-MM-dd HH:mm:ss 형식을 사용하여 파싱됨 |
| has_principal_user | metadata.event_type | has_principal 및 has_target이 true이면 'NETWORK_CONNECTION'으로 설정되고, has_principal_user가 true이면 'USER_UNCATEGORIZED'로 설정되고, has_principal이 true이면 'STATUS_UPDATE'로 설정되고, 그 밖의 경우에는 'GENERIC_EVENT'로 설정됩니다. |
| has_principal | metadata.event_type | |
| has_target | metadata.event_type | |
| 사용자 이메일 | principal.email | 비어 있지 않은 경우 사용자 이메일의 값, 그렇지 않으면 user.email |
| user.email | principal.email | |
| 그룹 이름 | principal.group.group_display_name | 값이 직접 복사됨 |
| 사용자 ID | principal.user.product_object_id | 사용자 ID의 값(비어 있지 않은 경우), 그렇지 않으면 user.id |
| user.id | principal.user.product_object_id | |
| 사용자 이름 | principal.user.userid | 비어 있지 않은 경우 사용자 이름의 값, 그렇지 않으면 user.name |
| user.name | principal.user.userid | |
| 케빈 리우 | security_result.category_details | Kevin Liu가 비어 있지 않은 경우 'Kevin_Liu_label'과 병합, History ID가 비어 있지 않은 경우 'History_ID_label'과 병합, History Created Date가 비어 있지 않은 경우 'History_Created_Date_label'과 병합 |
| 기록 ID | security_result.category_details | |
| 기록 생성일 | security_result.category_details | |
| Look 설명 | security_result.description | 값이 직접 복사됨 |
| 사용자 이름 정렬됨 | target.hostname | 사용자 개발 브랜치 이름이 비어 있지 않은 경우 값이 복사됩니다. |
user.name |
principal.user.user_display_name |
변경 로그에서 매핑됨 |
변경 로그
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.