OpenAI 감사 로그 수집
이 문서에서는 Google Cloud Storage V2를 사용하여 OpenAI 감사 로그를 Google Security Operations로 수집하는 방법을 설명합니다.
OpenAI는 OpenAI API 플랫폼을 사용하는 조직에 감사 로그 API를 제공합니다. API는 API 키 수명 주기 이벤트, 사용자 관리, 프로젝트 변경사항, 초대, 서비스 계정 활동, 로그인 및 로그아웃 이벤트, 조직 구성 변경사항 등 조직 내 사용자 작업 및 구성 변경사항을 추적합니다.
시작하기 전에
다음 기본 요건이 충족되었는지 확인합니다.
- Google SecOps 인스턴스
- Cloud Storage, Cloud Run, Pub/Sub, Cloud Scheduler API가 사용 설정된 GCP 프로젝트
- GCS 버킷을 만들고 관리할 수 있는 권한
- GCS 버킷의 IAM 정책을 관리할 수 있는 권한
- Cloud Run 서비스, Pub/Sub 주제, Cloud Scheduler 작업을 만들 수 있는 권한
- OpenAI API Platform 조직의 조직 소유자 역할
OpenAI 감사 로깅 사용 설정
감사 로그에 액세스하려면 먼저 조직에서 감사 로깅을 사용 설정해야 합니다.
- https://platform.openai.com에서 OpenAI Platform에 로그인합니다.
- 설정 > 조직 > 데이터 제어로 이동합니다.
- 감사 로깅 섹션까지 아래로 스크롤합니다.
- 감사 로깅에서 사용 설정을 클릭합니다.
저장을 클릭합니다.
OpenAI Admin API 키 만들기
- https://platform.openai.com에서 OpenAI Platform에 로그인합니다.
- 왼쪽 패널에서 관리 키를 클릭합니다.
- 또는 https://platform.openai.com/settings/organization/admin-keys로 직접 이동합니다.
- 새 관리 키 만들기를 클릭합니다.
- 이름 필드에 설명이 포함된 이름을 입력합니다 (예:
Google SecOps Integration). - 만들기를 클릭합니다.
API 키를 즉시 복사하여 안전하게 저장합니다.
API 액세스 테스트
통합을 진행하기 전에 사용자 인증 정보를 테스트합니다.
# Replace with your actual Admin API key OPENAI_ADMIN_KEY="your-admin-api-key" # Test audit logs API access curl -s -H "Authorization: Bearer ${OPENAI_ADMIN_KEY}" \ -H "Content-Type: application/json" \ "https://api.openai.com/v1/organization/audit_logs?limit=5" \ | python3 -m json.tool
성공적인 응답은 object 필드가 list로 설정되고 감사 로그 항목이 포함된 data 배열이 있는 JSON 객체를 반환합니다.
Google Cloud Storage 버킷 만들기
- Google Cloud 콘솔로 이동합니다.
- 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
- 탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
- 버킷 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 버킷 이름 지정 전역적으로 고유한 이름 (예: openai-auditlog-logs)을 입력합니다.위치 유형 필요에 따라 선택 (리전, 이중 리전, 멀티 리전) 위치 위치를 선택합니다 (예: us-central1).스토리지 클래스 Standard (자주 액세스하는 로그에 권장) 액세스 제어 균일 (권장) 보호 조치 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정 만들기를 클릭합니다.
Cloud Run 함수의 서비스 계정 만들기
- GCP 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
- 서비스 계정 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 서비스 계정 이름:
openai-auditlog-collector-sa을 입력합니다. - 서비스 계정 설명:
Service account for Cloud Run function to collect OpenAI audit logs를 입력합니다.
- 서비스 계정 이름:
- 만들고 계속하기를 클릭합니다.
- 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
- 역할 선택을 클릭합니다.
- 스토리지 객체 관리자를 검색하여 선택합니다.
- + 다른 역할 추가를 클릭합니다.
- Cloud Run 호출자를 검색하여 선택합니다.
- + 다른 역할 추가를 클릭합니다.
- Cloud Functions 호출자를 검색하여 선택합니다.
- 계속을 클릭합니다.
- 완료를 클릭합니다.
GCS 버킷에 대한 IAM 권한 부여
- Cloud Storage> 버킷으로 이동합니다.
- 버킷 이름 (
openai-auditlog-logs)을 클릭합니다. - 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: 서비스 계정 이메일 (
openai-auditlog-collector-sa@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다. - 역할 할당: 스토리지 객체 관리자 선택
- 주 구성원 추가: 서비스 계정 이메일 (
- 저장을 클릭합니다.
Pub/Sub 주제 만들기
- GCP 콘솔에서 Pub/Sub> 주제로 이동합니다.
- 주제 만들기를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주제 ID:
openai-auditlog-trigger를 입력합니다. - 다른 설정은 기본값으로 둡니다.
- 주제 ID:
- 만들기를 클릭합니다.
로그를 수집하는 Cloud Run 함수 만들기
Cloud Run 함수는 Cloud Scheduler의 Pub/Sub 메시지에 의해 트리거되어 OpenAI 감사 로그 API에서 로그를 가져와 GCS에 씁니다.
- GCP 콘솔에서 Cloud Run으로 이동합니다.
- 서비스 만들기를 클릭합니다.
- 함수를 선택합니다 (인라인 편집기를 사용하여 함수 만들기).
구성 섹션에서 다음 구성 세부정보를 입력합니다.
설정 값 서비스 이름 openai-auditlog-collector리전 GCS 버킷과 일치하는 리전을 선택합니다 (예: us-central1).런타임 Python 3.12 이상 선택 트리거 (선택사항) 섹션에서 다음을 수행합니다.
- + 트리거 추가를 클릭합니다.
- Cloud Pub/Sub을 선택합니다.
- Cloud Pub/Sub 주제 선택에서
openai-auditlog-trigger를 선택합니다. - 저장을 클릭합니다.
인증 섹션에서 다음을 구성합니다.
- 인증 필요를 선택합니다.
- ID 및 액세스 관리 (IAM)를 확인합니다.
아래로 스크롤하고 컨테이너, 네트워킹, 보안을 펼칩니다.
보안 탭으로 이동합니다.
- 서비스 계정:
openai-auditlog-collector-sa선택
- 서비스 계정:
컨테이너 탭으로 이동합니다.
- 변수 및 보안 비밀을 클릭합니다.
- 각 환경 변수에 대해 + 변수 추가를 클릭합니다.
변수 이름 예시 값 설명 GCS_BUCKETopenai-auditlog-logsGCS 버킷 이름 GCS_PREFIXopenai-auditlog로그 파일의 접두사 STATE_KEYopenai-auditlog/state.json상태 파일 경로 OPENAI_ADMIN_KEYyour-admin-api-keyOpenAI Admin API 키 MAX_RECORDS5000실행당 최대 레코드 수 PAGE_SIZE100API 페이지당 레코드 수 (최대 100개) LOOKBACK_HOURS24초기 전환 확인 기간 변수 및 보안 비밀 섹션에서 요청까지 아래로 스크롤합니다.
- 요청 제한 시간:
600초 (10분)를 입력합니다.
- 요청 제한 시간:
설정 탭으로 이동합니다.
- 리소스 섹션에서 다음을 수행합니다.
- 메모리: 512MiB 이상 선택
- CPU: 1을 선택합니다.
- 리소스 섹션에서 다음을 수행합니다.
버전 확장 섹션에서 다음을 수행합니다.
- 최소 인스턴스 수:
0를 입력합니다. - 최대 인스턴스 수:
100를 입력합니다.
- 최소 인스턴스 수:
만들기를 클릭합니다.
서비스가 생성될 때까지 기다립니다 (1~2분).
서비스가 생성되면 인라인 코드 편집기가 자동으로 열립니다.
함수 코드 추가
- 진입점 필드에 main을 입력합니다.
인라인 코드 편집기에서 다음 두 파일을 만듭니다.
main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openai-auditlog') STATE_KEY = os.environ.get('STATE_KEY', 'openai-auditlog/state.json') OPENAI_ADMIN_KEY = os.environ.get('OPENAI_ADMIN_KEY') MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) API_BASE = 'https://api.openai.com' AUDIT_LOGS_ENDPOINT = '/v1/organization/audit_logs' @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch OpenAI audit logs and write them to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, OPENAI_ADMIN_KEY]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) state = load_state(bucket) now = datetime.now(timezone.utc) if isinstance(state, dict) and state.get('last_effective_at'): try: last_effective_at = int(state['last_effective_at']) last_time = datetime.fromtimestamp(last_effective_at, tz=timezone.utc) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_effective_at: {e}") last_time = now - timedelta(hours=LOOKBACK_HOURS) else: last_time = now - timedelta(hours=LOOKBACK_HOURS) start_unix = int(last_time.timestamp()) end_unix = int(now.timestamp()) print(f"Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}") records, newest_effective_at = fetch_audit_logs( start_unix=start_unix, end_unix=end_unix, page_size=PAGE_SIZE, max_records=MAX_RECORDS, ) if not records: print("No new audit log records found.") save_state(bucket, end_unix) return timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/openai_auditlog_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join( [json.dumps(record, ensure_ascii=False) for record in records] ) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}") if newest_effective_at: save_state(bucket, newest_effective_at) else: save_state(bucket, end_unix) print(f"Successfully processed {len(records)} records") except Exception as e: print(f'Error processing audit logs: {str(e)}') raise def load_state(bucket): """Load state from GCS.""" try: blob = bucket.blob(STATE_KEY) if blob.exists(): return json.loads(blob.download_as_text()) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, last_effective_at): """Save the last effective_at Unix timestamp to GCS state file.""" try: state = { 'last_effective_at': last_effective_at, 'last_run': datetime.now(timezone.utc).isoformat() } blob = bucket.blob(STATE_KEY) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_effective_at={last_effective_at}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_audit_logs(start_unix, end_unix, page_size, max_records): """ Fetch audit logs from the OpenAI API with pagination and rate limiting. Args: start_unix: Start time as Unix seconds end_unix: End time as Unix seconds page_size: Number of records per page (max 100) max_records: Maximum total records to fetch Returns: Tuple of (records list, newest effective_at Unix timestamp) """ headers = { 'Authorization': f'Bearer {OPENAI_ADMIN_KEY}', 'Content-Type': 'application/json', } records = [] newest_effective_at = None page_num = 0 backoff = 1.0 cursor = None while True: page_num += 1 if len(records) >= max_records: print(f"Reached max_records limit ({max_records})") break params = [] params.append(f"effective_at[gte]={start_unix}") params.append(f"effective_at[lte]={end_unix}") params.append(f"limit={min(page_size, max_records - len(records))}") if cursor: params.append(f"after={cursor}") url = f"{API_BASE}{AUDIT_LOGS_ENDPOINT}?{'&'.join(params)}" try: response = http.request('GET', url, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return [], None data = json.loads(response.data.decode('utf-8')) page_results = data.get('data', []) if not page_results: print(f"No more results (empty page)") break print(f"Page {page_num}: Retrieved {len(page_results)} events") records.extend(page_results) for event in page_results: try: effective_at = event.get('effective_at') if effective_at is not None: if newest_effective_at is None or effective_at > newest_effective_at: newest_effective_at = effective_at except Exception as e: print(f"Warning: Could not parse event time: {e}") has_more = data.get('has_more', False) if not has_more: print("No more pages (has_more=false)") break last_id = data.get('last_id') if not last_id: print("No more pages (no last_id)") break cursor = last_id except Exception as e: print(f"Error fetching audit logs: {e}") return [], None print(f"Retrieved {len(records)} total records from {page_num} pages") return records, newest_effective_atrequirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
배포를 클릭하여 함수를 저장하고 배포합니다.
배포가 완료될 때까지 기다립니다 (2~3분).
Cloud Scheduler 작업 만들기
- GCP Console에서 Cloud Scheduler로 이동합니다.
- 작업 만들기를 클릭합니다.
다음 구성 세부정보를 제공합니다.
설정 값 이름 openai-auditlog-collector-hourly리전 Cloud Run 함수와 동일한 리전 선택 주파수 0 * * * *(매시간 정각)시간대 시간대 선택 (UTC 권장) 타겟 유형 Pub/Sub 주제 openai-auditlog-trigger선택메일 본문 {}(빈 JSON 객체)만들기를 클릭합니다.
일정 빈도 옵션
로그 볼륨 및 지연 시간 요구사항에 따라 빈도를 선택합니다.
| 빈도 | 크론 표현식 | 사용 사례 |
|---|---|---|
| 5분마다 | */5 * * * * |
대용량, 저지연 |
| 15분마다 | */15 * * * * |
검색량 보통 |
| 1시간마다 | 0 * * * * |
표준 (권장) |
| 6시간마다 | 0 */6 * * * |
적은 볼륨, 일괄 처리 |
| 매일 | 0 0 * * * |
이전 데이터 수집 |
통합 테스트
- Cloud Scheduler 콘솔에서 작업을 찾습니다 (
openai-auditlog-collector-hourly). - 강제 실행을 클릭하여 작업을 수동으로 트리거합니다.
- 몇 초 동안 기다립니다.
- Cloud Run > 서비스로 이동합니다.
openai-auditlog-collector를 클릭합니다.- 로그 탭을 클릭합니다.
함수가 성공적으로 실행되었는지 확인합니다. 다음 항목을 찾습니다.
Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Page 1: Retrieved X events Wrote X records to gs://openai-auditlog-logs/openai-auditlog/openai_auditlog_YYYYMMDD_HHMMSS.ndjson Successfully processed X recordsCloud Storage> 버킷으로 이동합니다.
openai-auditlog-logs를 클릭합니다.openai-auditlog/폴더로 이동합니다.현재 타임스탬프로 새
.ndjson파일이 생성되었는지 확인합니다.
로그에 오류가 표시되는 경우:
- HTTP 401:
OPENAI_ADMIN_KEY환경 변수가 올바르고 키가 취소되지 않았는지 확인합니다. - HTTP 403: API 키가 조직 소유자가 만든 Admin API인지 확인합니다.
- HTTP 429: 비율 제한 - 함수가 지수 백오프로 자동 재시도됩니다.
- 환경 변수 누락: Cloud Run 함수 구성에 필요한 모든 변수가 설정되어 있는지 확인합니다.
Google SecOps 서비스 계정 가져오기
- SIEM 설정 > 피드로 이동합니다.
- 새 피드 추가를 클릭합니다.
- 단일 피드 구성을 클릭합니다.
- 피드 이름 필드에 피드 이름을 입력합니다(예:
OpenAI Audit Logs). - 소스 유형으로 Google Cloud Storage V2를 선택합니다.
로그 유형으로 OpenAI 감사 로그를 선택합니다. 서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.
다음을 클릭합니다.
다음 입력 매개변수의 값을 지정합니다.
스토리지 버킷 URL: 다음 접두사 경로를 사용하여 GCS 버킷 URI를 입력합니다.
gs://openai-auditlog-logs/openai-auditlog/
- 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
- 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
- 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
- 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.
- 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다 (기본값은 180일).
- 애셋 네임스페이스: 애셋 네임스페이스
- 수집 라벨: 이 피드의 이벤트에 적용할 라벨
다음을 클릭합니다.
확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.
Google SecOps 서비스 계정에 IAM 권한 부여
- Cloud Storage> 버킷으로 이동합니다.
openai-auditlog-logs를 클릭합니다.- 권한 탭으로 이동합니다.
- 액세스 권한 부여를 클릭합니다.
- 다음 구성 세부정보를 제공합니다.
- 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
- 역할 할당: 스토리지 객체 뷰어를 선택합니다.
저장을 클릭합니다.
UDM 매핑 테이블
| 로그 필드 | UDM 매핑 | 로직 |
|---|---|---|
| actor.session.ip_address_details.region_code | additional.fields | 키-값 쌍으로 병합됨 |
| actor.session.ip_address_details.asn | additional.fields | |
| effective_at | metadata.event_timestamp | UNIX 타임스탬프에서 변환됨 |
| has_principal | metadata.event_type | has_principal이 true인 경우 'STATUS_UPDATE', has_principal 및 has_target이 true인 경우 'NETWORK_CONNECTION', has_principal, has_file, has_source_file이 true인 경우 'FILE_COPY', has_principal 및 has_file이 true인 경우 'FILE_UNCATEGORIZED', has_user가 true인 경우 'USER_UNCATEGORIZED', 그 외의 경우 'GENERIC_EVENT'로 설정됩니다. |
| has_user | metadata.event_type | |
| has_target | metadata.event_type | |
| has_file | metadata.event_type | |
| has_source_file | metadata.event_type | |
| actor.session.user_agent | network.http.parsed_user_agent | 직접 복사되고 파싱된 사용자 에이전트로 변환된 값 |
| actor.session.ja3 | network.tls.client.ja3 | 값이 직접 복사됨 |
| actor.session.ip_address | principal.asset.ip | 값이 직접 복사됨 |
| actor.session.ip_address | principal.ip | 값이 직접 복사됨 |
| actor.session.ip_address_details.city | principal.location.city | 값이 직접 복사됨 |
| actor.session.ip_address_details.country | principal.location.country_or_region | 값이 직접 복사됨 |
| actor.session.ip_address_details.latitude | principal.location.region_latitude | 부동 소수점으로 변환됨 |
| actor.session.ip_address_details.longitude | principal.location.region_longitude | 부동 소수점으로 변환됨 |
| actor.session.ip_address_details.region | principal.location.state | 값이 직접 복사됨 |
| actor.session.user.email | principal.user.email_addresses | 값이 직접 복사됨 |
| actor.session.user.id | principal.user.userid | grok 패턴을 사용하여 추출됨 |
| actor.session.ja4 | security_result.detection_fields | 키 'ja4'와 키-값 쌍으로 병합됨 |
| 유형 | security_result.summary | 값이 직접 복사됨 |
| metadata.product_name | metadata.product_name | 'OPENAI_AUDITLOG'로 설정됩니다. |
| metadata.vendor_name | metadata.vendor_name | 'OPENAI_AUDITLOG'로 설정됩니다. |
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.