OpenAI 감사 로그 수집

다음에서 지원:

이 문서에서는 Google Cloud Storage V2를 사용하여 OpenAI 감사 로그를 Google Security Operations로 수집하는 방법을 설명합니다.

OpenAI는 OpenAI API 플랫폼을 사용하는 조직에 감사 로그 API를 제공합니다. API는 API 키 수명 주기 이벤트, 사용자 관리, 프로젝트 변경사항, 초대, 서비스 계정 활동, 로그인 및 로그아웃 이벤트, 조직 구성 변경사항 등 조직 내 사용자 작업 및 구성 변경사항을 추적합니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스
  • Cloud Storage, Cloud Run, Pub/Sub, Cloud Scheduler API가 사용 설정된 GCP 프로젝트
  • GCS 버킷을 만들고 관리할 수 있는 권한
  • GCS 버킷의 IAM 정책을 관리할 수 있는 권한
  • Cloud Run 서비스, Pub/Sub 주제, Cloud Scheduler 작업을 만들 수 있는 권한
  • OpenAI API Platform 조직의 조직 소유자 역할

OpenAI 감사 로깅 사용 설정

감사 로그에 액세스하려면 먼저 조직에서 감사 로깅을 사용 설정해야 합니다.

  1. https://platform.openai.com에서 OpenAI Platform에 로그인합니다.
  2. 설정 > 조직 > 데이터 제어로 이동합니다.
  3. 감사 로깅 섹션까지 아래로 스크롤합니다.
  4. 감사 로깅에서 사용 설정을 클릭합니다.
  5. 저장을 클릭합니다.

OpenAI Admin API 키 만들기

  1. https://platform.openai.com에서 OpenAI Platform에 로그인합니다.
  2. 왼쪽 패널에서 관리 키를 클릭합니다.
  3. 또는 https://platform.openai.com/settings/organization/admin-keys로 직접 이동합니다.
  4. 새 관리 키 만들기를 클릭합니다.
  5. 이름 필드에 설명이 포함된 이름을 입력합니다 (예: Google SecOps Integration).
  6. 만들기를 클릭합니다.
  7. API 키를 즉시 복사하여 안전하게 저장합니다.

API 액세스 테스트

  • 통합을 진행하기 전에 사용자 인증 정보를 테스트합니다.

    # Replace with your actual Admin API key
    OPENAI_ADMIN_KEY="your-admin-api-key"
    
    # Test audit logs API access
    curl -s -H "Authorization: Bearer ${OPENAI_ADMIN_KEY}" \
        -H "Content-Type: application/json" \
        "https://api.openai.com/v1/organization/audit_logs?limit=5" \
        | python3 -m json.tool
    

성공적인 응답은 object 필드가 list로 설정되고 감사 로그 항목이 포함된 data 배열이 있는 JSON 객체를 반환합니다.

Google Cloud Storage 버킷 만들기

  1. Google Cloud 콘솔로 이동합니다.
  2. 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
  3. 탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
  4. 버킷 만들기를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.

    설정 값
    버킷 이름 지정 전역적으로 고유한 이름 (예: openai-auditlog-logs)을 입력합니다.
    위치 유형 필요에 따라 선택 (리전, 이중 리전, 멀티 리전)
    위치 위치를 선택합니다 (예: us-central1).
    스토리지 클래스 Standard (자주 액세스하는 로그에 권장)
    액세스 제어 균일 (권장)
    보호 조치 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정
  6. 만들기를 클릭합니다.

Cloud Run 함수의 서비스 계정 만들기

  1. GCP 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
  2. 서비스 계정 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 서비스 계정 이름: openai-auditlog-collector-sa을 입력합니다.
    • 서비스 계정 설명: Service account for Cloud Run function to collect OpenAI audit logs를 입력합니다.
  4. 만들고 계속하기를 클릭합니다.
  5. 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
    1. 역할 선택을 클릭합니다.
    2. 스토리지 객체 관리자를 검색하여 선택합니다.
    3. + 다른 역할 추가를 클릭합니다.
    4. Cloud Run 호출자를 검색하여 선택합니다.
    5. + 다른 역할 추가를 클릭합니다.
    6. Cloud Functions 호출자를 검색하여 선택합니다.
  6. 계속을 클릭합니다.
  7. 완료를 클릭합니다.

GCS 버킷에 대한 IAM 권한 부여

  1. Cloud Storage> 버킷으로 이동합니다.
  2. 버킷 이름 (openai-auditlog-logs)을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: 서비스 계정 이메일 (openai-auditlog-collector-sa@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다.
    • 역할 할당: 스토리지 객체 관리자 선택
  6. 저장을 클릭합니다.

Pub/Sub 주제 만들기

  1. GCP 콘솔에서 Pub/Sub> 주제로 이동합니다.
  2. 주제 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 주제 ID: openai-auditlog-trigger를 입력합니다.
    • 다른 설정은 기본값으로 둡니다.
  4. 만들기를 클릭합니다.

로그를 수집하는 Cloud Run 함수 만들기

Cloud Run 함수는 Cloud Scheduler의 Pub/Sub 메시지에 의해 트리거되어 OpenAI 감사 로그 API에서 로그를 가져와 GCS에 씁니다.

  1. GCP 콘솔에서 Cloud Run으로 이동합니다.
  2. 서비스 만들기를 클릭합니다.
  3. 함수를 선택합니다 (인라인 편집기를 사용하여 함수 만들기).
  4. 구성 섹션에서 다음 구성 세부정보를 입력합니다.

    설정 값
    서비스 이름 openai-auditlog-collector
    리전 GCS 버킷과 일치하는 리전을 선택합니다 (예: us-central1).
    런타임 Python 3.12 이상 선택
  5. 트리거 (선택사항) 섹션에서 다음을 수행합니다.

    1. + 트리거 추가를 클릭합니다.
    2. Cloud Pub/Sub을 선택합니다.
    3. Cloud Pub/Sub 주제 선택에서 openai-auditlog-trigger를 선택합니다.
    4. 저장을 클릭합니다.
  6. 인증 섹션에서 다음을 구성합니다.

    1. 인증 필요를 선택합니다.
    2. ID 및 액세스 관리 (IAM)를 확인합니다.
  7. 아래로 스크롤하고 컨테이너, 네트워킹, 보안을 펼칩니다.

  8. 보안 탭으로 이동합니다.

    • 서비스 계정: openai-auditlog-collector-sa 선택
  9. 컨테이너 탭으로 이동합니다.

    1. 변수 및 보안 비밀을 클릭합니다.
    2. 각 환경 변수에 대해 + 변수 추가를 클릭합니다.
    변수 이름 예시 값 설명
    GCS_BUCKET openai-auditlog-logs GCS 버킷 이름
    GCS_PREFIX openai-auditlog 로그 파일의 접두사
    STATE_KEY openai-auditlog/state.json 상태 파일 경로
    OPENAI_ADMIN_KEY your-admin-api-key OpenAI Admin API 키
    MAX_RECORDS 5000 실행당 최대 레코드 수
    PAGE_SIZE 100 API 페이지당 레코드 수 (최대 100개)
    LOOKBACK_HOURS 24 초기 전환 확인 기간
  10. 변수 및 보안 비밀 섹션에서 요청까지 아래로 스크롤합니다.

    • 요청 제한 시간: 600초 (10분)를 입력합니다.
  11. 설정 탭으로 이동합니다.

    • 리소스 섹션에서 다음을 수행합니다.
      • 메모리: 512MiB 이상 선택
      • CPU: 1을 선택합니다.
  12. 버전 확장 섹션에서 다음을 수행합니다.

    • 최소 인스턴스 수: 0를 입력합니다.
    • 최대 인스턴스 수: 100를 입력합니다.
  13. 만들기를 클릭합니다.

  14. 서비스가 생성될 때까지 기다립니다 (1~2분).

  15. 서비스가 생성되면 인라인 코드 편집기가 자동으로 열립니다.

함수 코드 추가

  1. 진입점 필드에 main을 입력합니다.
  2. 인라인 코드 편집기에서 다음 두 파일을 만듭니다.

    • main.py:

      import functions_framework
      from google.cloud import storage
      import json
      import os
      import urllib3
      from datetime import datetime, timezone, timedelta
      import time
      
      http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
      )
      
      storage_client = storage.Client()
      
      GCS_BUCKET = os.environ.get('GCS_BUCKET')
      GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openai-auditlog')
      STATE_KEY = os.environ.get('STATE_KEY', 'openai-auditlog/state.json')
      OPENAI_ADMIN_KEY = os.environ.get('OPENAI_ADMIN_KEY')
      MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000'))
      PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
      LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
      
      API_BASE = 'https://api.openai.com'
      AUDIT_LOGS_ENDPOINT = '/v1/organization/audit_logs'
      
      @functions_framework.cloud_event
      def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch OpenAI audit logs
        and write them to GCS.
      
        Args:
          cloud_event: CloudEvent object containing Pub/Sub message
        """
      
        if not all([GCS_BUCKET, OPENAI_ADMIN_KEY]):
          print('Error: Missing required environment variables')
          return
      
        try:
          bucket = storage_client.bucket(GCS_BUCKET)
          state = load_state(bucket)
          now = datetime.now(timezone.utc)
      
          if isinstance(state, dict) and state.get('last_effective_at'):
            try:
              last_effective_at = int(state['last_effective_at'])
              last_time = datetime.fromtimestamp(last_effective_at, tz=timezone.utc)
              last_time = last_time - timedelta(minutes=2)
            except Exception as e:
              print(f"Warning: Could not parse last_effective_at: {e}")
              last_time = now - timedelta(hours=LOOKBACK_HOURS)
          else:
            last_time = now - timedelta(hours=LOOKBACK_HOURS)
      
          start_unix = int(last_time.timestamp())
          end_unix = int(now.timestamp())
      
          print(f"Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}")
      
          records, newest_effective_at = fetch_audit_logs(
            start_unix=start_unix,
            end_unix=end_unix,
            page_size=PAGE_SIZE,
            max_records=MAX_RECORDS,
          )
      
          if not records:
            print("No new audit log records found.")
            save_state(bucket, end_unix)
            return
      
          timestamp = now.strftime('%Y%m%d_%H%M%S')
          object_key = f"{GCS_PREFIX}/openai_auditlog_{timestamp}.ndjson"
          blob = bucket.blob(object_key)
      
          ndjson = '\n'.join(
            [json.dumps(record, ensure_ascii=False) for record in records]
          ) + '\n'
          blob.upload_from_string(ndjson, content_type='application/x-ndjson')
      
          print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
      
          if newest_effective_at:
            save_state(bucket, newest_effective_at)
          else:
            save_state(bucket, end_unix)
      
          print(f"Successfully processed {len(records)} records")
      
        except Exception as e:
          print(f'Error processing audit logs: {str(e)}')
          raise
      
      def load_state(bucket):
        """Load state from GCS."""
        try:
          blob = bucket.blob(STATE_KEY)
          if blob.exists():
            return json.loads(blob.download_as_text())
        except Exception as e:
          print(f"Warning: Could not load state: {e}")
        return {}
      
      def save_state(bucket, last_effective_at):
        """Save the last effective_at Unix timestamp to GCS state file."""
        try:
          state = {
            'last_effective_at': last_effective_at,
            'last_run': datetime.now(timezone.utc).isoformat()
          }
          blob = bucket.blob(STATE_KEY)
          blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
          )
          print(f"Saved state: last_effective_at={last_effective_at}")
        except Exception as e:
          print(f"Warning: Could not save state: {e}")
      
      def fetch_audit_logs(start_unix, end_unix, page_size, max_records):
        """
        Fetch audit logs from the OpenAI API with pagination and rate limiting.
      
        Args:
          start_unix: Start time as Unix seconds
          end_unix: End time as Unix seconds
          page_size: Number of records per page (max 100)
          max_records: Maximum total records to fetch
      
        Returns:
          Tuple of (records list, newest effective_at Unix timestamp)
        """
        headers = {
          'Authorization': f'Bearer {OPENAI_ADMIN_KEY}',
          'Content-Type': 'application/json',
        }
      
        records = []
        newest_effective_at = None
        page_num = 0
        backoff = 1.0
        cursor = None
      
        while True:
          page_num += 1
      
          if len(records) >= max_records:
            print(f"Reached max_records limit ({max_records})")
            break
      
          params = []
          params.append(f"effective_at[gte]={start_unix}")
          params.append(f"effective_at[lte]={end_unix}")
          params.append(f"limit={min(page_size, max_records - len(records))}")
          if cursor:
            params.append(f"after={cursor}")
      
          url = f"{API_BASE}{AUDIT_LOGS_ENDPOINT}?{'&'.join(params)}"
      
          try:
            response = http.request('GET', url, headers=headers)
      
            if response.status == 429:
              retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
              print(f"Rate limited (429). Retrying after {retry_after}s...")
              time.sleep(retry_after)
              backoff = min(backoff * 2, 30.0)
              continue
      
            backoff = 1.0
      
            if response.status != 200:
              print(f"HTTP Error: {response.status}")
              response_text = response.data.decode('utf-8')
              print(f"Response body: {response_text}")
              return [], None
      
            data = json.loads(response.data.decode('utf-8'))
      
            page_results = data.get('data', [])
      
            if not page_results:
              print(f"No more results (empty page)")
              break
      
            print(f"Page {page_num}: Retrieved {len(page_results)} events")
            records.extend(page_results)
      
            for event in page_results:
              try:
                effective_at = event.get('effective_at')
                if effective_at is not None:
                  if newest_effective_at is None or effective_at > newest_effective_at:
                    newest_effective_at = effective_at
              except Exception as e:
                print(f"Warning: Could not parse event time: {e}")
      
            has_more = data.get('has_more', False)
            if not has_more:
              print("No more pages (has_more=false)")
              break
      
            last_id = data.get('last_id')
            if not last_id:
              print("No more pages (no last_id)")
              break
      
            cursor = last_id
      
          except Exception as e:
            print(f"Error fetching audit logs: {e}")
            return [], None
      
        print(f"Retrieved {len(records)} total records from {page_num} pages")
        return records, newest_effective_at
      
    • requirements.txt:

      functions-framework==3.*
      google-cloud-storage==2.*
      urllib3>=2.0.0
      
  3. 배포를 클릭하여 함수를 저장하고 배포합니다.

  4. 배포가 완료될 때까지 기다립니다 (2~3분).

Cloud Scheduler 작업 만들기

  1. GCP Console에서 Cloud Scheduler로 이동합니다.
  2. 작업 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.

    설정 값
    이름 openai-auditlog-collector-hourly
    리전 Cloud Run 함수와 동일한 리전 선택
    주파수 0 * * * * (매시간 정각)
    시간대 시간대 선택 (UTC 권장)
    타겟 유형 Pub/Sub
    주제 openai-auditlog-trigger 선택
    메일 본문 {} (빈 JSON 객체)
  4. 만들기를 클릭합니다.

일정 빈도 옵션

로그 볼륨 및 지연 시간 요구사항에 따라 빈도를 선택합니다.

빈도 크론 표현식 사용 사례
5분마다 */5 * * * * 대용량, 저지연
15분마다 */15 * * * * 검색량 보통
1시간마다 0 * * * * 표준 (권장)
6시간마다 0 */6 * * * 적은 볼륨, 일괄 처리
매일 0 0 * * * 이전 데이터 수집

통합 테스트

  1. Cloud Scheduler 콘솔에서 작업을 찾습니다 (openai-auditlog-collector-hourly).
  2. 강제 실행을 클릭하여 작업을 수동으로 트리거합니다.
  3. 몇 초 동안 기다립니다.
  4. Cloud Run > 서비스로 이동합니다.
  5. openai-auditlog-collector를 클릭합니다.
  6. 로그 탭을 클릭합니다.
  7. 함수가 성공적으로 실행되었는지 확인합니다. 다음 항목을 찾습니다.

    Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
    Page 1: Retrieved X events
    Wrote X records to gs://openai-auditlog-logs/openai-auditlog/openai_auditlog_YYYYMMDD_HHMMSS.ndjson
    Successfully processed X records
    
  8. Cloud Storage> 버킷으로 이동합니다.

  9. openai-auditlog-logs를 클릭합니다.

  10. openai-auditlog/ 폴더로 이동합니다.

  11. 현재 타임스탬프로 새 .ndjson 파일이 생성되었는지 확인합니다.

로그에 오류가 표시되는 경우:

  • HTTP 401: OPENAI_ADMIN_KEY 환경 변수가 올바르고 키가 취소되지 않았는지 확인합니다.
  • HTTP 403: API 키가 조직 소유자가 만든 Admin API인지 확인합니다.
  • HTTP 429: 비율 제한 - 함수가 지수 백오프로 자동 재시도됩니다.
  • 환경 변수 누락: Cloud Run 함수 구성에 필요한 모든 변수가 설정되어 있는지 확인합니다.

Google SecOps 서비스 계정 가져오기

  1. SIEM 설정 > 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다(예: OpenAI Audit Logs).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
  6. 로그 유형으로 OpenAI 감사 로그를 선택합니다. 서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다. 예를 들면 다음과 같습니다.

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  7. 다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.

  8. 다음을 클릭합니다.

  9. 다음 입력 매개변수의 값을 지정합니다.

    • 스토리지 버킷 URL: 다음 접두사 경로를 사용하여 GCS 버킷 URI를 입력합니다.

      gs://openai-auditlog-logs/openai-auditlog/
      
    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.
      • 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
      • 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.
      • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.
    • 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다 (기본값은 180일).
    • 애셋 네임스페이스: 애셋 네임스페이스
    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨
  10. 다음을 클릭합니다.

  11. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

  1. Cloud Storage> 버킷으로 이동합니다.
  2. openai-auditlog-logs를 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
    • 역할 할당: 스토리지 객체 뷰어를 선택합니다.
  6. 저장을 클릭합니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 로직
actor.session.ip_address_details.region_code additional.fields 키-값 쌍으로 병합됨
actor.session.ip_address_details.asn additional.fields
effective_at metadata.event_timestamp UNIX 타임스탬프에서 변환됨
has_principal metadata.event_type has_principal이 true인 경우 'STATUS_UPDATE', has_principal 및 has_target이 true인 경우 'NETWORK_CONNECTION', has_principal, has_file, has_source_file이 true인 경우 'FILE_COPY', has_principal 및 has_file이 true인 경우 'FILE_UNCATEGORIZED', has_user가 true인 경우 'USER_UNCATEGORIZED', 그 외의 경우 'GENERIC_EVENT'로 설정됩니다.
has_user metadata.event_type
has_target metadata.event_type
has_file metadata.event_type
has_source_file metadata.event_type
actor.session.user_agent network.http.parsed_user_agent 직접 복사되고 파싱된 사용자 에이전트로 변환된 값
actor.session.ja3 network.tls.client.ja3 값이 직접 복사됨
actor.session.ip_address principal.asset.ip 값이 직접 복사됨
actor.session.ip_address principal.ip 값이 직접 복사됨
actor.session.ip_address_details.city principal.location.city 값이 직접 복사됨
actor.session.ip_address_details.country principal.location.country_or_region 값이 직접 복사됨
actor.session.ip_address_details.latitude principal.location.region_latitude 부동 소수점으로 변환됨
actor.session.ip_address_details.longitude principal.location.region_longitude 부동 소수점으로 변환됨
actor.session.ip_address_details.region principal.location.state 값이 직접 복사됨
actor.session.user.email principal.user.email_addresses 값이 직접 복사됨
actor.session.user.id principal.user.userid grok 패턴을 사용하여 추출됨
actor.session.ja4 security_result.detection_fields 키 'ja4'와 키-값 쌍으로 병합됨
유형 security_result.summary 값이 직접 복사됨
metadata.product_name metadata.product_name 'OPENAI_AUDITLOG'로 설정됩니다.
metadata.vendor_name metadata.vendor_name 'OPENAI_AUDITLOG'로 설정됩니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.