Atlassian Confluence 로그 수집

다음에서 지원:

이 문서에서는 Atlassian Confluence 로그를 Google Security Operations에 수집하는 방법을 설명합니다. 파서는 먼저 Atlassian Confluence 로그용으로 설계된 정규 표현식 (grok 패턴)을 사용하여 원시 로그 메시지에서 필드를 추출하려고 시도합니다. grok 파싱이 실패하거나 로그가 JSON 형식인 경우 코드는 메시지를 JSON으로 파싱하려고 시도합니다. 마지막으로 추출된 필드는 Google SecOps UDM 스키마에 매핑되고 추가 컨텍스트로 보강됩니다.

시작하기 전에

다음 기본 요건이 충족되었는지 확인합니다.

  • Google SecOps 인스턴스
  • 감사 로그 액세스 권한이 있는 Atlassian Confluence Cloud 계정 또는 관리 액세스 권한이 있는 Confluence Data Center/Server
  • GCP 기반 방법: GCP (GCS, IAM, Cloud Run, Pub/Sub, Cloud Scheduler)에 대한 액세스 권한
  • Bindplane 방법: Windows Server 2016 이상 또는 systemd가 있는 Linux 호스트

통합 옵션 개요

이 가이드에서는 두 가지 통합 경로를 제공합니다.

  • 옵션 1: Bindplane + Syslog를 통한 Confluence Data Center/Server
  • 옵션 2: GCP Cloud Run 함수 + GCS를 통한 Confluence Cloud 감사 로그 (JSON 형식)

Confluence 배포 유형 및 인프라에 가장 적합한 옵션을 선택하세요.

옵션 1: Bindplane + Syslog를 통한 Confluence 데이터 센터/서버

이 옵션은 Confluence Data Center 또는 Server가 syslog를 통해 Bindplane 에이전트로 로그를 전송하도록 구성합니다. 그러면 Bindplane 에이전트가 로그를 Google SecOps로 전달합니다.

Google SecOps 수집 인증 파일 가져오기

  1. Google SecOps 콘솔에 로그인합니다.
  2. SIEM 설정 > 수집 에이전트로 이동합니다.
  3. 다운로드를 클릭하여 수집 인증 파일을 다운로드합니다.

  4. Bindplane 에이전트가 설치될 시스템에 파일을 안전하게 저장합니다.

Google SecOps 고객 ID 가져오기

  1. Google SecOps 콘솔에 로그인합니다.
  2. SIEM 설정 > 프로필로 이동합니다.

  3. 조직 세부정보 섹션에서 고객 ID를 복사하여 저장합니다.

Bindplane 에이전트 설치

다음 안내에 따라 Windows 또는 Linux 운영체제에 Bindplane 에이전트를 설치합니다.

Windows 설치

  1. 명령 프롬프트 또는 PowerShell을 관리자로 엽니다.

  2. 다음 명령어를 실행합니다.

    msiexec /i "https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. 설치가 완료될 때까지 기다립니다.

  4. 다음을 실행하여 설치를 확인합니다.

    sc query observiq-otel-collector

서비스가 실행 중으로 표시되어야 합니다.

Linux 설치

  1. 루트 또는 sudo 권한으로 터미널을 엽니다.

  2. 다음 명령어를 실행합니다.

    sudo sh -c "$(curl -fsSlL https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/install_unix.sh)" install_unix.sh

  3. 설치가 완료될 때까지 기다립니다.

  4. 다음을 실행하여 설치를 확인합니다.

    sudo systemctl status observiq-otel-collector

서비스가 active (running)으로 표시되어야 합니다.

추가 설치 리소스

추가 설치 옵션 및 문제 해결은 Bindplane 에이전트 설치 가이드를 참고하세요.

syslog를 수집하여 Google SecOps로 전송하도록 Bindplane 에이전트 구성

구성 파일 찾기

  • Linux:

    sudo nano /etc/bindplane-agent/config.yaml

  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

구성 파일 설정

  1. config.yaml의 전체 내용을 다음 구성으로 바꿉니다.

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/confluence_logs:
    compression: gzip
    creds_file_path: '/etc/bindplane-agent/ingestion-auth.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: ATLASSIAN_CONFLUENCE
    raw_log_field: body
    ingestion_labels:
      service: confluence

service:
  pipelines:
    logs/confluence:
      receivers:
        - udplog
      exporters:
        - chronicle/confluence_logs

구성 매개변수

  • 다음 자리표시자를 바꿉니다.

    • listen_address: 인프라에 필요한 대로 포트와 IP 주소를 바꿉니다. 0.0.0.0:514를 사용하여 포트 514의 모든 인터페이스에서 수신 대기합니다.
    • creds_file_path: 인증 파일이 저장된 경로로 업데이트합니다.
      • Linux: /etc/bindplane-agent/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id: YOUR_CUSTOMER_ID을 이전 단계의 실제 고객 ID로 바꿉니다.
    • endpoint: 리전 엔드포인트 URL:
      • 미국: malachiteingestion-pa.googleapis.com
      • 유럽: europe-malachiteingestion-pa.googleapis.com
      • 아시아: asia-southeast1-malachiteingestion-pa.googleapis.com

구성 파일 저장

수정 후 파일을 저장합니다.

  • Linux: Ctrl+O, Enter, Ctrl+X 순으로 누릅니다.
  • Windows: 파일 > 저장을 클릭합니다.

Bindplane 에이전트를 다시 시작하여 변경사항 적용

Linux에서 Bindplane 에이전트 다시 시작

  1. Linux에서 Bindplane 에이전트를 다시 시작하려면 다음 명령어를 실행합니다.

    sudo systemctl restart observiq-otel-collector

  2. 서비스가 실행 중인지 확인합니다.

    sudo systemctl status observiq-otel-collector

  3. 로그에서 오류를 확인합니다.

    sudo journalctl -u observiq-otel-collector -f

Windows에서 Bindplane 에이전트 다시 시작

  1. Windows에서 Bindplane 에이전트를 다시 시작하려면 다음 옵션 중 하나를 선택합니다.

    • 명령 프롬프트 또는 PowerShell을 관리자로 사용합니다.

      net stop observiq-otel-collector && net start observiq-otel-collector

    • 서비스 콘솔 사용:

      1. Win+R 키를 누르고 services.msc을 입력한 다음 Enter 키를 누릅니다.
      2. observIQ OpenTelemetry Collector를 찾습니다.
      3. 마우스 오른쪽 버튼을 클릭하고 다시 시작을 선택합니다.

      4. 서비스가 실행 중인지 확인합니다.

        sc query observiq-otel-collector

      5. 로그에서 오류를 확인합니다.

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

Confluence Data Center/Server에서 Syslog 전달 구성

  1. 파일에 로그를 쓰도록 Confluence를 구성합니다 (기본 동작).

  2. rsyslog가 없는 경우 설치합니다.

    sudo apt-get install rsyslog  # Debian/Ubuntu
sudo yum install rsyslog      # RHEL/CentOS

  3. rsyslog 구성 파일 /etc/rsyslog.d/confluence.conf을 만듭니다.

    # Forward Confluence logs to Bindplane
$ModLoad imfile

# Application logs
$InputFileName /opt/atlassian/confluence/logs/atlassian-confluence.log
$InputFileTag confluence-app:
$InputFileStateFile stat-confluence-app
$InputFileSeverity info
$InputFileFacility local0
$InputRunFileMonitor

# Audit logs (JSON format in DC/Server)
$InputFileName <confluence-home-directory>/log/audit/audit.log
$InputFileTag confluence-audit:
$InputFileStateFile stat-confluence-audit
$InputFileSeverity info
$InputFileFacility local1
$InputRunFileMonitor

# Forward to Bindplane agent
*.* @@BINDPLANE_AGENT_IP:514
    • BINDPLANE_AGENT_IP을 Bindplane 에이전트의 IP 주소 (예: 192.168.1.100)로 바꿉니다.
    • Confluence 설치에 따라 로그 파일 경로를 조정합니다.
      • 애플리케이션 로그는 일반적으로 <confluence-install>/logs/ 또는 <local-home>/logs/입니다.
      • 감사 로그: <confluence-home-directory>/log/audit/ (JSON 형식)
      • Confluence 홈 디렉터리를 찾으려면 설정 > 일반 구성 > 시스템 정보로 이동하여 Confluence 홈 또는 로컬 홈을 찾습니다.

  4. rsyslog를 다시 시작합니다.

    sudo systemctl restart rsyslog

옵션 B: Log4j2 Syslog 전달 구성

이 옵션을 사용하려면 Log4j2 구성을 수정해야 합니다. 단순성을 위해 옵션 A (rsyslog)가 권장됩니다.

  1. SSH 또는 RDP를 통해 Confluence 서버에 로그인합니다.

  2. 다음 위치에서 Log4j2 구성 파일을 찾습니다.

    <confluence-install>/confluence/WEB-INF/classes/log4j2.xml

  3. 구성 파일을 수정하여 Syslog 어펜더를 추가합니다.

    <Configuration>
  <Appenders>
    <!-- Existing appenders -->
    <Syslog name="SyslogAppender" 
            host="BINDPLANE_AGENT_IP" 
            port="514" 
            protocol="UDP"
            format="RFC5424"
            facility="LOCAL0">
      <PatternLayout pattern="%d{ISO8601} %p [%t] [%c{1}] %m%n"/>
    </Syslog>
  </Appenders>

  <Loggers>
    <Root level="info">
      <AppenderRef ref="SyslogAppender"/>
      <!-- Other appender refs -->
    </Root>

    <!-- Audit logger -->
    <Logger name="com.atlassian.confluence.event.events.security.AuditEvent" 
            level="info" 
            additivity="false">
      <AppenderRef ref="SyslogAppender"/>
    </Logger>
  </Loggers>
</Configuration>
    • BINDPLANE_AGENT_IP을 Bindplane 에이전트의 IP 주소 (예: 192.168.1.100)로 바꿉니다.

  4. 변경사항을 적용하려면 Confluence를 다시 시작합니다.

    sudo systemctl restart confluence

옵션 2: GCP Cloud Run 함수 및 GCS를 통한 Confluence Cloud 감사 로그

이 메서드는 GCP Cloud Run 함수를 사용하여 Confluence 감사 REST API를 통해 감사 로그를 주기적으로 가져오고 Google SecOps 수집을 위해 GCS에 저장합니다.

Confluence Cloud API 사용자 인증 정보 수집

  1. Atlassian 계정에 로그인합니다.
  2. https://id.atlassian.com/manage-profile/security/api-tokens으로 이동합니다.
  3. API 토큰 만들기를 클릭합니다.
  4. 토큰의 라벨을 입력합니다 (예: Google Security Operations Integration).
  5. 만들기를 클릭합니다.
  6. API 토큰을 복사하여 안전하게 저장합니다.
  7. Confluence Cloud 사이트 URL (예: https://yoursite.atlassian.net)을 기록해 둡니다.

  8. Atlassian 계정 이메일 주소 (인증에 사용됨)를 확인합니다.

권한 확인

계정에 필요한 권한이 있는지 확인하려면 다음 단계를 따르세요.

  1. Confluence Cloud에 로그인합니다.
  2. 오른쪽 상단에 있는 설정 아이콘 (⚙️)을 클릭합니다.
  3. 왼쪽 탐색 메뉴에 모니터링 > 감사 로그가 표시되면 필요한 권한이 있는 것입니다.
  4. 이 옵션이 표시되지 않으면 관리자에게 문의하여 Confluence 관리자 권한을 부여받으세요.

API 액세스 테스트

  • 통합을 진행하기 전에 사용자 인증 정보를 테스트하세요.

    # Replace with your actual credentials
CONFLUENCE_EMAIL="your-email@example.com"
CONFLUENCE_API_TOKEN="your-api-token"
CONFLUENCE_URL="https://yoursite.atlassian.net"

# Test API access
curl -u "${CONFLUENCE_EMAIL}:${CONFLUENCE_API_TOKEN}" \
  -H "Accept: application/json" \
  "${CONFLUENCE_URL}/wiki/rest/api/audit"

Google Cloud Storage 버킷 만들기

  1. Google Cloud Console로 이동합니다.
  2. 프로젝트를 선택하거나 새 프로젝트를 만듭니다.
  3. 탐색 메뉴에서 Cloud Storage> 버킷으로 이동합니다.
  4. 버킷 만들기를 클릭합니다.

  5. 다음 구성 세부정보를 제공합니다.

    설정 값
    버킷 이름 지정 전역적으로 고유한 이름 (예: confluence-audit-logs)을 입력합니다.
    위치 유형 필요에 따라 선택 (리전, 이중 리전, 멀티 리전)
    위치 위치를 선택합니다 (예: us-central1).
    스토리지 클래스 Standard (자주 액세스하는 로그에 권장)
    액세스 제어 균일 (권장)
    보호 도구 선택사항: 객체 버전 관리 또는 보관 정책 사용 설정

  6. 만들기를 클릭합니다.

Cloud Run 함수의 서비스 계정 만들기

Cloud Run 함수에는 GCS 버킷에 쓸 수 있고 Pub/Sub에서 호출할 수 있는 권한이 있는 서비스 계정이 필요합니다.

서비스 계정 만들기

  1. GCP 콘솔에서 IAM 및 관리자 > 서비스 계정으로 이동합니다.
  2. 서비스 계정 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 서비스 계정 이름: confluence-audit-collector-sa을 입력합니다.
    • 서비스 계정 설명: Service account for Cloud Run function to collect Confluence Cloud audit logs을 입력합니다.
  4. 만들고 계속하기를 클릭합니다.
  5. 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 섹션에서 다음 역할을 추가합니다.
    1. 역할 선택을 클릭합니다.
    2. 스토리지 객체 관리자를 검색하여 선택합니다.
    3. + 다른 역할 추가를 클릭합니다.
    4. Cloud Run 호출자를 검색하여 선택합니다.
    5. + 다른 역할 추가를 클릭합니다.
    6. Cloud Functions 호출자를 검색하여 선택합니다.
  6. 계속을 클릭합니다.
  7. 완료를 클릭합니다.

이러한 역할은 다음 작업에 필요합니다.

  • 스토리지 객체 관리자: GCS 버킷에 로그를 쓰고 상태 파일을 관리합니다.
  • Cloud Run 호출자: Pub/Sub가 함수를 호출하도록 허용
  • Cloud Functions 호출자: 함수 호출 허용

GCS 버킷에 대한 IAM 권한 부여

GCS 버킷에 대한 쓰기 권한을 서비스 계정에 부여합니다.

  1. Cloud Storage> 버킷으로 이동합니다.
  2. 버킷 이름을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: 서비스 계정 이메일 (예: confluence-audit-collector-sa@PROJECT_ID.iam.gserviceaccount.com)을 입력합니다.
    • 역할 할당: 스토리지 객체 관리자를 선택합니다.
  6. 저장을 클릭합니다.

게시/구독 주제 만들기

Cloud Scheduler가 게시하고 Cloud Run 함수가 구독할 Pub/Sub 주제를 만듭니다.

  1. GCP Console에서 Pub/Sub > 주제로 이동합니다.
  2. 주제 만들기를 클릭합니다.
  3. 다음 구성 세부정보를 제공합니다.
    • 주제 ID: confluence-audit-trigger를 입력합니다.
    • 다른 설정은 기본값으로 둡니다.
  4. 만들기를 클릭합니다.

로그를 수집하는 Cloud Run 함수 만들기

Cloud Run 함수는 Cloud Scheduler의 Pub/Sub 메시지에 의해 트리거되어 Confluence Cloud 감사 API에서 로그를 가져오고 이를 GCS에 씁니다.

  1. GCP 콘솔에서 Cloud Run으로 이동합니다.
  2. 서비스 만들기를 클릭합니다.
  3. 함수를 선택합니다 (인라인 편집기를 사용하여 함수 만들기).

  4. 구성 섹션에서 다음 구성 세부정보를 제공합니다.

    설정 값
    서비스 이름 confluence-audit-collector
    리전 GCS 버킷과 일치하는 리전을 선택합니다 (예: us-central1).
    런타임 Python 3.12 이상 선택

  5. 트리거 (선택사항) 섹션에서 다음을 수행합니다.

    1. + 트리거 추가를 클릭합니다.
    2. Cloud Pub/Sub를 선택합니다.
    3. Cloud Pub/Sub 주제 선택에서 confluence-audit-trigger을 선택합니다.
    4. 저장을 클릭합니다.

  6. 인증 섹션에서 다음을 구성합니다.

    1. 인증 필요를 선택합니다.
    2. ID 및 액세스 관리 (IAM)를 확인합니다.

  7. 아래로 스크롤하고 컨테이너, 네트워킹, 보안을 펼칩니다.

  8. 보안 탭으로 이동합니다.

    • 서비스 계정: confluence-audit-collector-sa를 선택합니다.

  9. 컨테이너 탭으로 이동합니다.

    1. 변수 및 보안 비밀을 클릭합니다.
    2. 각 환경 변수에 대해 + 변수 추가를 클릭합니다.
    변수 이름 예시 값 설명
    GCS_BUCKET confluence-audit-logs GCS 버킷 이름
    GCS_PREFIX confluence-audit 로그 파일의 접두사
    STATE_KEY confluence-audit/state.json 상태 파일 경로
    CONFLUENCE_URL https://yoursite.atlassian.net Confluence 사이트 URL
    CONFLUENCE_EMAIL your-email@example.com Atlassian 계정 이메일
    CONFLUENCE_API_TOKEN your-api-token-here API 토큰
    MAX_RECORDS 1000 실행당 최대 레코드 수

  10. 변수 및 보안 비밀 섹션에서 요청까지 아래로 스크롤합니다.

    • 요청 제한 시간: 600초 (10분)를 입력합니다.

  11. 설정 탭으로 이동합니다.

    • 리소스 섹션에서 다음을 수행합니다.
      • 메모리: 512MiB 이상을 선택합니다.
      • CPU: 1을 선택합니다.

  12. 버전 확장 섹션에서 다음을 수행합니다.

    • 최소 인스턴스 수: 0를 입력합니다.
    • 최대 인스턴스 수: 100을 입력합니다 (또는 예상 부하에 따라 조정).

  13. 만들기를 클릭합니다.

  14. 서비스가 생성될 때까지 기다립니다 (1~2분).

  15. 서비스가 생성되면 인라인 코드 편집기가 자동으로 열립니다.

함수 코드 추가

  1. 함수 진입점에 main을 입력합니다.

  2. 인라인 코드 편집기에서 다음 두 파일을 만듭니다.

    • 첫 번째 파일: main.py:
    import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time
import base64

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'confluence-audit/')
STATE_KEY = os.environ.get('STATE_KEY', 'confluence-audit/state.json')
CONFLUENCE_URL = os.environ.get('CONFLUENCE_URL')
CONFLUENCE_EMAIL = os.environ.get('CONFLUENCE_EMAIL')
CONFLUENCE_API_TOKEN = os.environ.get('CONFLUENCE_API_TOKEN')
MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '1000'))

def to_unix_millis(dt: datetime) -> int:
    """Convert datetime to Unix epoch milliseconds."""
    if dt.tzinfo is None:
        dt = dt.replace(tzinfo=timezone.utc)
    dt = dt.astimezone(timezone.utc)
    return int(dt.timestamp() * 1000)

def parse_datetime(value: str) -> datetime:
    """Parse ISO datetime string to datetime object."""
    if value.endswith("Z"):
        value = value[:-1] + "+00:00"
    return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch Confluence Cloud audit logs and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    if not all([GCS_BUCKET, CONFLUENCE_URL, CONFLUENCE_EMAIL, CONFLUENCE_API_TOKEN]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(GCS_BUCKET)

        # Load state
        state = load_state(bucket, STATE_KEY)

        # Determine time window
        now = datetime.now(timezone.utc)
        last_time = None

        if isinstance(state, dict) and state.get("last_event_time"):
            try:
                last_time = parse_datetime(state["last_event_time"])
                # Overlap by 2 minutes to catch any delayed events
                last_time = last_time - timedelta(minutes=2)
            except Exception as e:
                print(f"Warning: Could not parse last_event_time: {e}")

        if last_time is None:
            last_time = now - timedelta(hours=24)

        print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}")

        # Convert to Unix milliseconds
        start_millis = to_unix_millis(last_time)
        end_millis = to_unix_millis(now)

        # Fetch logs
        records, newest_event_time = fetch_logs(
            api_base=CONFLUENCE_URL,
            email=CONFLUENCE_EMAIL,
            api_token=CONFLUENCE_API_TOKEN,
            start_time_ms=start_millis,
            end_time_ms=end_millis,
            max_records=MAX_RECORDS,
        )

        if not records:
            print("No new log records found.")
            save_state(bucket, STATE_KEY, now.isoformat())
            return

        # Write to GCS as NDJSON
        timestamp = now.strftime('%Y%m%d_%H%M%S')
        object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
        blob = bucket.blob(object_key)

        ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
        blob.upload_from_string(ndjson, content_type='application/x-ndjson')

        print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")

        # Update state with newest event time
        if newest_event_time:
            save_state(bucket, STATE_KEY, newest_event_time)
        else:
            save_state(bucket, STATE_KEY, now.isoformat())

        print(f"Successfully processed {len(records)} records")

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f"Warning: Could not load state: {e}")

    return {}

def save_state(bucket, key, last_event_time_iso: str):
    """Save the last event timestamp to GCS state file."""
    try:
        state = {'last_event_time': last_event_time_iso}
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
        )
        print(f"Saved state: last_event_time={last_event_time_iso}")
    except Exception as e:
        print(f"Warning: Could not save state: {e}")

def fetch_logs(api_base: str, email: str, api_token: str, start_time_ms: int, end_time_ms: int, max_records: int):
    """
    Fetch logs from Confluence Cloud Audit API with pagination and rate limiting.

    Args:
        api_base: Confluence site URL
        email: Atlassian account email
        api_token: API token
        start_time_ms: Start time in Unix milliseconds
        end_time_ms: End time in Unix milliseconds
        max_records: Maximum total records to fetch

    Returns:
        Tuple of (records list, newest_event_time ISO string)
    """
    # Clean up URL
    base_url = api_base.rstrip('/')

    # Build authentication header
    auth_string = f"{email}:{api_token}"
    auth_bytes = auth_string.encode('utf-8')
    auth_b64 = base64.b64encode(auth_bytes).decode('utf-8')
    headers = {
        'Authorization': f'Basic {auth_b64}',
        'Accept': 'application/json',
        'User-Agent': 'GoogleSecOps-ConfluenceCollector/1.0'
    }

    records = []
    newest_time = None
    page_num = 0
    backoff = 1.0
    start_index = 0

    while True:
        page_num += 1

        if len(records) >= max_records:
            print(f"Reached max_records limit ({max_records})")
            break

        # Build request URL
        url = f"{base_url}/wiki/rest/api/audit?startDate={start_time_ms}&endDate={end_time_ms}&start={start_index}&limit=100"

        try:
            response = http.request('GET', url, headers=headers)

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                print(f"Rate limited (429). Retrying after {retry_after}s...")
                time.sleep(retry_after)
                backoff = min(backoff * 2, 30.0)
                continue

            backoff = 1.0

            if response.status != 200:
                print(f"HTTP Error: {response.status}")
                response_text = response.data.decode('utf-8')
                print(f"Response body: {response_text}")
                return [], None

            data = json.loads(response.data.decode('utf-8'))

            page_results = data.get('results', [])

            if not page_results:
                print(f"No more results (empty page)")
                break

            print(f"Page {page_num}: Retrieved {len(page_results)} events")
            records.extend(page_results)

            # Track newest event time
            for event in page_results:
                try:
                    # creationDate is in Unix milliseconds
                    event_time_ms = event.get('creationDate')
                    if event_time_ms:
                        event_dt = datetime.fromtimestamp(event_time_ms / 1000, tz=timezone.utc)
                        event_time = event_dt.isoformat()
                        if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time):
                            newest_time = event_time
                except Exception as e:
                    print(f"Warning: Could not parse event time: {e}")

            # Check for more results
            current_size = data.get('size', 0)
            if current_size < 100:
                print(f"Reached last page (size={current_size} < limit=100)")
                break

            start_index += current_size

        except Exception as e:
            print(f"Error fetching logs: {e}")
            return [], None

    print(f"Retrieved {len(records)} total records from {page_num} pages")
    return records[:max_records], newest_time
    • 두 번째 파일: requirements.txt:
    functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. 배포를 클릭하여 함수를 저장하고 배포합니다.

  4. 배포가 완료될 때까지 기다립니다 (2~3분).

Cloud Scheduler 작업 만들기

Cloud Scheduler는 일정 간격으로 Pub/Sub 주제에 메시지를 게시하여 Cloud Run 함수를 트리거합니다.

  1. GCP Console에서 Cloud Scheduler로 이동합니다.
  2. 작업 만들기를 클릭합니다.

  3. 다음 구성 세부정보를 제공합니다.

    설정 값
    이름 confluence-audit-collector-hourly
    리전 Cloud Run 함수와 동일한 리전 선택
    주파수 0 * * * * (매시간 정각)
    시간대 시간대 선택 (UTC 권장)
    타겟 유형 Pub/Sub
    주제 confluence-audit-trigger 선택
    메일 본문 {} (빈 JSON 객체)

  4. 만들기를 클릭합니다.

일정 빈도 옵션

  • 로그 볼륨 및 지연 시간 요구사항에 따라 빈도를 선택합니다.

    빈도 크론 표현식 사용 사례
    5분마다 */5 * * * * 대용량, 저지연
    15분마다 */15 * * * * 검색량 보통
    1시간마다 0 * * * * 일반(권장)
    6시간마다 0 */6 * * * 양이 적은 일괄 처리
    매일 0 0 * * * 이전 데이터 수집

통합 테스트

  1. Cloud Scheduler 콘솔에서 작업을 찾습니다.
  2. 강제 실행을 클릭하여 작업을 수동으로 트리거합니다.
  3. 몇 초 동안 기다립니다.
  4. Cloud Run > 서비스로 이동합니다.
  5. confluence-audit-collector를 클릭합니다.
  6. 로그 탭을 클릭합니다.

  7. 함수가 성공적으로 실행되었는지 확인합니다. 다음을 확인하세요.

    Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
Page 1: Retrieved X events
Wrote X records to gs://bucket-name/prefix/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed X records

  8. Cloud Storage> 버킷으로 이동합니다.

  9. 버킷 이름을 클릭합니다.

  10. confluence-audit/ 폴더로 이동합니다.

  11. 현재 타임스탬프를 사용하여 새 .ndjson 파일이 생성되었는지 확인합니다.

로그에 오류가 표시되면 다음 단계를 따르세요.

  • HTTP 401: 환경 변수에서 API 사용자 인증 정보 확인
  • HTTP 403: 계정에 Confluence 관리자 권한이 있는지 확인
  • HTTP 429: 비율 제한 - 함수가 백오프를 사용하여 자동으로 재시도됩니다.
  • 환경 변수 누락: 필수 변수가 모두 설정되었는지 확인

Google SecOps 서비스 계정 가져오기

Google SecOps는 고유한 서비스 계정을 사용하여 GCS 버킷에서 데이터를 읽습니다. 이 서비스 계정에 버킷에 대한 액세스 권한을 부여해야 합니다.

서비스 계정 이메일 가져오기

  1. SIEM 설정> 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다(예: Confluence Cloud Audit Logs).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
  6. 로그 유형으로 Atlassian Confluence를 선택합니다.

  7. 서비스 계정 가져오기를 클릭합니다. 고유한 서비스 계정 이메일이 표시됩니다(예:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. 다음 단계에서 사용할 수 있도록 이 이메일 주소를 복사합니다.

Google SecOps 서비스 계정에 IAM 권한 부여

Google SecOps 서비스 계정에는 GCS 버킷에 대한 스토리지 객체 뷰어 역할이 필요합니다.

  1. Cloud Storage> 버킷으로 이동합니다.
  2. 버킷 이름을 클릭합니다.
  3. 권한 탭으로 이동합니다.
  4. 액세스 권한 부여를 클릭합니다.
  5. 다음 구성 세부정보를 제공합니다.
    • 주 구성원 추가: Google SecOps 서비스 계정 이메일을 붙여넣습니다.
    • 역할 할당: 스토리지 객체 뷰어를 선택합니다.

  6. 저장을 클릭합니다.

Confluence 로그를 수집하도록 Google SecOps에서 피드 구성

  1. SIEM 설정> 피드로 이동합니다.
  2. 새 피드 추가를 클릭합니다.
  3. 단일 피드 구성을 클릭합니다.
  4. 피드 이름 필드에 피드 이름을 입력합니다(예: Confluence Cloud Audit Logs).
  5. 소스 유형으로 Google Cloud Storage V2를 선택합니다.
  6. 로그 유형으로 Atlassian Confluence를 선택합니다.
  7. 다음을 클릭합니다.

  8. 다음 입력 매개변수의 값을 지정합니다.

    • 스토리지 버킷 URL: 다음 접두사 경로를 사용하여 GCS 버킷 URI를 입력합니다.

      gs://confluence-audit-logs/confluence-audit/

      • 다음과 같이 바꿉니다.

        • confluence-audit-logs: GCS 버킷 이름입니다.
        • confluence-audit: 로그가 저장되는 선택적 접두사/폴더 경로입니다 (루트의 경우 비워 둠).

      • 예:

        • 루트 버킷: gs://company-logs/
        • 접두사 사용: gs://company-logs/confluence-audit/
        • 하위 폴더 사용: gs://company-logs/confluence/audit/

    • 소스 삭제 옵션: 환경설정에 따라 삭제 옵션을 선택합니다.

      • 삭제 안함: 전송 후 파일을 삭제하지 않습니다 (테스트에 권장).
      • 전송된 파일 삭제: 전송이 완료되면 파일을 삭제합니다.

      • 전송된 파일 및 빈 디렉터리 삭제: 전송이 완료되면 파일과 빈 디렉터리를 삭제합니다.

    • 최대 파일 기간: 지난 일수 동안 수정된 파일을 포함합니다. 기본값은 180일입니다.

    • 애셋 네임스페이스: 애셋 네임스페이스입니다.

    • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.

  9. 다음을 클릭합니다.

  10. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

UDM 매핑 테이블

로그 필드 UDM 매핑 로직
에이전트 read_only_udm.network.http.user_agent 'agent' 필드에서 가져온 값입니다.
app_protocol read_only_udm.network.application_protocol 'app_protocol' 필드에서 파생됩니다. 'app_protocol'에 'HTTPS', 'HTTP', 'SSH' 또는 'RDP'가 포함된 경우 해당 프로토콜이 사용됩니다. 그렇지 않으면 기본값은 'UNKNOWN_APPLICATION_PROTOCOL'입니다.
app_protocol read_only_udm.network.application_protocol_version 'app_protocol' 필드에서 가져온 값입니다.
auditType.action read_only_udm.security_result.action 'auditType.action' 필드에서 파생됩니다. 'auditType.action'에 'successful'이 포함된 경우 값은 'ALLOW'로 설정됩니다. '제한됨'이 포함된 경우 값은 '차단'으로 설정됩니다.
auditType.action read_only_udm.security_result.summary 'auditType'이 비어 있지 않고 'auditType_area'가 'SECURITY'인 경우 'auditType.action' 필드에서 가져온 값입니다.
auditType.actionI18nKey read_only_udm.metadata.product_event_type 'auditType'이 비어 있지 않은 경우 'auditType.actionI18nKey' 필드에서 가져온 값입니다.
auditType.area read_only_udm.security_result.detection_fields.value 'auditType.area' 필드에서 가져온 값이 'key' 필드가 'auditType area'로 설정된 감지 필드의 'value' 필드에 할당됩니다. 이 매핑은 'auditType'이 비어 있지 않은 경우에 실행됩니다.
auditType.category read_only_udm.security_result.category_details 'auditType'이 비어 있지 않은 경우 'auditType.category' 필드에서 가져온 값입니다.
auditType.categoryI18nKey read_only_udm.security_result.detection_fields.value 'auditType.categoryI18nKey' 필드에서 가져온 값으로, 'key' 필드가 'auditType categoryI18nKey'로 설정된 감지 필드의 'value' 필드에 할당됩니다. 이 매핑은 'auditType'이 비어 있지 않은 경우에 실행됩니다.
auditType.level read_only_udm.security_result.detection_fields.value 'auditType.level' 필드에서 가져온 값이 'key' 필드가 'auditType level'로 설정된 감지 필드의 'value' 필드에 할당됩니다. 이 매핑은 'auditType'이 비어 있지 않은 경우에 실행됩니다.
author.displayName read_only_udm.principal.user.user_display_name 'author.displayName' 필드에서 가져온 값입니다.
author.externalCollaborator read_only_udm.security_result.about.resource.attribute.labels.value 'author.externalCollaborator' 필드에서 가져온 값이 'key' 필드가 'externalCollaborator'로 설정된 라벨의 'value' 필드에 할당됩니다.
author.id read_only_udm.principal.user.userid 'author.type'이 'user'이고 'principal_user_present'가 'false'인 경우 'author.id' 필드에서 가져온 값입니다.
author.isExternalCollaborator read_only_udm.security_result.about.resource.attribute.labels.value 'author.isExternalCollaborator' 필드에서 가져온 값이 'key' 필드가 'isExternalCollaborator'로 설정된 라벨의 'value' 필드에 할당됩니다.
author.name read_only_udm.principal.user.user_display_name 'author.type'이 'user'이고 'principal_user_present'가 'false'인 경우 'author.name' 필드에서 가져온 값입니다.
bytes_in read_only_udm.network.received_bytes 숫자가 포함된 경우 'bytes_in' 필드에서 가져온 값입니다. 그렇지 않으면 기본값은 0입니다.
카테고리 read_only_udm.security_result.category_details 'category' 필드에서 가져온 값입니다.
changedValues read_only_udm.principal.resource.attribute.labels 'changedValues'의 각 요소를 반복하고 'changedValue [index] [key]'와 같은 키와 'changedValues' 배열의 해당 값으로 라벨을 만듭니다.
생성일 read_only_udm.metadata.event_timestamp 'creationDate' 필드에서 가져온 값으로, UNIX 또는 UNIX_MS 타임스탬프로 파싱됩니다.
extraAttributes read_only_udm.principal.resource.attribute.labels 'extraAttributes'의 각 요소를 반복하고 'name' 및 'nameI18nKey' 필드와 해당 'value' 필드의 값을 기반으로 키가 있는 라벨을 만듭니다.
http_verb read_only_udm.network.http.method 'http_verb' 필드에서 가져온 값입니다.
ip read_only_udm.target.ip 'ip' 필드에서 가져온 값입니다.
principal_host read_only_udm.principal.hostname 'principal_host' 필드에서 가져온 값입니다.
referral_url read_only_udm.network.http.referral_url 'referral_url' 필드에서 가져온 값입니다.
remoteAddress read_only_udm.principal.ip 'remoteAddress' 필드에서 가져온 값으로, IP 주소로 파싱됩니다.
response_code read_only_udm.network.http.response_code 'response_code' 필드에서 가져온 값입니다.
session_duration read_only_udm.additional.fields.value.string_value 'session_duration' 필드에서 가져온 값이 'key' 필드가 'Session Duration'으로 설정된 라벨의 'string_value' 필드에 할당됩니다.
source read_only_udm.principal.ip 'source' 필드에서 가져온 값으로, IP 주소로 파싱됩니다.
src_ip read_only_udm.principal.ip 'remoteAddress'가 비어 있으면 'src_ip' 필드에서 가져온 값입니다.
요약 read_only_udm.security_result.summary 'summary' 필드에서 가져온 값입니다.
sysAdmin read_only_udm.security_result.about.resource.attribute.labels.value 'sysAdmin' 필드에서 가져온 값이 'key' 필드가 'sysAdmin'으로 설정된 라벨의 'value' 필드에 할당됩니다.
superAdmin read_only_udm.security_result.about.resource.attribute.labels.value 'superAdmin' 필드에서 가져온 값이 'key' 필드가 'superAdmin'으로 설정된 라벨의 'value' 필드에 할당됩니다.
target_url read_only_udm.target.url 'target_url' 필드에서 가져온 값입니다.
타임스탬프 read_only_udm.metadata.event_timestamp 'timestamp' 필드에서 가져온 값으로, 날짜 및 시간 문자열로 파싱됩니다.
user_id read_only_udm.principal.user.userid 'user_id' 필드에서 가져온 값입니다.
read_only_udm.metadata.event_type 이 필드의 값은 일련의 검사를 통해 결정되며 기본값은 'GENERIC_EVENT'입니다. 'principal_host', 'user_id', 'has_principal', 'author.type'과 같은 다른 필드의 존재 여부와 콘텐츠에 따라 'NETWORK_HTTP', 'USER_UNCATEGORIZED', 'STATUS_UPDATE'와 같은 특정 값으로 설정됩니다.
read_only_udm.metadata.vendor_name 'ATLASSIAN'으로 설정합니다.
read_only_udm.metadata.product_name 'CONFLUENCE'로 설정합니다.
read_only_udm.metadata.log_type 'ATLASSIAN_CONFLUENCE'로 설정합니다.
read_only_udm.principal.user.user_display_name 이 필드의 값은 컨텍스트에 따라 'author.displayName' 또는 'affectedObject.name'에서 가져올 수 있습니다.
read_only_udm.target.process.pid 이 필드의 값은 컨텍스트에 따라 'principal_host' 또는 'pid'에서 가져올 수 있습니다.
read_only_udm.principal.resource.attribute.labels 이 필드는 'affectedObjects', 'changedValues', 'extraAttributes'와 같은 필드에서 파생된 다양한 라벨로 채워집니다. 이러한 라벨의 키와 값은 이러한 필드의 특정 콘텐츠를 기반으로 동적으로 생성됩니다.

도움이 더 필요한가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.