Atlassian Confluence-Logs erfassen

Unterstützt in:

Google SecOps SIEM

In diesem Dokument wird beschrieben, wie Sie Atlassian Confluence-Logs in Google Security Operations aufnehmen. Der Parser versucht zuerst, Felder aus der Rohlogmeldung mithilfe regulärer Ausdrücke (Grok-Muster) zu extrahieren, die für Atlassian Confluence-Logs entwickelt wurden. Wenn das Grok-Parsing fehlschlägt oder das Log im JSON-Format vorliegt, versucht der Code, die Nachricht als JSON zu parsen. Schließlich werden die extrahierten Felder dem Google SecOps-UDM-Schema zugeordnet und mit zusätzlichem Kontext angereichert.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

Eine Google SecOps-Instanz
Ein Atlassian Confluence Cloud-Konto mit Zugriff auf Audit-Logs ODER Confluence Data Center/Server mit Administratorzugriff
Für die GCP-basierte Methode: Berechtigter Zugriff auf GCP (GCS, IAM, Cloud Run, Pub/Sub, Cloud Scheduler)
Für die Bindplane-Methode: Windows Server 2016 oder höher oder Linux-Host mit systemd

Übersicht über die Integrationsoptionen

In diesem Leitfaden werden zwei Integrationspfade beschrieben:

Option 1: Confluence Data Center/Server über Bindplane + Syslog
Option 2: Confluence Cloud-Audit-Logs über GCP Cloud Run-Funktion + GCS (JSON-Format)

Wählen Sie die Option aus, die am besten zu Ihrem Confluence-Bereitstellungstyp und Ihrer Infrastruktur passt.

Option 1: Confluence Data Center/Server über Bindplane + Syslog

Mit dieser Option wird Confluence Data Center oder Server so konfiguriert, dass Logs über Syslog an einen Bindplane-Agent gesendet werden, der sie dann an Google SecOps weiterleitet.

Authentifizierungsdatei für die Aufnahme in Google SecOps abrufen

Melden Sie sich in der Google SecOps-Konsole an.
Rufen Sie die SIEM-Einstellungen > Collection Agents auf.
Klicken Sie auf Herunterladen, um die Datei zur Authentifizierung der Aufnahme herunterzuladen.
Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert wird.

Hinweis :Diese JSON-Datei enthält Anmeldedaten für die Authentifizierung des Bindplane-Agents bei Google SecOps.

Google SecOps-Kundennummer abrufen

Melden Sie sich in der Google SecOps-Konsole an.
Rufen Sie die SIEM-Einstellungen > Profile auf.
Kopieren und speichern Sie die Kunden-ID aus dem Bereich Organisationsdetails.

Hinweis :Die Kunden-ID ist für die Konfiguration des Bindplane-Agent-Exporters erforderlich.

BindPlane-Agent installieren

Installieren Sie den Bindplane-Agent auf Ihrem Windows- oder Linux-Betriebssystem gemäß der folgenden Anleitung.

Fenstermontage

Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.

Führen Sie dazu diesen Befehl aus:

msiexec /i "https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/observiq-otel-collector.msi" /quiet

Warten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
```
sc query observiq-otel-collector
```

Der Dienst sollte als RUNNING (Wird ausgeführt) angezeigt werden.

Linux-Installation

Öffnen Sie ein Terminal mit Root- oder Sudo-Berechtigungen.

Führen Sie dazu diesen Befehl aus:

sudo sh -c "$(curl -fsSlL https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/install_unix.sh)" install_unix.sh

Warten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
```
sudo systemctl status observiq-otel-collector
```

Der Dienst sollte als aktiv (wird ausgeführt) angezeigt werden.

Zusätzliche Installationsressourcen

Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in der Installationsanleitung für den Bindplane-Agent.

BindPlane-Agent zum Erfassen von Syslog-Daten und Senden an Google SecOps konfigurieren

Konfigurationsdatei suchen

Linux:

sudo nano /etc/bindplane-agent/config.yaml

Windows:

notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

Konfigurationsdatei bearbeiten

Ersetzen Sie den gesamten Inhalt von config.yaml durch die folgende Konfiguration:

receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/confluence_logs:
    compression: gzip
    creds_file_path: '/etc/bindplane-agent/ingestion-auth.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: ATLASSIAN_CONFLUENCE
    raw_log_field: body
    ingestion_labels:
      service: confluence

service:
  pipelines:
    logs/confluence:
      receivers:
        - udplog
      exporters:
        - chronicle/confluence_logs

Konfigurationsparameter

Ersetzen Sie die folgenden Platzhalter:
- listen_address: Ersetzen Sie den Port und die IP-Adresse nach Bedarf in Ihrer Infrastruktur. Verwenden Sie 0.0.0.0:514, um alle Schnittstellen auf Port 514 zu überwachen.
- creds_file_path: Aktualisieren Sie den Pfad, unter dem die Authentifizierungsdatei gespeichert wurde:
  - Linux: /etc/bindplane-agent/ingestion-auth.json
  - Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- customer_id: Ersetzen Sie YOUR_CUSTOMER_ID durch die tatsächliche Kunden-ID aus dem vorherigen Schritt.
- endpoint: Regionale Endpunkt-URL:
  - USA: malachiteingestion-pa.googleapis.com
  - Europa: europe-malachiteingestion-pa.googleapis.com
  - Asien: asia-southeast1-malachiteingestion-pa.googleapis.com

Konfigurationsdatei speichern

Speichern Sie die Datei nach der Bearbeitung:

Linux: Drücken Sie Ctrl+O, dann Enter und dann Ctrl+X.
Windows: Klicken Sie auf Datei > Speichern.

Bindplane-Agent neu starten, um die Änderungen zu übernehmen

Bindplane-Agent unter Linux neu starten

Führen Sie den folgenden Befehl aus, um den Bindplane-Agent unter Linux neu zu starten:
```
sudo systemctl restart observiq-otel-collector
```

Prüfen Sie, ob der Dienst ausgeführt wird:

sudo systemctl status observiq-otel-collector

Logs auf Fehler prüfen:

sudo journalctl -u observiq-otel-collector -f

Bindplane-Agent in Windows neu starten

Wählen Sie eine der folgenden Optionen aus, um den Bindplane-Agent unter Windows neu zu starten:
- So verwenden Sie die Eingabeaufforderung oder PowerShell als Administrator:
```
net stop observiq-otel-collector && net start observiq-otel-collector
```
- Services Console verwenden:
  1. Drücken Sie Win+R, geben Sie services.msc ein und drücken Sie die Eingabetaste.
  2. Suchen Sie nach observIQ OpenTelemetry Collector.
  3. Klicken Sie mit der rechten Maustaste und wählen Sie Neu starten aus.
  4. Prüfen Sie, ob der Dienst ausgeführt wird:
```
sc query observiq-otel-collector
```
  5. Logs auf Fehler prüfen:
```
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
```

Syslog-Weiterleitung in Confluence Data Center/Server konfigurieren

Option A: rsyslog so konfigurieren, dass lokale Protokolldateien weitergeleitet werden (empfohlen)

Konfigurieren Sie Confluence so, dass Logs in Dateien geschrieben werden (Standardverhalten).

Installieren Sie rsyslog, falls es nicht vorhanden ist:

sudo apt-get install rsyslog  # Debian/Ubuntu
sudo yum install rsyslog      # RHEL/CentOS

Erstellen Sie die rsyslog-Konfigurationsdatei /etc/rsyslog.d/confluence.conf:

# Forward Confluence logs to Bindplane
$ModLoad imfile

# Application logs
$InputFileName /opt/atlassian/confluence/logs/atlassian-confluence.log
$InputFileTag confluence-app:
$InputFileStateFile stat-confluence-app
$InputFileSeverity info
$InputFileFacility local0
$InputRunFileMonitor

# Audit logs (JSON format in DC/Server)
$InputFileName <confluence-home-directory>/log/audit/audit.log
$InputFileTag confluence-audit:
$InputFileStateFile stat-confluence-audit
$InputFileSeverity info
$InputFileFacility local1
$InputRunFileMonitor

# Forward to Bindplane agent
*.* @@BINDPLANE_AGENT_IP:514

Ersetzen Sie BINDPLANE_AGENT_IP durch die IP-Adresse des Bindplane-Agents (z. B. 192.168.1.100).
Passen Sie die Pfade der Logdateien an Ihre Confluence-Installation an:
- Anwendungslogs sind in der Regel: <confluence-install>/logs/ oder <local-home>/logs/
- Audit-Logs: <confluence-home-directory>/log/audit/ (JSON-Format)
- Um das Confluence-Home-Verzeichnis zu finden, gehen Sie zu Einstellungen > Allgemeine Konfiguration > Systeminformationen und suchen Sie nach Confluence Home oder Local Home.

Starten Sie rsyslog neu:
```
sudo systemctl restart rsyslog
```

Option B: Log4j2-Syslog-Weiterleitung konfigurieren

Für diese Option muss die Log4j2-Konfiguration geändert werden. Option A (rsyslog) wird aus Gründen der Einfachheit empfohlen.

Melden Sie sich über SSH oder RDP auf Ihrem Confluence-Server an.
Suchen Sie die Log4j2-Konfigurationsdatei unter:
```
<confluence-install>/confluence/WEB-INF/classes/log4j2.xml
```
Hinweis :Passen Sie den Pfad an Ihre Confluence-Installation an.

Bearbeiten Sie die Konfigurationsdatei, um einen Syslog-Appender hinzuzufügen:

<Configuration>
  <Appenders>
    <!-- Existing appenders -->
    <Syslog name="SyslogAppender" 
            host="BINDPLANE_AGENT_IP" 
            port="514" 
            protocol="UDP"
            format="RFC5424"
            facility="LOCAL0">
      <PatternLayout pattern="%d{ISO8601} %p [%t] [%c{1}] %m%n"/>
    </Syslog>
  </Appenders>

  <Loggers>
    <Root level="info">
      <AppenderRef ref="SyslogAppender"/>
      <!-- Other appender refs -->
    </Root>

    <!-- Audit logger -->
    <Logger name="com.atlassian.confluence.event.events.security.AuditEvent" 
            level="info" 
            additivity="false">
      <AppenderRef ref="SyslogAppender"/>
    </Logger>
  </Loggers>
</Configuration>

Ersetzen Sie BINDPLANE_AGENT_IP durch die IP-Adresse des Bindplane-Agents (z. B. 192.168.1.100).

Starten Sie Confluence neu, um die Änderungen zu übernehmen:
```
sudo systemctl restart confluence
```

Option 2: Confluence Cloud-Audit-Logs über GCP Cloud Run-Funktion und GCS

Bei dieser Methode wird eine GCP Cloud Run-Funktion verwendet, um Audit-Logs regelmäßig über die Confluence Audit REST API abzurufen und zur Aufnahme in Google SecOps in GCS zu speichern.

Confluence Cloud API-Anmeldedaten erfassen

Melden Sie sich in Ihrem Atlassian-Konto an.
Rufen Sie https://id.atlassian.com/manage-profile/security/api-tokens auf.
Klicken Sie auf API-Token erstellen.
Geben Sie ein Label für das Token ein, z. B. Google Security Operations Integration.
Klicken Sie auf Erstellen.
Kopieren und speichern Sie das API-Token sicher.
Notieren Sie sich die URL Ihrer Confluence Cloud-Website (z. B. https://yoursite.atlassian.net).
Notieren Sie sich die E-Mail-Adresse Ihres Atlassian-Kontos (die für die Authentifizierung verwendet wird).

Hinweis :Für den Zugriff auf Audit-Logs ist für das API-Token die globale Berechtigung „Confluence-Administrator“ erforderlich.

Berechtigungen prüfen

So prüfen Sie, ob das Konto die erforderlichen Berechtigungen hat:

Melden Sie sich in Confluence Cloud an.
Klicken Sie rechts oben auf das Symbol Einstellungen (⚙️).
Wenn Sie in der linken Navigationsleiste Monitoring > Audit-Log sehen, haben Sie die erforderlichen Berechtigungen.
Wenn Sie diese Option nicht sehen, bitten Sie Ihren Administrator, Ihnen die Berechtigung Confluence-Administrator zu erteilen.

API-Zugriff testen

Testen Sie Ihre Anmeldedaten, bevor Sie mit der Integration fortfahren:

# Replace with your actual credentials
CONFLUENCE_EMAIL="your-email@example.com"
CONFLUENCE_API_TOKEN="your-api-token"
CONFLUENCE_URL="https://yoursite.atlassian.net"

# Test API access
curl -u "${CONFLUENCE_EMAIL}:${CONFLUENCE_API_TOKEN}" \
  -H "Accept: application/json" \
  "${CONFLUENCE_URL}/wiki/rest/api/audit"

Google Cloud Storage-Bucket erstellen

Rufen Sie die Google Cloud Console auf.
Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
Klicken Sie auf Bucket erstellen.

Geben Sie die folgenden Konfigurationsdetails an:

Einstellung	Wert
Bucket benennen	Geben Sie einen global eindeutigen Namen ein, z. B. `confluence-audit-logs`.
Standorttyp	Wählen Sie je nach Bedarf aus (Region, Dual-Region, Multi-Region).
Standort	Wählen Sie den Speicherort aus, z. B. `us-central1`.
Speicherklasse	Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
Zugriffssteuerung	Einheitlich (empfohlen)
Schutzmaßnahmen	Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

Klicken Sie auf Erstellen.

Dienstkonto für Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.

Dienstkonto erstellen

Wechseln Sie in der GCP Console zu IAM & Verwaltung > Dienstkonten.
Klicken Sie auf Dienstkonto erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie confluence-audit-collector-sa ein.
- Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect Confluence Cloud audit logs ein.
Klicken Sie auf Erstellen und fortfahren.
Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
1. Klicken Sie auf Rolle auswählen.
2. Suchen Sie nach Storage-Objekt-Administrator und wählen Sie die Rolle aus.
3. Klicken Sie auf + Weitere Rolle hinzufügen.
4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
5. Klicken Sie auf + Weitere Rolle hinzufügen.
6. Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
Klicken Sie auf Weiter.
Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
Cloud Run-Aufrufer: Pub/Sub darf die Funktion aufrufen.
Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket erteilen

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Wechseln Sie zum Tab Berechtigungen.
Klicken Sie auf Zugriff erlauben.
Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. confluence-audit-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
- Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.

Rufen Sie in der GCP Console Pub/Sub > Themen auf.
Klicken Sie auf Thema erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
- Themen-ID: Geben Sie confluence-audit-trigger ein.
- Übernehmen Sie die anderen Einstellungen.
Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der Confluence Cloud Audit API abzurufen und in GCS zu schreiben.

Rufen Sie in der GCP Console Cloud Run auf.
Klicken Sie auf Dienst erstellen.
Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.

Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

Einstellung	Wert
Dienstname	`confluence-audit-collector`
Region	Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. `us-central1`).
Laufzeit	Wählen Sie Python 3.12 oder höher aus.

Im Abschnitt Trigger (optional):
1. Klicken Sie auf + Trigger hinzufügen.
2. Wählen Sie Cloud Pub/Sub aus.
3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen die Option confluence-audit-trigger aus.
4. Klicken Sie auf Speichern.
Im Abschnitt Authentifizierung:
1. Wählen Sie Authentifizierung erforderlich aus.
2. Identitäts- und Zugriffsverwaltung
Hinweis: Pub/Sub übernimmt die Authentifizierung beim Aufrufen der Funktion automatisch.
Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
Rufen Sie den Tab Sicherheit auf:
- Dienstkonto: Wählen Sie confluence-audit-collector-sa aus.

Rufen Sie den Tab Container auf:

Klicken Sie auf Variablen und Secrets.
Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:

Variablenname	Beispielwert	Beschreibung
`GCS_BUCKET`	`confluence-audit-logs`	Name des GCS-Buckets
`GCS_PREFIX`	`confluence-audit`	Präfix für Protokolldateien
`STATE_KEY`	`confluence-audit/state.json`	Statusdateipfad
`CONFLUENCE_URL`	`https://yoursite.atlassian.net`	Confluence-Website-URL
`CONFLUENCE_EMAIL`	`your-email@example.com`	E-Mail-Adresse des Atlassian-Kontos
`CONFLUENCE_API_TOKEN`	`your-api-token-here`	API-Token
`MAX_RECORDS`	`1000`	Maximale Anzahl von Datensätzen pro Ausführung

Scrollen Sie im Bereich Variablen und Secrets nach unten zu Anfragen:
- Zeitlimit für Anfragen: Geben Sie 600 Sekunden (10 Minuten) ein.
Rufen Sie den Tab Einstellungen auf:
- Im Abschnitt Ressourcen:
  - Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
  - CPU: Wählen Sie 1 aus.
Im Abschnitt Versionsskalierung:
- Mindestanzahl von Instanzen: Geben Sie 0 ein.
- Maximale Anzahl von Instanzen: Geben Sie 100 ein (oder passen Sie den Wert an die erwartete Last an).
Klicken Sie auf Erstellen.
Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.
Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.

Funktionscode hinzufügen

Geben Sie main unter Funktionseinstiegspunkt ein.

Erstellen Sie im Inline-Codeeditor zwei Dateien:

Erste Datei: main.py::

import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time
import base64

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'confluence-audit/')
STATE_KEY = os.environ.get('STATE_KEY', 'confluence-audit/state.json')
CONFLUENCE_URL = os.environ.get('CONFLUENCE_URL')
CONFLUENCE_EMAIL = os.environ.get('CONFLUENCE_EMAIL')
CONFLUENCE_API_TOKEN = os.environ.get('CONFLUENCE_API_TOKEN')
MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '1000'))

def to_unix_millis(dt: datetime) -> int:
    """Convert datetime to Unix epoch milliseconds."""
    if dt.tzinfo is None:
        dt = dt.replace(tzinfo=timezone.utc)
    dt = dt.astimezone(timezone.utc)
    return int(dt.timestamp() * 1000)

def parse_datetime(value: str) -> datetime:
    """Parse ISO datetime string to datetime object."""
    if value.endswith("Z"):
        value = value[:-1] + "+00:00"
    return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch Confluence Cloud audit logs and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    if not all([GCS_BUCKET, CONFLUENCE_URL, CONFLUENCE_EMAIL, CONFLUENCE_API_TOKEN]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(GCS_BUCKET)

        # Load state
        state = load_state(bucket, STATE_KEY)

        # Determine time window
        now = datetime.now(timezone.utc)
        last_time = None

        if isinstance(state, dict) and state.get("last_event_time"):
            try:
                last_time = parse_datetime(state["last_event_time"])
                # Overlap by 2 minutes to catch any delayed events
                last_time = last_time - timedelta(minutes=2)
            except Exception as e:
                print(f"Warning: Could not parse last_event_time: {e}")

        if last_time is None:
            last_time = now - timedelta(hours=24)

        print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}")

        # Convert to Unix milliseconds
        start_millis = to_unix_millis(last_time)
        end_millis = to_unix_millis(now)

        # Fetch logs
        records, newest_event_time = fetch_logs(
            api_base=CONFLUENCE_URL,
            email=CONFLUENCE_EMAIL,
            api_token=CONFLUENCE_API_TOKEN,
            start_time_ms=start_millis,
            end_time_ms=end_millis,
            max_records=MAX_RECORDS,
        )

        if not records:
            print("No new log records found.")
            save_state(bucket, STATE_KEY, now.isoformat())
            return

        # Write to GCS as NDJSON
        timestamp = now.strftime('%Y%m%d_%H%M%S')
        object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
        blob = bucket.blob(object_key)

        ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
        blob.upload_from_string(ndjson, content_type='application/x-ndjson')

        print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")

        # Update state with newest event time
        if newest_event_time:
            save_state(bucket, STATE_KEY, newest_event_time)
        else:
            save_state(bucket, STATE_KEY, now.isoformat())

        print(f"Successfully processed {len(records)} records")

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f"Warning: Could not load state: {e}")

    return {}

def save_state(bucket, key, last_event_time_iso: str):
    """Save the last event timestamp to GCS state file."""
    try:
        state = {'last_event_time': last_event_time_iso}
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
        )
        print(f"Saved state: last_event_time={last_event_time_iso}")
    except Exception as e:
        print(f"Warning: Could not save state: {e}")

def fetch_logs(api_base: str, email: str, api_token: str, start_time_ms: int, end_time_ms: int, max_records: int):
    """
    Fetch logs from Confluence Cloud Audit API with pagination and rate limiting.

    Args:
        api_base: Confluence site URL
        email: Atlassian account email
        api_token: API token
        start_time_ms: Start time in Unix milliseconds
        end_time_ms: End time in Unix milliseconds
        max_records: Maximum total records to fetch

    Returns:
        Tuple of (records list, newest_event_time ISO string)
    """
    # Clean up URL
    base_url = api_base.rstrip('/')

    # Build authentication header
    auth_string = f"{email}:{api_token}"
    auth_bytes = auth_string.encode('utf-8')
    auth_b64 = base64.b64encode(auth_bytes).decode('utf-8')
    headers = {
        'Authorization': f'Basic {auth_b64}',
        'Accept': 'application/json',
        'User-Agent': 'GoogleSecOps-ConfluenceCollector/1.0'
    }

    records = []
    newest_time = None
    page_num = 0
    backoff = 1.0
    start_index = 0

    while True:
        page_num += 1

        if len(records) >= max_records:
            print(f"Reached max_records limit ({max_records})")
            break

        # Build request URL
        url = f"{base_url}/wiki/rest/api/audit?startDate={start_time_ms}&endDate={end_time_ms}&start={start_index}&limit=100"

        try:
            response = http.request('GET', url, headers=headers)

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                print(f"Rate limited (429). Retrying after {retry_after}s...")
                time.sleep(retry_after)
                backoff = min(backoff * 2, 30.0)
                continue

            backoff = 1.0

            if response.status != 200:
                print(f"HTTP Error: {response.status}")
                response_text = response.data.decode('utf-8')
                print(f"Response body: {response_text}")
                return [], None

            data = json.loads(response.data.decode('utf-8'))

            page_results = data.get('results', [])

            if not page_results:
                print(f"No more results (empty page)")
                break

            print(f"Page {page_num}: Retrieved {len(page_results)} events")
            records.extend(page_results)

            # Track newest event time
            for event in page_results:
                try:
                    # creationDate is in Unix milliseconds
                    event_time_ms = event.get('creationDate')
                    if event_time_ms:
                        event_dt = datetime.fromtimestamp(event_time_ms / 1000, tz=timezone.utc)
                        event_time = event_dt.isoformat()
                        if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time):
                            newest_time = event_time
                except Exception as e:
                    print(f"Warning: Could not parse event time: {e}")

            # Check for more results
            current_size = data.get('size', 0)
            if current_size < 100:
                print(f"Reached last page (size={current_size} < limit=100)")
                break

            start_index += current_size

        except Exception as e:
            print(f"Error fetching logs: {e}")
            return [], None

    print(f"Retrieved {len(records)} total records from {page_num} pages")
    return records[:max_records], newest_time

Zweite Datei: requirements.txt::

functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Hinweis :Bei der Konfiguration des Pub/Sub-Triggers werden automatisch die erforderlichen Abos und Berechtigungen erstellt.

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema, wodurch die Cloud Run-Funktion ausgelöst wird.

Rufen Sie in der GCP Console Cloud Scheduler auf.
Klicken Sie auf Job erstellen.

Geben Sie die folgenden Konfigurationsdetails an:

Einstellung	Wert
Name	`confluence-audit-collector-hourly`
Region	Dieselbe Region wie für die Cloud Run-Funktion auswählen
Frequenz	`0 * * * *` (jede Stunde, zur vollen Stunde)
Zeitzone	Zeitzone auswählen (UTC empfohlen)
Zieltyp	Pub/Sub
Thema	`confluence-audit-trigger` auswählen
Nachrichtentext	`{}` (leeres JSON-Objekt)

Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:

Häufigkeit	Cron-Ausdruck	Anwendungsfall
Alle 5 Minuten	`/5 * * *`	Hohes Volumen, niedrige Latenz
Alle 15 Minuten	`/15 * * *`	Mittleres Suchvolumen
Stündlich	`0 * * * *`	Standard (empfohlen)
Alle 6 Stunden	`0 /6 * *`	Geringes Volumen, Batchverarbeitung
Täglich	`0 0 * * *`	Erhebung von Verlaufsdaten

Integration testen

Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
Klicken Sie auf Force run (Ausführung erzwingen), um den Job manuell auszulösen.
Warten Sie einige Sekunden.
Rufen Sie Cloud Run > Dienste auf.
Klicken Sie auf confluence-audit-collector.
Klicken Sie auf den Tab Logs.

Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Achten Sie auf Folgendes:

Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
Page 1: Retrieved X events
Wrote X records to gs://bucket-name/prefix/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed X records

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Rufen Sie den Ordner confluence-audit/ auf.
Prüfen Sie, ob eine neue .ndjson-Datei mit dem aktuellen Zeitstempel erstellt wurde.

Wenn in den Logs Fehler angezeigt werden, gehen Sie so vor:

HTTP 401: API-Anmeldedaten in Umgebungsvariablen prüfen
HTTP 403: Prüfen Sie, ob das Konto über Confluence-Administratorberechtigungen verfügt.
HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit Backoff wiederholt.
Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E-Mail-Adresse des Dienstkontos abrufen

Rufen Sie die SIEM-Einstellungen > Feeds auf.
Klicken Sie auf Neuen Feed hinzufügen.
Klicken Sie auf Einzelnen Feed konfigurieren.
Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Confluence Cloud Audit Logs.
Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie Atlassian Confluence als Logtyp aus.
Klicken Sie auf Dienstkonto abrufen. Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
Kopieren Sie diese E‑Mail-Adresse für den nächsten Schritt.

Hinweis :Jede Google SecOps-Instanz hat ein eindeutiges Dienstkonto. Verwenden Sie keine Dienstkonten aus anderer Dokumentation oder anderen Beispielen.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Wechseln Sie zum Tab Berechtigungen.
Klicken Sie auf Zugriff erlauben.
Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage-Objekt-Betrachter aus.
Klicken Sie auf Speichern.

Hinweis: Wenn Sie die Löschoption „Übertragene Dateien löschen“ oder „Übertragene Dateien und leere Verzeichnisse löschen“ verwenden möchten, weisen Sie die Rolle Storage-Objekt-Administrator anstelle von „Storage-Objekt-Betrachter“ zu.

Feed in Google SecOps konfigurieren, um Confluence-Logs aufzunehmen

Rufen Sie die SIEM-Einstellungen > Feeds auf.
Klicken Sie auf Neuen Feed hinzufügen.
Klicken Sie auf Einzelnen Feed konfigurieren.
Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Confluence Cloud Audit Logs.
Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie Atlassian Confluence als Logtyp aus.
Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
- Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
```
gs://confluence-audit-logs/confluence-audit/
```
  - Ersetzen Sie:
    - confluence-audit-logs: Der Name Ihres GCS-Buckets.
    - confluence-audit: Optionales Präfix/Ordnerpfad, in dem Logs gespeichert werden (für den Stamm leer lassen).
  - Beispiele:
    - Root-Bucket: gs://company-logs/
    - Mit Präfix: gs://company-logs/confluence-audit/
    - Mit Unterordner: gs://company-logs/confluence/audit/
  Hinweis :Fügen Sie immer den Schrägstrich (/) am Ende des URI ein.
- Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
  - Nie: Es werden nach Übertragungen nie Dateien gelöscht (empfohlen für Tests).
  - Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.
  - Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach der erfolgreichen Übertragung.
    
    Hinweis :Wenn Sie eine Löschoption auswählen, muss das Dienstkonto die Rolle Storage-Objekt-Administrator anstelle von „Storage-Objekt-Betrachter“ haben. Aktualisieren Sie die IAM-Berechtigungen entsprechend.
- Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.
- Asset-Namespace: Der Asset-Namespace.
- Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

UDM-Zuordnungstabelle

Logfeld	UDM-Zuordnung	Logik
Agent	read_only_udm.network.http.user_agent	Wert aus dem Feld „agent“.
app_protocol	read_only_udm.network.application_protocol	Abgeleitet aus dem Feld „app_protocol“. Wenn „app_protocol“ „HTTPS“, „HTTP“, „SSH“ oder „RDP“ enthält, wird das entsprechende Protokoll verwendet. Andernfalls wird standardmäßig „UNKNOWN_APPLICATION_PROTOCOL“ verwendet.
app_protocol	read_only_udm.network.application_protocol_version	Der Wert stammt aus dem Feld „app_protocol“.
auditType.action	read_only_udm.security_result.action	Abgeleitet vom Feld „auditType.action“. Wenn „auditType.action“ „successful“ enthält, wird der Wert auf „ALLOW“ gesetzt. Wenn der Wert „restricted“ enthält, wird er auf „BLOCK“ gesetzt.
auditType.action	read_only_udm.security_result.summary	Der Wert wird aus dem Feld „auditType.action“ übernommen, wenn „auditType“ nicht leer und „auditType_area“ „SECURITY“ ist.
auditType.actionI18nKey	read_only_udm.metadata.product_event_type	Wert aus dem Feld „auditType.actionI18nKey“, wenn „auditType“ nicht leer ist.
auditType.area	read_only_udm.security_result.detection_fields.value	Der Wert wird aus dem Feld „auditType.area“ übernommen und dem Feld „value“ eines Erkennungsfelds zugewiesen, wobei das Feld „key“ auf „auditType area“ festgelegt ist. Diese Zuordnung erfolgt, wenn „auditType“ nicht leer ist.
auditType.category	read_only_udm.security_result.category_details	Der Wert wird aus dem Feld „auditType.category“ übernommen, wenn „auditType“ nicht leer ist.
auditType.categoryI18nKey	read_only_udm.security_result.detection_fields.value	Der Wert wird aus dem Feld „auditType.categoryI18nKey“ übernommen und dem Feld „value“ eines Erkennungsfelds zugewiesen, wobei das Feld „key“ auf „auditType categoryI18nKey“ gesetzt ist. Diese Zuordnung erfolgt, wenn „auditType“ nicht leer ist.
auditType.level	read_only_udm.security_result.detection_fields.value	Der Wert wird aus dem Feld „auditType.level“ übernommen und dem Feld „value“ eines Erkennungsfelds zugewiesen, wobei das Feld „key“ auf „auditType level“ festgelegt ist. Diese Zuordnung erfolgt, wenn „auditType“ nicht leer ist.
author.displayName	read_only_udm.principal.user.user_display_name	Der Wert stammt aus dem Feld „author.displayName“.
author.externalCollaborator	read_only_udm.security_result.about.resource.attribute.labels.value	Der Wert wird aus dem Feld „author.externalCollaborator“ übernommen und dem Feld „value“ eines Labels zugewiesen, dessen Feld „key“ auf „externalCollaborator“ festgelegt ist.
author.id	read_only_udm.principal.user.userid	Wert aus dem Feld „author.id“, wenn „author.type“ „user“ und „principal_user_present“ „false“ ist.
author.isExternalCollaborator	read_only_udm.security_result.about.resource.attribute.labels.value	Der Wert wird aus dem Feld „author.isExternalCollaborator“ übernommen und dem Feld „value“ eines Labels zugewiesen, wobei das Feld „key“ auf „isExternalCollaborator“ gesetzt ist.
author.name	read_only_udm.principal.user.user_display_name	Der Wert wird aus dem Feld „author.name“ übernommen, wenn „author.type“ „user“ und „principal_user_present“ „false“ ist.
bytes_in	read_only_udm.network.received_bytes	Wert aus dem Feld „bytes_in“, sofern es Ziffern enthält. Andernfalls wird standardmäßig 0 verwendet.
Kategorie	read_only_udm.security_result.category_details	Der Wert stammt aus dem Feld „category“.
changedValues	read_only_udm.principal.resource.attribute.labels	Durchläuft jedes Element in „changedValues“ und erstellt Labels mit Schlüsseln wie „changedValue [index] [key]“ und Werten aus den entsprechenden Werten im Array „changedValues“.
Erstellungsdatum	read_only_udm.metadata.event_timestamp	Der Wert wird aus dem Feld „creationDate“ übernommen und als UNIX- oder UNIX_MS-Zeitstempel geparst.
extraAttributes	read_only_udm.principal.resource.attribute.labels	Durchläuft jedes Element in „extraAttributes“ und erstellt Labels mit Schlüsseln, die auf den Feldern „name“ und „nameI18nKey“ basieren, sowie Werten aus dem entsprechenden Feld „value“.
http_verb	read_only_udm.network.http.method	Der Wert stammt aus dem Feld „http_verb“.
ip	read_only_udm.target.ip	Wert aus dem Feld „ip“.
principal_host	read_only_udm.principal.hostname	Der Wert stammt aus dem Feld „principal_host“.
referral_url	read_only_udm.network.http.referral_url	Der Wert stammt aus dem Feld „referral_url“.
remoteAddress	read_only_udm.principal.ip	Der Wert wird aus dem Feld „remoteAddress“ übernommen und als IP-Adresse geparst.
response_code	read_only_udm.network.http.response_code	Der Wert stammt aus dem Feld „response_code“.
session_duration	read_only_udm.additional.fields.value.string_value	Der Wert wird aus dem Feld „session_duration“ übernommen und dem Feld „string_value“ eines Labels zugewiesen, wobei das Feld „key“ auf „Session Duration“ festgelegt ist.
source	read_only_udm.principal.ip	Der Wert wird aus dem Feld „source“ übernommen und als IP-Adresse geparst.
src_ip	read_only_udm.principal.ip	Der Wert wird aus dem Feld „src_ip“ übernommen, wenn „remoteAddress“ leer ist.
Zusammenfassung	read_only_udm.security_result.summary	Der Wert stammt aus dem Feld „Zusammenfassung“.
sysAdmin	read_only_udm.security_result.about.resource.attribute.labels.value	Der Wert wird aus dem Feld „sysAdmin“ übernommen und dem Feld „value“ eines Labels zugewiesen, dessen Feld „key“ auf „sysAdmin“ festgelegt ist.
superAdmin	read_only_udm.security_result.about.resource.attribute.labels.value	Der Wert wird aus dem Feld „superAdmin“ übernommen und dem Feld „value“ eines Labels zugewiesen, dessen Feld „key“ auf „superAdmin“ festgelegt ist.
target_url	read_only_udm.target.url	Der Wert stammt aus dem Feld „target_url“.
timestamp	read_only_udm.metadata.event_timestamp	Wert aus dem Feld „timestamp“, der als Datums- und Zeitstring geparst wird.
user_id	read_only_udm.principal.user.userid	Der Wert stammt aus dem Feld „user_id“.
	read_only_udm.metadata.event_type	Der Wert dieses Felds wird durch eine Reihe von Prüfungen bestimmt und ist standardmäßig auf „GENERIC_EVENT“ festgelegt. Der Wert wird auf bestimmte Werte wie „NETWORK_HTTP“, „USER_UNCATEGORIZED“ oder „STATUS_UPDATE“ festgelegt, je nachdem, ob und welche Inhalte in anderen Feldern wie „principal_host“, „user_id“, „has_principal“ und „author.type“ vorhanden sind.
	read_only_udm.metadata.vendor_name	Legen Sie diesen Wert auf „ATLASSIAN“ fest.
	read_only_udm.metadata.product_name	Legen Sie diesen Wert auf „CONFLUENCE“ fest.
	read_only_udm.metadata.log_type	Legen Sie diesen Wert auf „ATLASSIAN_CONFLUENCE“ fest.
	read_only_udm.principal.user.user_display_name	Der Wert dieses Felds kann je nach Kontext entweder aus „author.displayName“ oder aus „affectedObject.name“ stammen.
	read_only_udm.target.process.pid	Der Wert dieses Felds kann je nach Kontext entweder aus „principal_host“ oder „pid“ stammen.
	read_only_udm.principal.resource.attribute.labels	Dieses Feld wird mit verschiedenen Labels gefüllt, die aus Feldern wie „affectedObjects“, „changedValues“ und „extraAttributes“ abgeleitet werden. Die Schlüssel und Werte dieser Labels werden dynamisch basierend auf dem jeweiligen Inhalt dieser Felder generiert.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten