Atlassian Confluence-Logs erfassen

Parserversion:5.0

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Atlassian Confluence-Logs in Google Security Operations aufnehmen. Der Parser versucht zuerst, Felder aus dem rohen Logeintrag mithilfe von regulären Ausdrücken (Grok-Mustern) zu extrahieren, die für Atlassian Confluence-Logs entwickelt wurden. Wenn das Grok-Parsing fehlschlägt oder das Log im JSON-Format vorliegt, versucht der Code, die Nachricht als JSON zu parsen. Schließlich werden die extrahierten Felder dem Google SecOps-UDM-Schema zugeordnet und mit zusätzlichem Kontext angereichert.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz
  • Ein Atlassian Confluence Cloud-Konto mit Zugriff auf Audit-Logs ODER Confluence Rechenzentrum/Server mit Administratorzugriff
  • Für die GCP-basierte Methode: Privilegierter Zugriff auf die GCP (GCS, IAM, Cloud Run, Pub/Sub, Cloud Scheduler)
  • Für die Bindplane-Methode: Windows Server 2016 oder höher oder Linux-Host mit systemd

Übersicht über die Integrationsoptionen

In diesem Leitfaden werden zwei Integrationspfade beschrieben:

  • Option 1: Confluence Rechenzentrum/Server über Bindplane + Syslog
  • Option 2: Confluence Cloud-Audit-Logs über GCP Cloud Run-Funktion und GCS (JSON-Format)

Wählen Sie die Option aus, die am besten zu Ihrem Confluence-Bereitstellungstyp und Ihrer Infrastruktur passt.

Option 1: Confluence Data Center/Server über Bindplane und Syslog

Mit dieser Option wird Confluence Rechenzentrum oder Server so konfiguriert, dass Protokolle über syslog an einen Bindplane-Agent gesendet werden, der sie dann an Google SecOps weiterleitet.

Google SecOps-Anmeldedaten für den Bindplane-Agenten abrufen

Wählen Sie eine der folgenden Methoden aus, um den Bindplane-Agenten bei Google SecOps zu authentifizieren:

  • Neue Bereitstellungen: Verwenden Sie die Chronicle API (Option 1).
  • Alte Bereitstellungen: Verwenden Sie die Datei für die Authentifizierung bei der Aufnahme (Option 2) weiterhin, bis die Ingestion API am 20. Juli 2027 eingestellt wird.
  1. Melden Sie sich in der Google Cloud -Konsole an und wählen Sie das Google Cloud -Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
  2. Rufen Sie IAM und Verwaltung > Dienstkonten auf.
  3. Klicken Sie auf Dienstkonto erstellen.
  4. Geben Sie die folgenden Konfigurationsdetails an:
    • Name des Dienstkontos: Geben Sie einen Namen für das Konto ein, z. B. bindplane-ingest.
    • Dienstkontobeschreibung: Geben Sie eine Beschreibung ein (z. B. Bindplane agent log ingestion).
  5. Klicken Sie auf Erstellen und fortfahren.
  6. Klicken Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen auf Rolle auswählen und wählen Sie Chronicle-Bearbeiter aus.
  7. Klicken Sie auf Weiter und dann auf Fertig.
  8. Klicken Sie auf das erstellte Dienstkonto und rufen Sie dann den Tab Schlüssel auf.
  9. Klicken Sie auf Schlüssel hinzufügen > Neuen Schlüssel erstellen.
  10. Wählen Sie JSON aus und klicken Sie auf Erstellen. Die Schlüsseldatei wird auf Ihren Computer heruntergeladen.
  11. Speichern Sie die Schlüsseldatei als ingestion-auth.json im Bindplane-Collector-Verzeichnis (/opt/observiq-otel-collector/ingestion-auth.json unter Linux oder C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json unter Windows) oder aktualisieren Sie creds_file_path in config.yaml, damit der Pfad mit dem Pfad übereinstimmt, in dem Sie die Datei speichern.
  12. Rufen Sie IAM und Verwaltung > Einstellungen auf und kopieren Sie die Projektnummer. Sie benötigen sie für die Exporter-Konfiguration.

Option 2: Authentifizierungsdatei für die Aufnahme herunterladen (Legacy)

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Rufen Sie die SIEM-Einstellungen > Collection Agents auf.
  3. Laden Sie die Authentifizierungsdatei für die Datenaufnahme herunter.
  4. Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert wird.

Google SecOps-Kundennummer abrufen

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Rufen Sie die SIEM-Einstellungen > Profil auf.

  3. Kopieren und speichern Sie die Kundennummer aus dem Bereich Organisationsdetails.

Bindplane-Agent installieren

Installieren Sie den Bindplane-Agent auf Ihrem Windows- oder Linux-Betriebssystem gemäß der folgenden Anleitung.

Windows-Installation

  1. Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.

  2. Führen Sie dazu diesen Befehl aus:

    msiexec /i "https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sc query observiq-otel-collector

Der Dienst sollte als RUNNING angezeigt werden.

Linux-Installation

  1. Öffnen Sie ein Terminal mit Root- oder sudo-Berechtigungen.

  2. Führen Sie dazu diesen Befehl aus:

    sudo sh -c "$(curl -fsSlL https://github.com/observIQ/bindplane-otel-collector/releases/latest/download/install_unix.sh)" install_unix.sh

  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sudo systemctl status observiq-otel-collector

Der Dienst sollte als aktiv (wird ausgeführt) angezeigt werden.

Zusätzliche Installationsressourcen

Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie im Installationsanleitung für den Bindplane-Agenten.

Bindplane-Agent zum Erfassen von Syslog-Daten und Senden an Google SecOps konfigurieren

Konfigurationsdatei suchen

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

Konfigurationsdatei bearbeiten

  • Ersetzen Sie den gesamten Inhalt von config.yaml durch die folgende Konfiguration:

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/confluence_logs:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: chronicle.googleapis.com
    log_type: ATLASSIAN_CONFLUENCE
    raw_log_field: body
    ingestion_labels:
      service: confluence

service:
  pipelines:
    logs/confluence:
      receivers:
        - udplog
      exporters:
        - chronicle/confluence_logs

Konfigurationsparameter

Ersetzen Sie die folgenden Platzhalter:

  • listen_address: Ersetzen Sie den Port und die IP-Adresse nach Bedarf in Ihrer Infrastruktur. Verwenden Sie 0.0.0.0:514, um alle Schnittstellen an Port 514 abzuhören.
  • creds_file_path: Aktualisieren Sie den Pfad, unter dem die Dienstkontoschlüsseldatei (Option 1) gespeichert wurde:
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id: Ersetzen Sie YOUR_CUSTOMER_ID durch die tatsächliche Kundennummer aus dem vorherigen Schritt.
  • location: Ersetzen Sie <LOCATION> durch die Region Ihrer Google SecOps-Instanz (z. B. us, europe oder asia-southeast1). Der Exporteur stellt diesem Wert das Präfix chronicle.googleapis.com voran. Eine vollständige Liste finden Sie unter Regionale Endpunkte.
  • project: Ersetzen Sie <PROJECT_NUMBER> durch die Projektnummer unter IAM & Verwaltung > Einstellungen.
  • endpoint: Behalten Sie die Einstellung chronicle.googleapis.com bei.

Exporter für die Legacy Ingestion API

  • Wenn Sie die Authentifizierungsdatei für die Datenaufnahme aus Option 2 verwenden, ersetzen Sie den Block exporters durch Folgendes. Legen Sie für creds_file_path den Pfad zur Authentifizierungsdatei für die Datenaufnahme fest. Wenn sich Ihre Instanz außerhalb der USA befindet, ersetzen Sie malachiteingestion-pa.googleapis.com durch Ihren regionalen Endpunkt (z. B. europe-malachiteingestion-pa.googleapis.com).

    exporters:
  chronicle/confluence_logs:
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: ATLASSIAN_CONFLUENCE
    raw_log_field: body
    ingestion_labels:
      service: confluence

Konfigurationsdatei speichern

Speichern Sie die Datei nach der Bearbeitung:

  • Linux: Drücken Sie Ctrl+O, dann Enter und dann Ctrl+X.
  • Windows: Klicken Sie auf Datei > Speichern.

Starten Sie den Bindplane-Agent neu, um die Änderungen zu übernehmen.

So starten Sie den Bindplane-Agent unter Linux neu:

  1. Führen Sie dazu diesen Befehl aus:

    sudo systemctl restart observiq-otel-collector

  2. Prüfen Sie, ob der Dienst ausgeführt wird:

    sudo systemctl status observiq-otel-collector

  3. Prüfen Sie die Logs auf Fehler:

    sudo journalctl -u observiq-otel-collector -f

So starten Sie den Bindplane-Agenten unter Windows neu:

  1. Wählen Sie eine der folgenden Optionen aus:

    • Eingabeaufforderung oder PowerShell als Administrator:
    net stop observiq-otel-collector && net start observiq-otel-collector
    • Dienstkonsole:
      1. Drücken Sie Win+R, geben Sie services.msc ein und drücken Sie die Eingabetaste.
      2. Suchen Sie nach observIQ OpenTelemetry Collector.
      3. Klicken Sie mit der rechten Maustaste und wählen Sie Neu starten aus.

  2. Prüfen Sie, ob der Dienst ausgeführt wird:

    sc query observiq-otel-collector

  3. Prüfen Sie die Logs auf Fehler:

    type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

Syslog-Weiterleitung in Confluence Data Center/Server konfigurieren

  1. Konfigurieren Sie Confluence so, dass Logs in Dateien geschrieben werden (Standardverhalten).

  2. Installieren Sie rsyslog, falls es nicht vorhanden ist:

    sudo apt-get install rsyslog  # Debian/Ubuntu
sudo yum install rsyslog      # RHEL/CentOS

  3. Erstellen Sie die rsyslog-Konfigurationsdatei /etc/rsyslog.d/confluence.conf:

    # Forward Confluence logs to Bindplane
$ModLoad imfile

# Application logs
$InputFileName /opt/atlassian/confluence/logs/atlassian-confluence.log
$InputFileTag confluence-app:
$InputFileStateFile stat-confluence-app
$InputFileSeverity info
$InputFileFacility local0
$InputRunFileMonitor

# Audit logs (JSON format in DC/Server)
$InputFileName <confluence-home-directory>/log/audit/audit.log
$InputFileTag confluence-audit:
$InputFileStateFile stat-confluence-audit
$InputFileSeverity info
$InputFileFacility local1
$InputRunFileMonitor

# Forward to Bindplane agent
*.* @@BINDPLANE_AGENT_IP:514

  4. Ersetzen Sie BINDPLANE_AGENT_IP durch die IP-Adresse des Bindplane-Agents (z. B. 192.168.1.100).

  5. Passen Sie die Pfade der Logdateien an Ihre Confluence-Installation an:

    • Anwendungslogs werden in der Regel <confluence-install>/logs/ oder <local-home>/logs/.
    • Audit-Logs: <confluence-home-directory>/log/audit/ (JSON-Format)
    • Das Confluence-Home-Verzeichnis finden Sie unter Einstellungen > Allgemeine Konfiguration > Systeminformationen. Suchen Sie nach Confluence Home oder Local Home.

  6. Starten Sie rsyslog neu:

    sudo systemctl restart rsyslog

Option B: Log4j2-Syslog-Weiterleitung konfigurieren

  1. Melden Sie sich über SSH oder RDP bei Ihrem Confluence-Server an.

  2. Suchen Sie die Log4j2-Konfigurationsdatei unter:

    <confluence-install>/confluence/WEB-INF/classes/log4j2.xml

  3. Bearbeiten Sie die Konfigurationsdatei, um einen Syslog-Appender hinzuzufügen:

    <Configuration>
  <Appenders>
    <!-- Existing appenders -->
    <Syslog name="SyslogAppender" 
            host="BINDPLANE_AGENT_IP" 
            port="514" 
            protocol="UDP"
            format="RFC 5424"
            facility="LOCAL0">
      <PatternLayout pattern="%d{ISO8601} %p [%t] [%c{1}] %m%n"/>
    </Syslog>
  </Appenders>

  <Loggers>
    <Root level="info">
      <AppenderRef ref="SyslogAppender"/>
      <!-- Other appender refs -->
    </Root>

    <!-- Audit logger -->
    <Logger name="com.atlassian.confluence.event.events.security.AuditEvent" 
            level="info" 
            additivity="false">
      <AppenderRef ref="SyslogAppender"/>
    </Logger>
  </Loggers>
</Configuration>

  4. Ersetzen Sie BINDPLANE_AGENT_IP durch die IP-Adresse des Bindplane-Agents, z. B. 192.168.1.100.

  5. Starten Sie Confluence neu, um die Änderungen zu übernehmen:

    sudo systemctl restart confluence

Option 2: Confluence Cloud-Audit-Logs über GCP Cloud Run-Funktion und GCS

Confluence Cloud API-Anmeldedaten erfassen

  1. Melden Sie sich in Ihrem Atlassian-Konto an.
  2. Rufen Sie https://id.atlassian.com/manage-profile/security/api-tokens auf.
  3. Klicken Sie auf API-Token erstellen.
  4. Geben Sie ein Label für das Token ein, z. B. Google Security Operations Integration.
  5. Klicken Sie auf Erstellen.
  6. Kopieren und speichern Sie das API-Token sicher.
  7. Notieren Sie sich die URL Ihrer Confluence Cloud-Website (z. B. https://yoursite.atlassian.net).

  8. Notieren Sie sich die E-Mail-Adresse Ihres Atlassian-Kontos (für die Authentifizierung).

Berechtigungen prüfen

So prüfen Sie, ob das Konto die erforderlichen Berechtigungen hat:

  1. Melden Sie sich in Confluence Cloud an.
  2. Klicken Sie rechts oben auf das Symbol für die Einstellungen.
  3. Wenn Sie in der linken Navigationsleiste Monitoring > Audit-Log sehen, haben Sie die erforderlichen Berechtigungen.
  4. Wenn Sie diese Option nicht sehen, bitten Sie Ihren Administrator, Ihnen die Berechtigung Confluence-Administrator zu gewähren.

API-Zugriff testen

  • Testen Sie Ihre Anmeldedaten, bevor Sie mit der Integration fortfahren:

    # Replace with your actual credentials
CONFLUENCE_EMAIL="your-email@example.com"
CONFLUENCE_API_TOKEN="your-api-token"
CONFLUENCE_URL="https://yoursite.atlassian.net"

# Test API access
curl -u "${CONFLUENCE_EMAIL}:${CONFLUENCE_API_TOKEN}" \
  -H "Accept: application/json" \
  "${CONFLUENCE_URL}/wiki/rest/api/audit"

Google Cloud Storage-Bucket erstellen

  1. Gehen Sie zur Google Cloud Console.
  2. Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
  3. Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
  4. Klicken Sie auf Bucket erstellen.

  5. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Bucket benennen Geben Sie einen global eindeutigen Namen ein, z. B. confluence-audit-logs.
    Standorttyp Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region).
    Standort Wählen Sie den Speicherort aus, z. B. us-central1.
    Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
    Zugriffssteuerung Einheitlich (empfohlen)
    Schutztools Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

  6. Klicken Sie auf Erstellen.

Dienstkonto für Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.

Dienstkonto erstellen

  1. Rufen Sie in der GCP Console die Seite IAM und Verwaltung > Dienstkonten auf.
  2. Klicken Sie auf Dienstkonto erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Dienstkontoname: Geben Sie confluence-audit-collector-sa ein.
    • Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect Confluence Cloud audit logs ein.
  4. Klicken Sie auf Erstellen und fortfahren.
  5. Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
    1. Klicken Sie auf Rolle auswählen.
    2. Suchen Sie nach Storage Object Admin und wählen Sie die Rolle aus.
    3. Klicken Sie auf + Weitere Rolle hinzufügen.
    4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
    5. Klicken Sie auf + Weitere Rolle hinzufügen.
    6. Suchen Sie nach Cloud Functions-Aufrufer und wählen Sie diese Option aus.
  6. Klicken Sie auf Weiter.
  7. Klicken Sie auf Fertig.

Diese Rollen sind für Folgendes erforderlich:

  • Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
  • Cloud Run-Aufrufer: Pub/Sub erlauben, die Funktion aufzurufen
  • Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket gewähren

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. confluence-audit-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Rollen zuweisen: Wählen Sie Storage Object Admin aus.
  6. Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler Nachrichten veröffentlicht und das die Cloud Run-Funktion abonniert.

  1. Rufen Sie in der GCP Console Pub/Sub > Themen auf.
  2. Klicken Sie auf Thema erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Themen-ID: Geben Sie confluence-audit-trigger ein.
    • Übernehmen Sie die anderen Einstellungen.
  4. Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs aus der Confluence Cloud Audit API abzurufen und in GCS zu schreiben.

  1. Rufen Sie in der GCP Console die Option Cloud Run auf.
  2. Klicken Sie auf Dienst erstellen.
  3. Wählen Sie Funktion aus (Funktion mit einem Inline-Editor erstellen).

  4. Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Dienstname confluence-audit-collector
    Region Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).
    Laufzeit Wählen Sie Python 3.12 oder höher aus.

  5. Im Abschnitt Trigger (optional):

    1. Klicken Sie auf + Trigger hinzufügen.
    2. Wählen Sie Cloud Pub/Sub aus.
    3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen die Option confluence-audit-trigger aus.
    4. Klicken Sie auf Speichern.

  6. Im Abschnitt Authentifizierung:

    1. Wählen Sie Authentifizierung erforderlich aus.
    2. Weitere Informationen finden Sie unter Identity and Access Management (IAM).

  7. Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.

  8. Rufen Sie den Tab Sicherheit auf:

    • Dienstkonto: Wählen Sie confluence-audit-collector-sa aus.

  9. Rufen Sie den Tab Container auf:

    1. Klicken Sie auf Variablen und Secrets.
    2. Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
    Variablenname Beispielwert Beschreibung
    GCS_BUCKET confluence-audit-logs Name des GCS-Buckets
    GCS_PREFIX confluence-audit Präfix für Logdateien
    STATE_KEY confluence-audit/state.json Pfad der Statusdatei
    CONFLUENCE_URL https://yoursite.atlassian.net Confluence-Website-URL
    CONFLUENCE_EMAIL your-email@example.com E‑Mail-Adresse des Atlassian-Kontos
    CONFLUENCE_API_TOKEN your-api-token-here API-Token
    MAX_RECORDS 1000 Maximale Anzahl von Datensätzen pro Ausführung

  10. Scrollen Sie im Bereich Variablen und Secrets nach unten zu Anfragen:

    • Zeitüberschreitung bei Anfrage: Geben Sie 600 Sekunden (10 Minuten) ein.

  11. Rufen Sie den Tab Einstellungen auf:

    • Im Abschnitt Ressourcen:
      • Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
      • CPU: Wählen Sie 1 aus.

  12. Im Abschnitt Versionsskalierung:

    • Mindestanzahl von Instanzen: Geben Sie 0 ein.
    • Maximale Anzahl von Instanzen: Geben Sie 100 ein (oder passen Sie den Wert an die erwartete Last an).

  13. Klicken Sie auf Erstellen.

  14. Warten Sie, bis der Dienst erstellt wurde (1–2 Minuten).

  15. Nachdem der Dienst erstellt wurde, wird der Inline-Code-Editor automatisch geöffnet.

Funktionscode hinzufügen

  1. Geben Sie main in Funktionseinstiegspunkt ein.

  2. Erstellen Sie im Inline-Code-Editor zwei Dateien:

    • main.py:
    import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time
import base64

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'confluence-audit/')
STATE_KEY = os.environ.get('STATE_KEY', 'confluence-audit/state.json')
CONFLUENCE_URL = os.environ.get('CONFLUENCE_URL')
CONFLUENCE_EMAIL = os.environ.get('CONFLUENCE_EMAIL')
CONFLUENCE_API_TOKEN = os.environ.get('CONFLUENCE_API_TOKEN')
MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '1000'))

def to_unix_millis(dt: datetime) -> int:
    """Convert datetime to Unix epoch milliseconds."""
    if dt.tzinfo is None:
        dt = dt.replace(tzinfo=timezone.utc)
    dt = dt.astimezone(timezone.utc)
    return int(dt.timestamp() * 1000)

def parse_datetime(value: str) -> datetime:
    """Parse ISO datetime string to datetime object."""
    if value.endswith("Z"):
        value = value[:-1] + "+00:00"
    return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch Confluence Cloud audit logs and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    if not all([GCS_BUCKET, CONFLUENCE_URL, CONFLUENCE_EMAIL, CONFLUENCE_API_TOKEN]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(GCS_BUCKET)

        # Load state
        state = load_state(bucket, STATE_KEY)

        # Determine time window
        now = datetime.now(timezone.utc)
        last_time = None

        if isinstance(state, dict) and state.get("last_event_time"):
            try:
                last_time = parse_datetime(state["last_event_time"])
                # Overlap by 2 minutes to catch any delayed events
                last_time = last_time - timedelta(minutes=2)
            except Exception as e:
                print(f"Warning: Could not parse last_event_time: {e}")

        if last_time is None:
            last_time = now - timedelta(hours=24)

        print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}")

        # Convert to Unix milliseconds
        start_millis = to_unix_millis(last_time)
        end_millis = to_unix_millis(now)

        # Fetch logs
        records, newest_event_time = fetch_logs(
            api_base=CONFLUENCE_URL,
            email=CONFLUENCE_EMAIL,
            api_token=CONFLUENCE_API_TOKEN,
            start_time_ms=start_millis,
            end_time_ms=end_millis,
            max_records=MAX_RECORDS,
        )

        if not records:
            print("No new log records found.")
            save_state(bucket, STATE_KEY, now.isoformat())
            return

        # Write to GCS as NDJSON
        timestamp = now.strftime('%Y%m%d_%H%M%S')
        object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
        blob = bucket.blob(object_key)

        ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
        blob.upload_from_string(ndjson, content_type='application/x-ndjson')

        print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")

        # Update state with newest event time
        if newest_event_time:
            save_state(bucket, STATE_KEY, newest_event_time)
        else:
            save_state(bucket, STATE_KEY, now.isoformat())

        print(f"Successfully processed {len(records)} records")

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f"Warning: Could not load state: {e}")

    return {}

def save_state(bucket, key, last_event_time_iso: str):
    """Save the last event timestamp to GCS state file."""
    try:
        state = {'last_event_time': last_event_time_iso}
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
        )
        print(f"Saved state: last_event_time={last_event_time_iso}")
    except Exception as e:
        print(f"Warning: Could not save state: {e}")

def fetch_logs(api_base: str, email: str, api_token: str, start_time_ms: int, end_time_ms: int, max_records: int):
    """
    Fetch logs from Confluence Cloud Audit API with pagination and rate limiting.

    Args:
        api_base: Confluence site URL
        email: Atlassian account email
        api_token: API token
        start_time_ms: Start time in Unix milliseconds
        end_time_ms: End time in Unix milliseconds
        max_records: Maximum total records to fetch

    Returns:
        Tuple of (records list, newest_event_time ISO string)
    """
    # Clean up URL
    base_url = api_base.rstrip('/')

    # Build authentication header
    auth_string = f"{email}:{api_token}"
    auth_bytes = auth_string.encode('utf-8')
    auth_b64 = base64.b64encode(auth_bytes).decode('utf-8')
    headers = {
        'Authorization': f'Basic {auth_b64}',
        'Accept': 'application/json',
        'User-Agent': 'GoogleSecOps-ConfluenceCollector/1.0'
    }

    records = []
    newest_time = None
    page_num = 0
    backoff = 1.0
    start_index = 0

    while True:
        page_num += 1

        if len(records) >= max_records:
            print(f"Reached max_records limit ({max_records})")
            break

        # Build request URL
        url = f"{base_url}/wiki/rest/api/audit?startDate={start_time_ms}&endDate={end_time_ms}&start={start_index}&limit=100"

        try:
            response = http.request('GET', url, headers=headers)

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                print(f"Rate limited (429). Retrying after {retry_after}s...")
                time.sleep(retry_after)
                backoff = min(backoff * 2, 30.0)
                continue

            backoff = 1.0

            if response.status != 200:
                print(f"HTTP Error: {response.status}")
                response_text = response.data.decode('utf-8')
                print(f"Response body: {response_text}")
                return [], None

            data = json.loads(response.data.decode('utf-8'))

            page_results = data.get('results', [])

            if not page_results:
                print(f"No more results (empty page)")
                break

            print(f"Page {page_num}: Retrieved {len(page_results)} events")
            records.extend(page_results)

            # Track newest event time
            for event in page_results:
                try:
                    # creationDate is in Unix milliseconds
                    event_time_ms = event.get('creationDate')
                    if event_time_ms:
                        event_dt = datetime.fromtimestamp(event_time_ms / 1000, tz=timezone.utc)
                        event_time = event_dt.isoformat()
                        if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time):
                            newest_time = event_time
                except Exception as e:
                    print(f"Warning: Could not parse event time: {e}")

            # Check for more results
            current_size = data.get('size', 0)
            if current_size < 100:
                print(f"Reached last page (size={current_size} < limit=100)")
                break

            start_index += current_size

        except Exception as e:
            print(f"Error fetching logs: {e}")
            return [], None

    print(f"Retrieved {len(records)} total records from {page_num} pages")
    return records[:max_records], newest_time
    • requirements.txt:
    functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0
    .

  3. Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.

  4. Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.

  1. Rufen Sie in der GCP Console Cloud Scheduler auf.
  2. Klicken Sie auf Job erstellen.

  3. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Name confluence-audit-collector-hourly
    Region Dieselbe Region wie die Cloud Run-Funktion auswählen
    Frequenz 0 * * * * (stündlich zur vollen Stunde)
    Zeitzone Zeitzone auswählen (UTC empfohlen)
    Zieltyp Pub/Sub
    Thema confluence-audit-trigger auswählen
    Inhalt der Nachricht {} (leeres JSON-Objekt)

  4. Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:

Häufigkeit Cron-Ausdruck Anwendungsfall
Alle 5 Minuten */5 * * * * Hohes Volumen, niedrige Latenz
Alle 15 Minuten */15 * * * * Mittleres Suchvolumen
Stündlich 0 * * * * Standard (empfohlen)
Alle 6 Stunden 0 */6 * * * Geringes Volumen, Batchverarbeitung
Täglich 0 0 * * * Erhebung von Verlaufsdaten

Integration testen

  1. Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
  2. Klicken Sie auf Ausführung erzwingen, um den Job manuell auszulösen.
  3. Warte einige Sekunden.
  4. Rufen Sie Cloud Run > Dienste auf.
  5. Klicken Sie auf confluence-audit-collector.
  6. Klicken Sie auf den Tab Logs.

  7. Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Darauf sollten Sie achten:

    Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
Page 1: Retrieved X events
Wrote X records to gs://bucket-name/prefix/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed X records

  8. Rufen Sie Cloud Storage > Buckets auf.

  9. Klicken Sie auf den Namen Ihres Buckets.

  10. Rufen Sie den Ordner confluence-audit/ auf.

  11. Prüfen Sie, ob eine neue .ndjson-Datei mit dem aktuellen Zeitstempel erstellt wurde.

Wenn Sie Fehler in den Logs sehen:

  • HTTP 401: API-Anmeldedaten in Umgebungsvariablen prüfen
  • HTTP 403: Prüfen Sie, ob das Konto Confluence-Administratorberechtigungen hat.
  • HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit Backoff wiederholt.
  • Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.

Feed in Google SecOps konfigurieren, um Confluence-Logs aufzunehmen

  1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Confluence Cloud Audit Logs.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie Atlassian Confluence als Logtyp aus.

  7. Klicken Sie auf Dienstkonto abrufen. Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt, z. B.:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. Kopieren Sie diese E-Mail-Adresse. Sie verwenden es in der nächsten Aufgabe.

  9. Klicken Sie auf Weiter.

  10. Geben Sie Werte für die folgenden Eingabeparameter an:

    • Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
    gs://confluence-audit-logs/confluence-audit/
    • Ersetzen Sie:
    • confluence-audit-logs: Der Name Ihres GCS-Buckets.
    • confluence-audit: Optionaler Präfix-/Ordnerpfad, in dem Logs gespeichert werden (leer lassen für Stammverzeichnis).

    Beispiele:

    • Root-Bucket: gs://company-logs/
    • Mit Präfix: gs://company-logs/confluence-audit/
    • Mit Unterordner: gs://company-logs/confluence/audit/
    • Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
      • Nie: Löscht nach Übertragungen nie Dateien (empfohlen für Tests).
      • Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.
      • Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach erfolgreicher Übertragung.
    • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.
    • Asset-Namespace: Der Asset-Namespace.
    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

  11. Klicken Sie auf Weiter.

  12. Prüfen Sie die neue Nachrichten-Feed-Konfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
    • Rollen zuweisen: Wählen Sie Storage Object Viewer aus.

  6. Klicken Sie auf Speichern.

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
Agent read_only_udm.network.http.user_agent Der Wert stammt aus dem Feld „agent“.
app_protocol read_only_udm.network.application_protocol Abgeleitet vom Feld „app_protocol“. Wenn „app_protocol“ „HTTPS“, „HTTP“, „SSH“ oder „RDP“ enthält, wird das entsprechende Protokoll verwendet. Andernfalls wird standardmäßig „UNKNOWN_APPLICATION_PROTOCOL“ verwendet.
app_protocol read_only_udm.network.application_protocol_version Wert aus dem Feld „app_protocol“.
auditType.action read_only_udm.security_result.action Abgeleitet vom Feld „auditType.action“. Wenn „auditType.action“ „successful“ enthält, wird der Wert auf „ALLOW“ festgelegt. Wenn der Wert „restricted“ enthält, wird er auf „BLOCK“ festgelegt.
auditType.action read_only_udm.security_result.summary Der Wert wird aus dem Feld „auditType.action“ übernommen, wenn „auditType“ nicht leer und „auditType_area“ „SECURITY“ ist.
auditType.actionI18nKey read_only_udm.metadata.product_event_type Wert aus dem Feld „auditType.actionI18nKey“, wenn „auditType“ nicht leer ist.
auditType.area read_only_udm.security_result.detection_fields.value Der Wert wird aus dem Feld „auditType.area“ übernommen und dem Feld „value“ eines Erkennungsfelds zugewiesen, wobei das Feld „key“ auf „auditType area“ gesetzt ist. Diese Zuordnung erfolgt, wenn „auditType“ nicht leer ist.
auditType.category read_only_udm.security_result.category_details Wert aus dem Feld „auditType.category“, wenn „auditType“ nicht leer ist.
auditType.categoryI18nKey read_only_udm.security_result.detection_fields.value Der Wert wird aus dem Feld „auditType.categoryI18nKey“ übernommen und dem Feld „value“ eines Erkennungsfelds zugewiesen, dessen Feld „key“ auf „auditType categoryI18nKey“ gesetzt ist. Diese Zuordnung erfolgt, wenn „auditType“ nicht leer ist.
auditType.level read_only_udm.security_result.detection_fields.value Der Wert wird aus dem Feld „auditType.level“ übernommen und dem Feld „value“ eines Erkennungsfelds zugewiesen, wobei das Feld „key“ auf „auditType level“ gesetzt ist. Diese Zuordnung erfolgt, wenn „auditType“ nicht leer ist.
author.displayName read_only_udm.principal.user.user_display_name Der Wert wird aus dem Feld „author.displayName“ übernommen.
author.externalCollaborator read_only_udm.security_result.about.resource.attribute.labels.value Der Wert wird aus dem Feld „author.externalCollaborator“ übernommen und dem Feld „value“ eines Labels zugewiesen, dessen Feld „key“ auf „externalCollaborator“ festgelegt ist.
author.id read_only_udm.principal.user.userid Wert aus dem Feld „author.id“, wenn „author.type“ „user“ und „principal_user_present“ „false“ ist.
author.isExternalCollaborator read_only_udm.security_result.about.resource.attribute.labels.value Der Wert wird aus dem Feld „author.isExternalCollaborator“ übernommen und dem Feld „value“ eines Labels zugewiesen, dessen Feld „key“ auf „isExternalCollaborator“ gesetzt ist.
author.name read_only_udm.principal.user.user_display_name Der Wert wird aus dem Feld „author.name“ übernommen, wenn „author.type“ „user“ und „principal_user_present“ „false“ ist.
bytes_in read_only_udm.network.received_bytes Wert aus dem Feld „bytes_in“, sofern es Ziffern enthält. Andernfalls wird standardmäßig 0 verwendet.
Kategorie read_only_udm.security_result.category_details Der Wert wird aus dem Feld „category“ übernommen.
changedValues read_only_udm.principal.resource.attribute.labels Iteriert durch jedes Element in „changedValues“ und erstellt Labels mit Schlüsseln wie „changedValue [index] [key]“ und Werten aus den entsprechenden Werten im Array „changedValues“.
Erstellungsdatum read_only_udm.metadata.event_timestamp Der Wert wird aus dem Feld „creationDate“ übernommen und entweder als UNIX- oder UNIX_MS-Zeitstempel geparst.
extraAttributes read_only_udm.principal.resource.attribute.labels Iteriert durch jedes Element in „extraAttributes“ und erstellt Labels mit Schlüsseln basierend auf den Feldern „name“ und „nameI18nKey“ und Werten aus dem entsprechenden Feld „value“.
http_verb read_only_udm.network.http.method Der Wert stammt aus dem Feld „http_verb“.
ip read_only_udm.target.ip Wert aus dem Feld „ip“.
principal_host read_only_udm.principal.hostname Der Wert wird aus dem Feld „principal_host“ übernommen.
referral_url read_only_udm.network.http.referral_url Der Wert stammt aus dem Feld „referral_url“.
remoteAddress read_only_udm.principal.ip Wert aus dem Feld „remoteAddress“, als IP-Adresse geparst.
response_code read_only_udm.network.http.response_code Der Wert wird aus dem Feld „response_code“ übernommen.
session_duration read_only_udm.additional.fields.value.string_value Der Wert wird aus dem Feld „session_duration“ übernommen und dem Feld „string_value“ eines Labels zugewiesen, dessen Feld „key“ auf „Sitzungsdauer“ festgelegt ist.
Quelle read_only_udm.principal.ip Der Wert wird aus dem Feld „source“ übernommen und als IP-Adresse geparst.
src_ip read_only_udm.principal.ip Der Wert wird aus dem Feld „src_ip“ übernommen, wenn „remoteAddress“ leer ist.
Zusammenfassung read_only_udm.security_result.summary Der Wert stammt aus dem Feld „Zusammenfassung“.
sysAdmin read_only_udm.security_result.about.resource.attribute.labels.value Der Wert wird aus dem Feld „sysAdmin“ übernommen und dem Feld „value“ eines Labels zugewiesen, dessen Feld „key“ auf „sysAdmin“ gesetzt ist.
superAdmin read_only_udm.security_result.about.resource.attribute.labels.value Der Wert wird aus dem Feld „superAdmin“ übernommen und dem Feld „value“ eines Labels zugewiesen, dessen Feld „key“ auf „superAdmin“ festgelegt ist.
target_url read_only_udm.target.url Der Wert wird aus dem Feld „target_url“ übernommen.
timestamp read_only_udm.metadata.event_timestamp Wert aus dem Feld „timestamp“, der als Datums- und Zeitstring geparst wird.
user_id read_only_udm.principal.user.userid Der Wert wird aus dem Feld „user_id“ übernommen.
read_only_udm.metadata.event_type Der Wert dieses Felds wird durch eine Reihe von Prüfungen bestimmt und ist standardmäßig „GENERIC_EVENT“. Es wird auf bestimmte Werte wie „NETWORK_HTTP“, „USER_UNCATEGORIZED“ oder „STATUS_UPDATE“ gesetzt, je nachdem, ob andere Felder wie „principal_host“, „user_id“, „has_principal“ und „author.type“ vorhanden sind und welchen Inhalt sie haben.
read_only_udm.metadata.vendor_name Legen Sie diesen Wert auf „ATLASSIAN“ fest.
read_only_udm.metadata.product_name Legen Sie diesen Wert auf „CONFLUENCE“ fest.
read_only_udm.metadata.log_type Legen Sie diesen Wert auf „ATLASSIAN_CONFLUENCE“ fest.
read_only_udm.principal.user.user_display_name Der Wert dieses Felds kann je nach Kontext entweder aus „author.displayName“ oder „affectedObject.name“ stammen.
read_only_udm.target.process.pid Der Wert dieses Felds kann je nach Kontext entweder „principal_host“ oder „pid“ sein.
read_only_udm.principal.resource.attribute.labels Dieses Feld wird mit verschiedenen Labels gefüllt, die aus Feldern wie „affectedObjects“, „changedValues“ und „extraAttributes“ abgeleitet werden. Die Schlüssel und Werte dieser Labels werden dynamisch basierend auf dem spezifischen Inhalt dieser Felder generiert.
affectedObjects.id", "affectedObjects.name", "affectedObjects.type principal.resource.attribute.labels Aus Änderungsprotokoll zugeordnet
affectedObjects.id principal.user.userid Aus Änderungsprotokoll zugeordnet
affectedObjects.name principal.user.user_display_name Aus Änderungsprotokoll zugeordnet
changedValues.from", "changedValues.i18nKey", "changedValues.key" and "changedValues.to principal.resource.attribute.labels Aus Änderungsprotokoll zugeordnet
extraAttributes.name", "extraAttributes.nameI18nKey" and "extraAttributes.value principal.resource.attribute.labels Aus Änderungsprotokoll zugeordnet
system principal.hostname Aus Änderungsprotokoll zugeordnet
session_duration additional fields Aus Änderungsprotokoll zugeordnet

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten