MuleSoft Anypoint-Plattformprotokolle erfassen

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Audit-Trail-Ereignisse aus MuleSoft Anypoint-Plattform-Logs mithilfe von Google Cloud Storage in Google Security Operations aufnehmen.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz
  • Ein GCP-Projekt mit aktivierter Cloud Storage API
  • Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
  • Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
  • Berechtigungen zum Erstellen von Cloud Run-Funktionen, Pub/Sub-Themen und Cloud Scheduler-Jobs
  • Berechtigungen zum Erstellen von Dienstkonten
  • Privilegierter Zugriff auf die MuleSoft Anypoint Platform

MuleSoft-Organisations-ID abrufen

  1. Melden Sie sich in der Anypoint Platform an.
  2. Rufen Sie Zugriffsverwaltung > Organisationen auf.
  3. Klicken Sie in der Tabelle Unternehmensgruppen auf den Namen Ihrer Organisation.
  4. Kopieren Sie die Organisations-ID (z. B. 0a12b3c4-d5e6-789f-1021-1a2b34cd5e6f).

Alternativ können Sie auch zu MuleSoft Business Groups gehen und die ID aus der URL kopieren.

Verbundene MuleSoft-App erstellen

  1. Melden Sie sich in der Anypoint Platform an.
  2. Klicken Sie auf Zugriffsverwaltung > Verknüpfte Apps > App erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • App-Name: Geben Sie einen eindeutigen Namen ein, z. B. Google SecOps export.
    • Wählen Sie App acts on its own behalf (client credentials) (App handelt in eigenem Namen (Clientanmeldedaten)) aus.
  4. Klicken Sie auf Bereiche hinzufügen > Audit Log Viewer > Weiter.
  5. Wählen Sie alle Unternehmensgruppen aus, deren Protokolle Sie benötigen.
  6. Klicken Sie auf Weiter > Bereiche hinzufügen.

  7. Klicken Sie auf Speichern und kopieren Sie die Client-ID und den Clientschlüssel.

Google Cloud Storage-Bucket erstellen

  1. Rufen Sie die Google Cloud Console auf.
  2. Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
  3. Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
  4. Klicken Sie auf Bucket erstellen.

  5. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Bucket benennen Geben Sie einen global eindeutigen Namen ein, z. B. mulesoft-audit-logs.
    Standorttyp Wählen Sie je nach Bedarf aus (Region, Dual-Region, Multi-Region).
    Standort Wählen Sie den Speicherort aus, z. B. us-central1.
    Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
    Zugriffssteuerung Einheitlich (empfohlen)
    Schutzmaßnahmen Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

  6. Klicken Sie auf Erstellen.

Dienstkonto für Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket.

Dienstkonto erstellen

  1. Wechseln Sie in der GCP Console zu IAM & Verwaltung > Dienstkonten.
  2. Klicken Sie auf Dienstkonto erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Name des Dienstkontos: Geben Sie mulesoft-logs-collector-sa ein.
    • Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect MuleSoft Anypoint logs ein.
  4. Klicken Sie auf Erstellen und fortfahren.
  5. Im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen:
    1. Klicken Sie auf Rolle auswählen.
    2. Suchen Sie nach Storage-Objekt-Administrator und wählen Sie die Rolle aus.
    3. Klicken Sie auf + Weitere Rolle hinzufügen.
    4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
    5. Klicken Sie auf + Weitere Rolle hinzufügen.
    6. Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
  6. Klicken Sie auf Weiter.
  7. Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

  • Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
  • Cloud Run-Aufrufer: Pub/Sub darf die Funktion aufrufen.
  • Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket erteilen

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. mulesoft-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
  6. Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.

  1. Rufen Sie in der GCP Console Pub/Sub > Themen auf.
  2. Klicken Sie auf Thema erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Themen-ID: Geben Sie mulesoft-audit-trigger ein.
    • Übernehmen Sie die anderen Einstellungen.
  4. Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der MuleSoft Anypoint API abzurufen und in GCS zu schreiben.

  1. Rufen Sie in der GCP Console Cloud Run auf.
  2. Klicken Sie auf Dienst erstellen.
  3. Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.

  4. Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Dienstname mulesoft-audit-collector
    Region Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).
    Laufzeit Wählen Sie Python 3.12 oder höher aus.

  5. Im Abschnitt Trigger (optional):

    1. Klicken Sie auf + Trigger hinzufügen.
    2. Wählen Sie Cloud Pub/Sub aus.
    3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Thema mulesoft-audit-trigger aus.
    4. Klicken Sie auf Speichern.

  6. Im Abschnitt Authentifizierung:

    1. Wählen Sie Authentifizierung erforderlich aus.
    2. Identitäts- und Zugriffsverwaltung

  7. Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.

  8. Rufen Sie den Tab Sicherheit auf:

    • Dienstkonto: Wählen Sie das Dienstkonto mulesoft-logs-collector-sa aus.

  9. Rufen Sie den Tab Container auf:

    1. Klicken Sie auf Variablen und Secrets.
    2. Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
    Variablenname Beispielwert
    MULE_ORG_ID your_org_id
    CLIENT_ID your_client_id
    CLIENT_SECRET your_client_secret
    GCS_BUCKET mulesoft-audit-logs

  10. Scrollen Sie auf dem Tab Variablen und Secrets nach unten zu Anfragen:

    • Zeitlimit für Anfragen: Geben Sie 600 Sekunden (10 Minuten) ein.

  11. Rufen Sie den Tab Einstellungen unter Container auf:

    • Im Abschnitt Ressourcen:
      • Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
      • CPU: Wählen Sie 1 aus.
    • Klicken Sie auf Fertig.

  12. Scrollen Sie zu Ausführungsumgebung:

    • Wählen Sie Standard aus (empfohlen).

  13. Im Abschnitt Versionsskalierung:

    • Mindestanzahl von Instanzen: Geben Sie 0 ein.
    • Maximale Anzahl von Instanzen: Geben Sie 100 ein (oder passen Sie den Wert an die erwartete Last an).

  14. Klicken Sie auf Erstellen.

  15. Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.

  16. Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.

Funktionscode hinzufügen

  1. Geben Sie main unter Funktionseinstiegspunkt ein.

  2. Erstellen Sie im Inline-Codeeditor zwei Dateien:

    • Erste Datei: main.py::
    import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timedelta, timezone
import uuid
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# MuleSoft API endpoints
TOKEN_URL = "https://anypoint.mulesoft.com/accounts/api/v2/oauth2/token"

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch MuleSoft audit logs and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    # Get environment variables
    org_id = os.environ.get('MULE_ORG_ID')
    client_id = os.environ.get('CLIENT_ID')
    client_secret = os.environ.get('CLIENT_SECRET')
    bucket_name = os.environ.get('GCS_BUCKET')

    if not all([org_id, client_id, client_secret, bucket_name]):
        print('Error: Missing required environment variables')
        return

    query_url = f"https://anypoint.mulesoft.com/audit/v2/organizations/{org_id}/query"

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(bucket_name)

        # Get OAuth token
        token = get_token(client_id, client_secret)

        # Calculate time range (last 24 hours)
        now = datetime.now(timezone.utc).replace(microsecond=0)
        start = now - timedelta(days=1)

        print(f'Fetching audit logs from {start.isoformat()} to {now.isoformat()}')

        # Fetch audit logs
        events = list(fetch_audit(query_url, token, start, now))

        # Upload to GCS
        if events:
            upload_to_gcs(bucket, events, start)
            print(f'Uploaded {len(events)} events')
        else:
            print('No events in the last 24 hours')

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def get_token(client_id, client_secret):
    """Get OAuth 2.0 access token from MuleSoft."""
    data = {
        'grant_type': 'client_credentials',
        'client_id': client_id,
        'client_secret': client_secret
    }

    encoded_data = urllib3.request.urlencode(data).encode('utf-8')

    backoff = 1.0
    max_retries = 3

    for attempt in range(max_retries):
        try:
            response = http.request(
                'POST',
                TOKEN_URL,
                body=encoded_data,
                headers={'Content-Type': 'application/x-www-form-urlencoded'}
            )

            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                print(f'Rate limited (429) on token request. Retrying after {retry_after}s...')
                time.sleep(retry_after)
                backoff = min(backoff * 2, 30.0)
                continue

            if response.status != 200:
                raise Exception(f'Failed to get token: {response.status} - {response.data.decode()}')

            token_data = json.loads(response.data.decode('utf-8'))
            return token_data['access_token']

        except Exception as e:
            if attempt == max_retries - 1:
                raise
            print(f'Token request failed (attempt {attempt + 1}/{max_retries}): {e}')
            time.sleep(backoff)
            backoff = min(backoff * 2, 30.0)

    raise Exception('Failed to get token after maximum retries')

def fetch_audit(query_url, token, start, end):
    """Fetch audit logs from MuleSoft API with pagination."""
    headers = {
        'Authorization': f'Bearer {token}',
        'Content-Type': 'application/json'
    }

    body = {
        'startDate': f"{start.isoformat(timespec='milliseconds')}Z",
        'endDate': f"{end.isoformat(timespec='milliseconds')}Z",
        'limit': 200,
        'offset': 0,
        'ascending': False
    }

    backoff = 1.0

    while True:
        try:
            response = http.request(
                'POST',
                query_url,
                body=json.dumps(body).encode('utf-8'),
                headers=headers
            )

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                print(f'Rate limited (429). Retrying after {retry_after}s...')
                time.sleep(retry_after)
                backoff = min(backoff * 2, 30.0)
                continue

            backoff = 1.0

            if response.status != 200:
                print(f'HTTP Error: {response.status}')
                response_text = response.data.decode('utf-8')
                print(f'Response body: {response_text}')
                break

            data = json.loads(response.data.decode('utf-8'))

            if not data.get('data'):
                break

            yield from data['data']
            body['offset'] += body['limit']

        except Exception as e:
            print(f'Error fetching audit logs: {e}')
            break

def upload_to_gcs(bucket, events, timestamp):
    """Upload events to GCS as compressed JSON."""
    import gzip
    import io

    # Create blob name with timestamp and UUID
    blob_name = f"{timestamp.strftime('%Y/%m/%d')}/mulesoft-audit-{uuid.uuid4()}.json.gz"

    # Compress events
    buf = io.BytesIO()
    with gzip.GzipFile(fileobj=buf, mode='w') as gz:
        for event in events:
            gz.write((json.dumps(event) + '\n').encode('utf-8'))

    buf.seek(0)

    # Upload to GCS
    blob = bucket.blob(blob_name)
    blob.upload_from_file(buf, content_type='application/gzip')

    print(f'Uploaded to gs://{bucket.name}/{blob_name}')
    • Zweite Datei: requirements.txt::
    functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.

  4. Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Wichtige Aspekte

Ratenbegrenzung:Für den Endpunkt „Audit Log Query“ gelten Ratenbegrenzungen pro IP-Adresse in den drei Steuerungsebenen. Die US-Steuerungsebene erlaubt 700 Anfragen pro Minute und IP-Adresse, während die EU- und Gov-Steuerungsebenen 40 Anfragen pro Minute und IP-Adresse erlauben. Die Funktion implementiert exponentiellen Backoff, um die Ratenbegrenzung automatisch zu verarbeiten.

Ablauf von Token:Zugriffstokens laufen in der Regel etwa 30 bis 60 Minuten nach der Ausstellung ab. Die Funktion fordert für jede Ausführung ein neues Token an. Bei Produktionsbereitstellungen mit häufigen Ausführungen sollten Sie das Zwischenspeichern von Tokens mit Aktualisierungslogik implementieren.

Aufbewahrung von Audit-Logs:Audit-Logs haben eine standardmäßige Aufbewahrungsdauer von einem Jahr. Wenn Ihre Organisation vor dem 10. Juli 2023 erstellt wurde und Sie den Aufbewahrungszeitraum nicht manuell geändert haben, beträgt er sechs Jahre. Laden Sie Logs regelmäßig herunter, wenn Sie sie über den konfigurierten Aufbewahrungszeitraum hinaus aufbewahren müssen.

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema, wodurch die Cloud Run-Funktion ausgelöst wird.

  1. Rufen Sie in der GCP Console Cloud Scheduler auf.
  2. Klicken Sie auf Job erstellen.

  3. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Name daily-mulesoft-audit-export
    Region Dieselbe Region wie für die Cloud Run-Funktion auswählen
    Frequenz 0 2 * * * (wird täglich um 02:00 Uhr UTC ausgeführt)
    Zeitzone Zeitzone auswählen (UTC empfohlen)
    Zieltyp Pub/Sub
    Thema Wählen Sie das Thema mulesoft-audit-trigger aus.
    Nachrichtentext {} (leeres JSON-Objekt)

  4. Klicken Sie auf Erstellen.

Scheduler-Job testen

  1. Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
  2. Klicken Sie auf Force run (Ausführung erzwingen), um die Ausführung manuell auszulösen.
  3. Warten Sie einige Sekunden und rufen Sie Cloud Run > Dienste > mulesoft-audit-collector > Logs auf.
  4. Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde.
  5. Prüfen Sie im GCS-Bucket, ob Logs geschrieben wurden.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E-Mail-Adresse des Dienstkontos abrufen

  1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. MuleSoft Logs.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie Mulesoft als Logtyp aus.

  7. Klicken Sie auf Dienstkonto abrufen. Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. Kopieren Sie diese E‑Mail-Adresse für den nächsten Schritt.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
    • Rollen zuweisen: Wählen Sie Storage-Objekt-Betrachter aus.

  6. Klicken Sie auf Speichern.

Feed in Google SecOps konfigurieren, um die MuleSoft-Logs aufzunehmen

  1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. MuleSoft Logs.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie Mulesoft als Logtyp aus.
  7. Klicken Sie auf Weiter.

  8. Geben Sie Werte für die folgenden Eingabeparameter an:

    • Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI ein:

      gs://mulesoft-audit-logs/
      • Ersetzen Sie mulesoft-audit-logs durch den tatsächlichen Namen des Buckets.

    • Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:

      • Nie: Es werden nach Übertragungen nie Dateien gelöscht (empfohlen für Tests).
      • Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.

      • Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach der erfolgreichen Übertragung.

    • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.

    • Asset-Namespace: Der Asset-Namespace.

    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

  9. Klicken Sie auf Weiter.

  10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten