Splunk Attack Analyzer-Logs erfassen
In diesem Dokument wird beschrieben, wie Sie Splunk Attack Analyzer-Logs mit Google Cloud Storage V2 in Google Security Operations aufnehmen.
Splunk Attack Analyzer (früher TwinWave) ist eine automatisierte Plattform zur Analyse von Bedrohungen, die Phishing und Malware durch Verhaltensanalysen erkennt. Sie stellt Ergebnisse abgeschlossener Jobs und normalisierte forensische Daten über eine REST API bereit.
Hinweis
Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz
- Ein GCP-Projekt mit aktivierter Cloud Storage API
- Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
- Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
- Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
- Privilegierter Zugriff auf Splunk Attack Analyzer mit Berechtigungen zum Generieren von API-Schlüsseln
Google Cloud Storage-Bucket erstellen
- Gehen Sie zur Google Cloud Console.
- Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
- Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
- Klicken Sie auf Bucket erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Bucket benennen Geben Sie einen global eindeutigen Namen ein, z. B. splunk-attack-analyzer-logs.Standorttyp Wählen Sie je nach Bedarf aus (Region, Dual-Region, Multi-Region). Standort Wählen Sie den Speicherort aus, z. B. us-central1.Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird) Zugriffskontrolle Einheitlich (empfohlen) Schutzmaßnahmen Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren Klicken Sie auf Erstellen.
Splunk Attack Analyzer API-Anmeldedaten erfassen
API-Schlüssel generieren
- Melden Sie sich in Splunk Attack Analyzer an.
- Wählen Sie rechts oben Ihren Nutzernamen und dann API-Schlüssel aus.
- Klicken Sie auf + Neuer Schlüssel.
- Geben Sie einen aussagekräftigen Namen für den Schlüssel ein, z. B.
Google Security Operations Integration. - Klicken Sie auf Erstellen.
Kopieren Sie das API-Secret, das im Modal angezeigt wird, und speichern Sie es an einem sicheren Ort.
Berechtigungen prüfen
So prüfen Sie, ob der API-Schlüssel den erforderlichen Zugriff hat:
- Melden Sie sich in Splunk Attack Analyzer an.
- Wählen Sie rechts oben Ihren Nutzernamen und dann API-Schlüssel aus.
Prüfen Sie, ob der API-Schlüssel aufgeführt und aktiv ist.
API-Zugriff testen
Testen Sie Ihre Anmeldedaten, bevor Sie mit der Integration fortfahren:
# Replace with your actual API key API_KEY="your-api-key" # Test API access - list completed jobs curl -v -H "Authorization: Bearer ${API_KEY}" \ "https://app.twinwave.io/api/v1/jobs?done=true&limit=1"
Dienstkonto für Cloud Run-Funktion erstellen
Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.
Dienstkonto erstellen
- Wechseln Sie in der GCP Console zu IAM & Verwaltung > Dienstkonten.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie
saa-collector-saein. - Beschreibung des Dienstkontos: Geben Sie
Service account for Cloud Run function to collect Splunk Attack Analyzer logsein.
- Name des Dienstkontos: Geben Sie
- Klicken Sie auf Erstellen und fortfahren.
- Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
- Klicken Sie auf Rolle auswählen.
- Suchen Sie nach Storage-Objekt-Administrator und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
- Klicken Sie auf Weiter.
- Klicken Sie auf Fertig.
Diese Rollen sind erforderlich für:
- Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
- Cloud Run-Aufrufer: Pub/Sub darf die Funktion aufrufen.
- Cloud Functions-Invoker: Funktionsaufruf zulassen
IAM-Berechtigungen für GCS-Bucket erteilen
Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets, z. B.
splunk-attack-analyzer-logs. - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Prinzipale hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B.
saa-collector-sa@your-project.iam.gserviceaccount.com). - Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
- Prinzipale hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B.
- Klicken Sie auf Speichern.
Pub/Sub-Thema erstellen
Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.
- Rufen Sie in der GCP Console Pub/Sub > Themen auf.
- Klicken Sie auf Thema erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Themen-ID: Geben Sie
saa-triggerein. - Übernehmen Sie die anderen Einstellungen.
- Themen-ID: Geben Sie
- Klicken Sie auf Erstellen.
Cloud Run-Funktion zum Erfassen von Logs erstellen
Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der Splunk Attack Analyzer API abzurufen und in GCS zu schreiben.
- Rufen Sie in der GCP Console Cloud Run auf.
- Klicken Sie auf Dienst erstellen.
- Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.
Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:
Einstellung Wert Dienstname saa-collectorRegion Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).Laufzeit Wählen Sie Python 3.12 oder höher aus. Im Abschnitt Trigger (optional):
- Klicken Sie auf + Trigger hinzufügen.
- Wählen Sie Cloud Pub/Sub aus.
- Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Thema
saa-triggeraus. - Klicken Sie auf Speichern.
Im Abschnitt Authentifizierung:
- Wählen Sie Authentifizierung erforderlich aus.
- Identitäts- und Zugriffsverwaltung
Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
Rufen Sie den Tab Sicherheit auf:
- Dienstkonto: Wählen Sie das Dienstkonto
saa-collector-saaus.
- Dienstkonto: Wählen Sie das Dienstkonto
Rufen Sie den Tab Container auf:
- Klicken Sie auf Variablen und Secrets.
- Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
Variablenname Beispielwert Beschreibung GCS_BUCKETsplunk-attack-analyzer-logsName des GCS-Buckets GCS_PREFIXsaaPräfix für Protokolldateien STATE_KEYsaa/state.jsonStatusdateipfad API_KEYyour-api-keySplunk Attack Analyzer-API-Schlüssel API_BASEhttps://app.twinwave.ioAPI-Basis-URL MAX_RECORDS5000Maximale Anzahl von Datensätzen pro Ausführung PAGE_SIZE100Einträge pro Seite LOOKBACK_HOURS24Erster Rückschauzeitraum Scrollen Sie auf dem Tab Variablen und Secrets nach unten zu Anfragen:
- Zeitlimit für Anfragen: Geben Sie
600Sekunden (10 Minuten) ein.
- Zeitlimit für Anfragen: Geben Sie
Rufen Sie den Tab Einstellungen unter Container auf:
- Im Abschnitt Ressourcen:
- Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
- CPU: Wählen Sie 1 aus.
- Im Abschnitt Ressourcen:
Im Abschnitt Versionsskalierung:
- Mindestanzahl von Instanzen: Geben Sie
0ein. - Maximale Anzahl von Instanzen: Geben Sie
100ein (oder passen Sie den Wert an die erwartete Last an).
- Mindestanzahl von Instanzen: Geben Sie
Klicken Sie auf Erstellen.
Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.
Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.
Funktionscode hinzufügen
- Geben Sie main in Funktionseinstiegspunkt ein.
Erstellen Sie im Inline-Code-Editor zwei Dateien:
Erste Datei: main.py::
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'saa') STATE_KEY = os.environ.get('STATE_KEY', 'saa/state.json') API_KEY = os.environ.get('API_KEY', '') API_BASE = os.environ.get('API_BASE', 'https://app.twinwave.io').rstrip('/') MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) def parse_datetime(value: str) -> datetime: """Parse ISO datetime string to datetime object.""" if value.endswith("Z"): value = value[:-1] + "+00:00" return datetime.fromisoformat(value) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Splunk Attack Analyzer logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, API_KEY]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) # Determine time window now = datetime.now(timezone.utc) last_time = None if isinstance(state, dict) and state.get("last_event_time"): try: last_time = parse_datetime(state["last_event_time"]) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") if last_time is None: last_time = now - timedelta(hours=LOOKBACK_HOURS) print(f"Fetching jobs from {last_time.isoformat()} to {now.isoformat()}") # Fetch completed jobs jobs, newest_event_time = fetch_jobs( start_time=last_time, end_time=now, page_size=PAGE_SIZE, max_records=MAX_RECORDS, ) if not jobs: print("No new completed jobs found.") save_state(bucket, STATE_KEY, now.isoformat()) return # Fetch forensics for each job all_records = [] for job in jobs: job_id = job.get('id', '') if not job_id: continue forensics = fetch_forensics(job_id) if forensics: # Combine job metadata with forensics record = { 'job': job, 'forensics': forensics } all_records.append(record) if not all_records: print("No forensics data retrieved.") save_state(bucket, STATE_KEY, now.isoformat()) return # Write to GCS as NDJSON timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in all_records]) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(all_records)} records to gs://{GCS_BUCKET}/{object_key}") if newest_event_time: save_state(bucket, STATE_KEY, newest_event_time) else: save_state(bucket, STATE_KEY, now.isoformat()) print(f"Successfully processed {len(all_records)} records") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, last_event_time_iso: str): """Save the last event timestamp to GCS state file.""" try: state = {'last_event_time': last_event_time_iso} blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_jobs(start_time: datetime, end_time: datetime, page_size: int, max_records: int): """ Fetch completed jobs from Splunk Attack Analyzer API with pagination and rate limiting. Args: start_time: Start time for job query end_time: End time for job query page_size: Number of records per page max_records: Maximum total records to fetch Returns: Tuple of (jobs list, newest_event_time ISO string) """ endpoint = f"{API_BASE}/api/v1/jobs" headers = { 'Authorization': f'Bearer {API_KEY}', 'Accept': 'application/json', 'User-Agent': 'GoogleSecOps-SAACollector/1.0' } records = [] newest_time = None page_num = 0 backoff = 1.0 offset = 0 while True: page_num += 1 if len(records) >= max_records: print(f"Reached max_records limit ({max_records})") break current_limit = min(page_size, max_records - len(records)) url = f"{endpoint}?done=true&limit={current_limit}&offset={offset}" try: response = http.request('GET', url, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return [], None data = json.loads(response.data.decode('utf-8')) page_results = data.get('jobs', []) if not page_results: print(f"No more results (empty page)") break # Filter by time window filtered = [] for job in page_results: created = job.get('created_at', '') if created: try: job_time = parse_datetime(created) if start_time <= job_time <= end_time: filtered.append(job) if newest_time is None or job_time > parse_datetime(newest_time): newest_time = created except Exception as e: print(f"Warning: Could not parse job time: {e}") filtered.append(job) print(f"Page {page_num}: Retrieved {len(page_results)} jobs, {len(filtered)} in time window") records.extend(filtered) if len(page_results) < page_size: print(f"Reached last page (size={len(page_results)} < limit={page_size})") break offset += len(page_results) except Exception as e: print(f"Error fetching jobs: {e}") return [], None print(f"Retrieved {len(records)} total jobs from {page_num} pages") return records, newest_time def fetch_forensics(job_id: str): """ Fetch normalized forensics for a specific job. Args: job_id: The job ID Returns: Forensics data dict or None """ endpoint = f"{API_BASE}/api/v1/jobs/{job_id}/normalizedforensics" headers = { 'Authorization': f'Bearer {API_KEY}', 'Accept': 'application/json', 'User-Agent': 'GoogleSecOps-SAACollector/1.0' } backoff = 1.0 max_retries = 3 for attempt in range(max_retries): try: response = http.request('GET', endpoint, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429) on forensics for job {job_id}. Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue if response.status != 200: print(f"Warning: Could not fetch forensics for job {job_id}: HTTP {response.status}") return None return json.loads(response.data.decode('utf-8')) except Exception as e: print(f"Warning: Error fetching forensics for job {job_id}: {e}") if attempt < max_retries - 1: time.sleep(backoff) backoff = min(backoff * 2, 30.0) continue return None return NoneZweite Datei: requirements.txt::
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist (2 bis 3 Minuten).
Cloud Scheduler-Job erstellen
Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.
- Rufen Sie in der GCP Console Cloud Scheduler auf.
- Klicken Sie auf Job erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Name saa-collector-hourlyRegion Dieselbe Region wie die Cloud Run-Funktion auswählen Frequenz 0 * * * *(jede Stunde, zur vollen Stunde)Zeitzone Zeitzone auswählen (UTC empfohlen) Zieltyp Pub/Sub Thema Wählen Sie das Thema saa-triggeraus.Inhalt der Nachricht {}(leeres JSON-Objekt)Klicken Sie auf Erstellen.
Optionen für die Häufigkeit des Zeitplans
Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:
| Häufigkeit | Cron-Ausdruck | Anwendungsfall |
|---|---|---|
| Alle 5 Minuten | */5 * * * * |
Hohes Volumen, niedrige Latenz |
| Alle 15 Minuten | */15 * * * * |
Mittleres Suchvolumen |
| Stündlich | 0 * * * * |
Standard (empfohlen) |
| Alle 6 Stunden | 0 */6 * * * |
Geringes Volumen, Batchverarbeitung |
| Täglich | 0 0 * * * |
Erhebung von Verlaufsdaten |
Integration testen
- Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job (
saa-collector-hourly). - Klicken Sie auf Force run (Ausführung erzwingen), um den Trigger manuell auszulösen.
- Warten Sie einige Sekunden und rufen Sie Cloud Run > Dienste > saa-collector > Logs auf.
Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Darauf sollten Sie achten:
Fetching jobs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Page 1: Retrieved X jobs, Y in time window Wrote Z records to gs://splunk-attack-analyzer-logs/saa/logs_YYYYMMDD_HHMMSS.ndjson Successfully processed Z recordsPrüfen Sie den GCS-Bucket (
splunk-attack-analyzer-logs), um zu bestätigen, dass Logs geschrieben wurden.
Wenn Sie Fehler in den Logs sehen:
- HTTP 401: API-Schlüssel in Umgebungsvariablen prüfen
- HTTP 403: Prüfen, ob der API-Schlüssel die erforderlichen Berechtigungen hat
- HTTP 429: Ratenbegrenzung – Funktion wird automatisch mit Backoff wiederholt
- Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.
Feed in Google SecOps konfigurieren, um Splunk Attack Analyzer-Logs aufzunehmen
- Rufen Sie die SIEM-Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
Splunk Attack Analyzer Logs. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
- Wählen Sie Splunk Attack Analyzer als Log-Typ aus.
Klicken Sie auf Dienstkonto abrufen. Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comKopieren Sie diese E-Mail-Adresse. Sie verwenden es in der nächsten Aufgabe.
Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
gs://splunk-attack-analyzer-logs/saa/- Ersetzen Sie:
splunk-attack-analyzer-logs: Der Name Ihres GCS-Buckets.saa: Optionales Präfix/Ordnerpfad, in dem Logs gespeichert werden (für den Stamm leer lassen).
- Ersetzen Sie:
Option zum Löschen der Quelle: Wählen Sie die gewünschte Option zum Löschen aus:
- Nie: Es werden niemals Dateien nach Übertragungen gelöscht (empfohlen für Tests).
- Übertragene Dateien löschen: Löscht Dateien nach der erfolgreichen Übertragung.
Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach der erfolgreichen Übertragung gelöscht.
Höchstalter von Dateien: Dateien einschließen, die in den letzten Tagen geändert wurden (Standardwert: 180 Tage).
Asset-Namespace: Der Asset-Namespace.
Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren
Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets (
splunk-attack-analyzer-logs). - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage-Objekt-Betrachter aus.
Klicken Sie auf Speichern.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| Wann? | metadata.event_timestamp | Zeitpunkt des Ereignisses |
| deviceName | principal.hostname | Hostname des Prinzipal |
| messageid | metadata.id | Eindeutige Kennung für das Ereignis |
| Aktion | security_result.action | Vom Sicherheitsprodukt ergriffene Maßnahmen |
| Protokoll | network.ip_protocol | IP-Protokoll |
| srcAddr | principal.ip | IP-Adresse des Auftraggebers |
| srcPort | principal.port | Portnummer des Prinzipal |
| dstAddr | target.ip | IP-Adresse des Ziels |
| dstPort | target.port | Portnummer des Ziels |
| metadata.event_type | Ereignistyp | |
| metadata.product_name | Produktname | |
| metadata.vendor_name | Name des Anbieters/Unternehmens |
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten