Proofpoint Web Browser Isolation-Logs erfassen
In diesem Dokument wird beschrieben, wie Sie Proofpoint Web Browser Isolation-Logs mit Google Cloud Storage V2 in Google Security Operations aufnehmen.
Proofpoint Web Browser Isolation ist ein Dienst zur Remote-Browserisolierung, der Nutzer vor webbasierten Bedrohungen schützt, indem Webinhalte in einer sicheren Cloud-Umgebung gerendert werden. So wird verhindert, dass schädlicher Code den Endpunkt erreicht. Es stellt Browseraktivitätslogs über die Proofpoint TAP SIEM API bereit. Der Parser extrahiert Felder aus Daten zu Isolierungsereignissen und ordnet sie dem Unified Data Model (UDM) zu. Dabei werden URL-Klassifizierungen, Nutzeraktionen, Sicherheitsentscheidungen und Metadaten zu Browsersitzungen erfasst.
Hinweis
Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz
- Ein GCP-Projekt mit aktivierter Cloud Storage API
- Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
- Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
- Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
- Privilegierter Zugriff auf Proofpoint mit TAP SIEM API-Anmeldedaten (Service Principal und API-Secret)
Google Cloud Storage-Bucket erstellen
- Gehen Sie zur Google Cloud Console.
- Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
- Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
- Klicken Sie auf Bucket erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Bucket benennen Geben Sie einen global eindeutigen Namen ein, z. B. proofpoint-wbi-logs.Standorttyp Wählen Sie die Option aus, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region). Standort Wählen Sie den Speicherort aus, z. B. us-central1.Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird) Zugriffskontrolle Einheitlich (empfohlen) Schutztools Optional: Objektversionierung oder Aufbewahrungsrichtlinie aktivieren Klicken Sie auf Erstellen.
Proofpoint TAP SIEM API-Anmeldedaten erfassen
API-Anmeldedaten abrufen
- Melden Sie sich im Proofpoint TAP-Dashboard an.
- Rufen Sie die Einstellungen > Verbundene Anwendungen auf.
- Klicken Sie auf Neue Anmeldedaten erstellen (oder verwenden Sie vorhandene SIEM API-Anmeldedaten).
Kopieren Sie die folgenden Anmeldedaten und bewahren Sie sie an einem sicheren Ort auf:
- Service Principal (Dienstprinzipal): Kopieren Sie diesen Wert.
- API-Secret: Kopieren Sie diesen Wert.
Berechtigungen prüfen
So prüfen Sie, ob die API-Anmeldedaten die erforderlichen Berechtigungen haben:
- Melden Sie sich im Proofpoint TAP-Dashboard an.
- Rufen Sie die Einstellungen > Verbundene Anwendungen auf.
- Prüfen Sie, ob der Berechtigungsnachweis aufgeführt ist und den Status Aktiv hat.
- Prüfen Sie, ob für die Anmeldedaten der SIEM-API-Zugriff aktiviert ist.
API-Zugriff testen
Testen Sie Ihre Anmeldedaten, bevor Sie mit der Integration fortfahren:
# Replace with your actual credentials SERVICE_PRINCIPAL="<your-service-principal>" API_SECRET="<your-api-secret>" # Test TAP SIEM API access - fetch events from last hour curl -v -u "${SERVICE_PRINCIPAL}:${API_SECRET}" \ "https://tap-api-v2.proofpoint.com/v2/siem/all?format=json&sinceSeconds=3600"
Dienstkonto für die Cloud Run-Funktion erstellen
Für die Cloud Run-Funktion ist ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub erforderlich.
Dienstkonto erstellen
- Wechseln Sie in der GCP Console zu IAM und Verwaltung > Dienstkonten.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie
proofpoint-wbi-collector-saein. - Beschreibung des Dienstkontos: Geben Sie
Service account for Cloud Run function to collect Proofpoint Web Browser Isolation logsein.
- Name des Dienstkontos: Geben Sie
- Klicken Sie auf Erstellen und fortfahren.
- Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
- Klicken Sie auf Rolle auswählen.
- Suchen Sie nach Storage Object Admin und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
- Klicken Sie auf Weiter.
- Klicken Sie auf Fertig.
Diese Rollen sind für Folgendes erforderlich:
- Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
- Cloud Run Invoker: Pub/Sub darf die Funktion aufrufen.
- Cloud Functions-Invoker: Funktionsaufruf zulassen
IAM-Berechtigungen für GCS-Bucket erteilen
Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets (z. B.
proofpoint-wbi-logs). - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B.
proofpoint-wbi-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Rollen zuweisen: Wählen Sie Storage Object Admin aus.
- Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B.
- Klicken Sie auf Speichern.
Pub/Sub-Thema erstellen
Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.
- Rufen Sie in der GCP Console Pub/Sub > Themen auf.
- Klicken Sie auf Thema erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Themen-ID: Geben Sie
proofpoint-wbi-triggerein. - Übernehmen Sie die anderen Einstellungen.
- Themen-ID: Geben Sie
- Klicken Sie auf Erstellen.
Cloud Run-Funktion zum Erfassen von Logs erstellen
Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Browser-Isolation-Ereignisse aus der Proofpoint TAP SIEM API abzurufen und in GCS zu schreiben.
- Rufen Sie in der GCP Console Cloud Run auf.
- Klicken Sie auf Dienst erstellen.
- Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.
Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:
Einstellung Wert Dienstname proofpoint-wbi-collectorRegion Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).Laufzeit Wählen Sie Python 3.12 oder höher aus. Im Abschnitt Trigger (optional):
- Klicken Sie auf + Trigger hinzufügen.
- Wählen Sie Cloud Pub/Sub aus.
- Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Pub/Sub-Thema (
proofpoint-wbi-trigger) aus. - Klicken Sie auf Speichern.
Im Abschnitt Authentifizierung:
- Wählen Sie Authentifizierung erforderlich aus.
- Weitere Informationen finden Sie unter Identity and Access Management (IAM).
Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
Rufen Sie den Tab Sicherheit auf:
- Dienstkonto: Wählen Sie das Dienstkonto aus (
proofpoint-wbi-collector-sa).
- Dienstkonto: Wählen Sie das Dienstkonto aus (
Rufen Sie den Tab Container auf:
- Klicken Sie auf Variablen und Secrets.
- Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
Variablenname Beispielwert Beschreibung GCS_BUCKETproofpoint-wbi-logsName des GCS-Buckets GCS_PREFIXwbi-logsPräfix für Logdateien STATE_KEYwbi-logs/state.jsonPfad der Statusdatei SERVICE_PRINCIPALyour-service-principalProofpoint TAP-Dienstprinzipal API_SECRETyour-api-secretProofpoint TAP API-Secret LOOKBACK_SECONDS3600Rückschauzeitraum in Sekunden (Standard: 1 Stunde) Scrollen Sie im Bereich Variablen und Secrets nach unten zu Anfragen:
- Zeitlimit für die Anfrage: Geben Sie
600Sekunden (10 Minuten) ein.
- Zeitlimit für die Anfrage: Geben Sie
Gehen Sie zum Tab Einstellungen:
- Im Abschnitt Ressourcen:
- Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
- CPU: Wählen Sie 1 aus.
- Im Abschnitt Ressourcen:
Im Abschnitt Versionsskalierung:
- Mindestanzahl von Instanzen: Geben Sie
0ein. - Maximale Anzahl von Instanzen: Geben Sie
100ein (oder passen Sie den Wert an die erwartete Last an).
- Mindestanzahl von Instanzen: Geben Sie
Klicken Sie auf Erstellen.
Warten Sie, bis der Dienst erstellt wurde (1–2 Minuten).
Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.
Funktionscode hinzufügen
- Geben Sie main in das Feld Einstiegspunkt ein.
Erstellen Sie im Inline-Code-Editor zwei Dateien:
Erste Datei – main.py::
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time import base64 # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=60.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'wbi-logs') STATE_KEY = os.environ.get('STATE_KEY', 'wbi-logs/state.json') SERVICE_PRINCIPAL = os.environ.get('SERVICE_PRINCIPAL') API_SECRET = os.environ.get('API_SECRET') LOOKBACK_SECONDS = int(os.environ.get('LOOKBACK_SECONDS', '3600')) TAP_API_BASE = "https://tap-api-v2.proofpoint.com/v2/siem" def parse_datetime(value: str) -> datetime: """Parse ISO datetime string to datetime object.""" if value.endswith("Z"): value = value[:-1] + "+00:00" return datetime.fromisoformat(value) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Proofpoint Web Browser Isolation events via TAP SIEM API and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, SERVICE_PRINCIPAL, API_SECRET]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) now = datetime.now(timezone.utc) # Determine since_seconds from state since_seconds = LOOKBACK_SECONDS if isinstance(state, dict) and state.get("last_event_time"): try: last_time = parse_datetime(state["last_event_time"]) elapsed = (now - last_time).total_seconds() # Add 120 seconds overlap to catch delayed events since_seconds = int(elapsed) + 120 # TAP API maximum is 1 hour (3600 seconds) since_seconds = min(since_seconds, 3600) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") print(f"Fetching events from last {since_seconds} seconds") # Build auth header (Basic auth) auth_string = f"{SERVICE_PRINCIPAL}:{API_SECRET}" auth_bytes = auth_string.encode('utf-8') auth_b64 = base64.b64encode(auth_bytes).decode('utf-8') # Fetch all SIEM events records = fetch_siem_events( auth_b64=auth_b64, since_seconds=since_seconds, ) if not records: print("No new events found.") save_state(bucket, STATE_KEY, now.isoformat()) return # Write to GCS as NDJSON timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}") # Update state save_state(bucket, STATE_KEY, now.isoformat()) print(f"Successfully processed {len(records)} records") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, last_event_time_iso: str): """Save the last event timestamp to GCS state file.""" try: state = {'last_event_time': last_event_time_iso} blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_siem_events(auth_b64: str, since_seconds: int): """ Fetch events from the Proofpoint TAP SIEM API. The TAP SIEM API returns all event types (clicks, messages, isolation) in a single response. The sinceSeconds parameter controls the lookback window (maximum 3600 seconds / 1 hour). Args: auth_b64: Base64-encoded Service Principal:API Secret for Basic auth since_seconds: Fetch events from the last N seconds (max 3600) Returns: List of event records """ headers = { 'Authorization': f'Basic {auth_b64}', 'Accept': 'application/json', 'User-Agent': 'GoogleSecOps-ProofpointWBICollector/1.0', } url = f"{TAP_API_BASE}/all?format=json&sinceSeconds={since_seconds}" backoff = 1.0 max_retries = 3 for attempt in range(max_retries): try: response = http.request('GET', url, headers=headers) # Handle rate limiting with exponential backoff if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return [] data = json.loads(response.data.decode('utf-8')) # TAP SIEM API returns events grouped by type all_events = [] # Collect all event types for key in ['clicksPermitted', 'clicksBlocked', 'messagesDelivered', 'messagesBlocked']: events = data.get(key, []) if events: for event in events: event['_tap_event_type'] = key all_events.extend(events) print(f"Retrieved {len(events)} {key} events") print(f"Total events retrieved: {len(all_events)}") return all_events except Exception as e: print(f"Error fetching SIEM events (attempt {attempt + 1}): {e}") if attempt < max_retries - 1: time.sleep(backoff) backoff = min(backoff * 2, 30.0) return []Zweite Datei:requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).
Cloud Scheduler-Job erstellen
Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.
- Rufen Sie in der GCP Console Cloud Scheduler auf.
- Klicken Sie auf Job erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Name proofpoint-wbi-collector-hourlyRegion Dieselbe Region wie die Cloud Run-Funktion auswählen Frequenz 0 * * * *(stündlich zur vollen Stunde)Zeitzone Zeitzone auswählen (UTC empfohlen) Zieltyp Pub/Sub Thema Pub/Sub-Thema auswählen ( proofpoint-wbi-trigger)Inhalt der Nachricht {}(leeres JSON-Objekt)Klicken Sie auf Erstellen.
Optionen für die Häufigkeit des Zeitplans
Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:
| Häufigkeit | Cron-Ausdruck | Anwendungsfall |
|---|---|---|
| Alle 5 Minuten | */5 * * * * |
Hohes Volumen, niedrige Latenz |
| Alle 15 Minuten | */15 * * * * |
Mittleres Suchvolumen |
| Stündlich | 0 * * * * |
Standard (empfohlen) |
Integration testen
- Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
- Klicken Sie auf Ausführung erzwingen, um den Job manuell auszulösen.
- Warten Sie einige Sekunden.
- Rufen Sie Cloud Run > Dienste auf.
- Klicken Sie auf den Namen Ihrer Funktion (
proofpoint-wbi-collector). - Klicken Sie auf den Tab Logs.
Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Darauf sollten Sie achten:
Fetching events from last 3600 seconds Retrieved X clicksPermitted events Retrieved X messagesDelivered events Total events retrieved: X Wrote X records to gs://proofpoint-wbi-logs/wbi-logs/logs_YYYYMMDD_HHMMSS.ndjson Successfully processed X recordsRufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets (
proofpoint-wbi-logs).Rufen Sie den Präfixordner (
wbi-logs/) auf.Prüfen Sie, ob eine neue
.ndjson-Datei mit dem aktuellen Zeitstempel erstellt wurde.
Wenn in den Logs Fehler angezeigt werden:
- HTTP 401: Dienstprinzipal und API-Schlüssel in Umgebungsvariablen prüfen
- HTTP 403: Prüfen Sie, ob die Anmeldedaten Zugriff auf die SIEM API haben und ob Browser-Isolation-Ereignisse in Ihrem Abo enthalten sind.
- HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit Backoff wiederholt.
- Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.
Google SecOps-Dienstkonto abrufen
Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.
E‑Mail-Adresse des Dienstkontos abrufen
- Rufen Sie die SIEM-Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
Proofpoint Web Browser Isolation Logs. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
- Wählen Sie Proofpoint Web Browser Isolation als Log type (Protokolltyp) aus.
- Klicken Sie auf Dienstkonto abrufen.
Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comKopieren Sie diese E‑Mail-Adresse für den nächsten Schritt.
Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
gs://proofpoint-wbi-logs/wbi-logs/- Ersetzen Sie:
proofpoint-wbi-logs: Der Name Ihres GCS-Buckets.wbi-logs: Optionales Präfix/Ordnerpfad, in dem Logs gespeichert werden (für den Stamm leer lassen).
- Ersetzen Sie:
Option zum Löschen der Quelle: Wählen Sie die gewünschte Option zum Löschen aus:
- Nie: Löscht nach Übertragungen nie Dateien (empfohlen für Tests).
- Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.
Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach der erfolgreichen Übertragung.
Höchstalter der Datei: Dateien einbeziehen, die in den letzten Tagen geändert wurden (Standardwert: 180 Tage)
Asset-Namespace: Der Asset-Namespace
Labels für Datenaufnahme: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren
Das Google SecOps-Dienstkonto benötigt die Rolle Storage Object Viewer für Ihren GCS-Bucket.
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets (z. B.
proofpoint-wbi-logs). - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage Object Viewer aus.
Klicken Sie auf Speichern.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| metadata.event_type | Art des Ereignisses | |
| Kategorien | metadata.product_event_type | Produktspezifischer Ereignistyp |
| parentPageURL | metadata.url_back_to_product | URL, die auf das Produkt verweist |
| Region | principal.location.country_or_region | Land oder Region des Standorts des Auftraggebers |
| Zone | principal.location.name | Name des Standorts des Auftraggebers |
| userId | principal.user.product_object_id | Produktspezifische Kennung für den Nutzer |
| userName | principal.user.userid | Nutzer-ID |
| security_result | security_result | Details zum Sicherheitsergebnis |
| disposition | security_result.action | Ergriffene Sicherheitsmaßnahme |
| disposition | security_result.action_details | Details zur Sicherheitsaktion |
| Klassifizierung | security_result.detection_fields | Felder im Zusammenhang mit der Erkennung |
| URL | target.url | URL der Zielressource |
| metadata.product_name | Produktname | |
| metadata.vendor_name | Anbietername |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten