Box-JSON-Logs erfassen
In diesem Dokument wird beschrieben, wie Sie Box-JSON-Logs mit Google Cloud Storage in Google Security Operations aufnehmen. Der Parser verarbeitet Box-Ereignisprotokolle im JSON-Format und ordnet sie einem einheitlichen Datenmodell (Unified Data Model, UDM) zu. Es werden relevante Felder aus den Rohlogs extrahiert, Datentransformationen wie Umbenennen und Zusammenführen durchgeführt und die Daten mit Zwischeninformationen angereichert, bevor die strukturierten Ereignisdaten ausgegeben werden.
Hinweis
Prüfen Sie, ob die folgenden Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz
- Ein GCP-Projekt mit aktivierter Cloud Storage API
- Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
- Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
- Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
- Privilegierter Zugriff auf Box (Admin- und Developer Console)
Box-Entwicklerkonsole konfigurieren (Clientanmeldedaten)
- Melden Sie sich in der Box Developer Console an.
- Erstellen Sie eine benutzerdefinierte App mit Serverauthentifizierung (Berechtigungstyp der Clientanmeldedaten).
- Legen Sie Application Access (Anwendungszugriff) auf App + Enterprise Access (App- und Unternehmenszugriff) fest.
- Aktivieren Sie unter Application Scopes (Anwendungsbereiche) die Option Manage enterprise properties (Unternehmenseigenschaften verwalten).
- Autorisieren Sie die App in der Admin-Konsole > Apps > Custom Apps Manager über die Client-ID.
- Kopieren Sie die Client-ID und den Clientschlüssel und speichern Sie sie an einem sicheren Ort.
- Rufen Sie die Admin-Konsole > „Konto und Abrechnung“ > „Kontoinformationen“ auf.
- Kopieren und speichern Sie die Unternehmens-ID an einem sicheren Ort.
Google Cloud Storage-Bucket erstellen
- Rufen Sie die Google Cloud Console auf.
- Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
- Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
- Klicken Sie auf Bucket erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Bucket benennen Geben Sie einen global eindeutigen Namen ein, z. B. box-collaboration-logs.Standorttyp Wählen Sie je nach Bedarf aus (Region, Dual-Region, Multi-Region). Standort Wählen Sie den Speicherort aus, z. B. us-central1.Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird) Zugriffssteuerung Einheitlich (empfohlen) Schutzmaßnahmen Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren Klicken Sie auf Erstellen.
Dienstkonto für Cloud Run-Funktion erstellen
Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.
Dienstkonto erstellen
- Wechseln Sie in der GCP Console zu IAM & Verwaltung > Dienstkonten.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie
box-collaboration-collector-saein. - Beschreibung des Dienstkontos: Geben Sie
Service account for Cloud Run function to collect Box Collaboration logsein.
- Name des Dienstkontos: Geben Sie
- Klicken Sie auf Erstellen und fortfahren.
- Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
- Klicken Sie auf Rolle auswählen.
- Suchen Sie nach Storage-Objekt-Administrator und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
- Klicken Sie auf Weiter.
- Klicken Sie auf Fertig.
Diese Rollen sind erforderlich für:
- Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
- Cloud Run-Aufrufer: Pub/Sub darf die Funktion aufrufen.
- Cloud Functions-Invoker: Funktionsaufruf zulassen
IAM-Berechtigungen für GCS-Bucket erteilen
Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets.
- Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Geben Sie die E‑Mail-Adresse des Dienstkontos (
box-collaboration-collector-sa@PROJECT_ID.iam.gserviceaccount.com) ein. - Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
- Hauptkonten hinzufügen: Geben Sie die E‑Mail-Adresse des Dienstkontos (
- Klicken Sie auf Speichern.
Pub/Sub-Thema erstellen
Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.
- Rufen Sie in der GCP Console Pub/Sub > Themen auf.
- Klicken Sie auf Thema erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Themen-ID: Geben Sie
box-collaboration-triggerein. - Übernehmen Sie die anderen Einstellungen.
- Themen-ID: Geben Sie
- Klicken Sie auf Erstellen.
Cloud Run-Funktion zum Erfassen von Logs erstellen
Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der Box API abzurufen und in GCS zu schreiben.
- Rufen Sie in der GCP Console Cloud Run auf.
- Klicken Sie auf Dienst erstellen.
- Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.
Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:
Einstellung Wert Dienstname box-collaboration-collectorRegion Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).Laufzeit Wählen Sie Python 3.12 oder höher aus. Im Abschnitt Trigger (optional):
- Klicken Sie auf + Trigger hinzufügen.
- Wählen Sie Cloud Pub/Sub aus.
- Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Pub/Sub-Thema (
box-collaboration-trigger) aus. - Klicken Sie auf Speichern.
Im Abschnitt Authentifizierung:
- Wählen Sie Authentifizierung erforderlich aus.
- Identitäts- und Zugriffsverwaltung
Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
Rufen Sie den Tab Sicherheit auf:
- Dienstkonto: Wählen Sie das Dienstkonto aus (
box-collaboration-collector-sa).
- Dienstkonto: Wählen Sie das Dienstkonto aus (
Rufen Sie den Tab Container auf:
- Klicken Sie auf Variablen und Secrets.
- Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
Variablenname Beispielwert GCS_BUCKETbox-collaboration-logsGCS_PREFIXbox/collaboration/STATE_KEYbox/collaboration/state.jsonBOX_CLIENT_IDBox-Client-ID eingeben BOX_CLIENT_SECRETBox-Clientschlüssel eingeben BOX_ENTERPRISE_IDBox-Unternehmens-ID eingeben STREAM_TYPEadmin_logs_streamingLIMIT500Scrollen Sie im Bereich Variablen und Secrets nach unten zu Anfragen:
- Zeitlimit für Anfragen: Geben Sie
600Sekunden (10 Minuten) ein.
- Zeitlimit für Anfragen: Geben Sie
Rufen Sie den Tab Einstellungen auf:
- Im Abschnitt Ressourcen:
- Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
- CPU: Wählen Sie 1 aus.
- Im Abschnitt Ressourcen:
Im Abschnitt Versionsskalierung:
- Mindestanzahl von Instanzen: Geben Sie
0ein. - Maximale Anzahl von Instanzen: Geben Sie
100ein (oder passen Sie den Wert an die erwartete Last an).
- Mindestanzahl von Instanzen: Geben Sie
Klicken Sie auf Erstellen.
Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.
Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.
Funktionscode hinzufügen
- Geben Sie main unter Funktionseinstiegspunkt ein.
Erstellen Sie im Inline-Codeeditor zwei Dateien:
- Erste Datei: main.py::
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone import base64 # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() TOKEN_URL = "https://api.box.com/oauth2/token" EVENTS_URL = "https://api.box.com/2.0/events" @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Box enterprise events and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ # Get environment variables bucket_name = os.environ.get('GCS_BUCKET') prefix = os.environ.get('GCS_PREFIX', 'box/collaboration/') state_key = os.environ.get('STATE_KEY', 'box/collaboration/state.json') client_id = os.environ.get('BOX_CLIENT_ID') client_secret = os.environ.get('BOX_CLIENT_SECRET') enterprise_id = os.environ.get('BOX_ENTERPRISE_ID') stream_type = os.environ.get('STREAM_TYPE', 'admin_logs_streaming') limit = int(os.environ.get('LIMIT', '500')) if not all([bucket_name, client_id, client_secret, enterprise_id]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(bucket_name) # Get OAuth token token = get_token(client_id, client_secret, enterprise_id) # Load state (stream position) state = load_state(bucket, state_key) stream_position = state.get('stream_position') print(f'Processing events from stream position: {stream_position}') total_events = 0 idx = 0 while True: # Fetch events page page = fetch_events(token, stream_type, limit, stream_position) entries = page.get('entries') or [] if not entries: next_pos = page.get('next_stream_position') or stream_position if next_pos and next_pos != stream_position: save_state(bucket, state_key, {'stream_position': next_pos}) break # Write page to GCS timestamp = datetime.now(timezone.utc).strftime('%Y/%m/%d/%H%M%S') blob_name = f"{prefix}{timestamp}-box-events-{idx:03d}.json" blob = bucket.blob(blob_name) blob.upload_from_string( json.dumps(page, separators=(',', ':')), content_type='application/json' ) idx += 1 total_events += len(entries) stream_position = page.get('next_stream_position') or stream_position # Save state after each page if stream_position: save_state(bucket, state_key, {'stream_position': stream_position}) # Break if fewer entries than limit (last page) if len(entries) < limit: break print(f'Successfully processed {total_events} events, final position: {stream_position}') except Exception as e: print(f'Error processing Box events: {str(e)}') raise def get_token(client_id, client_secret, enterprise_id): """Get OAuth 2.0 access token using client credentials grant.""" fields = { 'grant_type': 'client_credentials', 'client_id': client_id, 'client_secret': client_secret, 'box_subject_type': 'enterprise', 'box_subject_id': enterprise_id } response = http.request( 'POST', TOKEN_URL, fields=fields, headers={'Content-Type': 'application/x-www-form-urlencoded'} ) token_data = json.loads(response.data.decode('utf-8')) return token_data['access_token'] def fetch_events(token, stream_type, limit, stream_position=None, timeout=60, max_retries=5): """Fetch events from Box API with retry logic.""" params = { 'stream_type': stream_type, 'limit': str(limit), 'stream_position': stream_position or 'now' } # Build query string query_string = '&'.join([f"{k}={v}" for k, v in params.items()]) url = f"{EVENTS_URL}?{query_string}" attempt = 0 backoff = 1.0 while True: try: response = http.request( 'GET', url, headers={'Authorization': f'Bearer {token}'}, timeout=timeout ) if response.status == 200: return json.loads(response.data.decode('utf-8')) elif response.status == 429 and attempt < max_retries: # Rate limited - retry with backoff retry_after = response.headers.get('Retry-After') delay = int(retry_after) if retry_after and retry_after.isdigit() else int(backoff) print(f'Rate limited, retrying after {delay} seconds') import time time.sleep(max(1, delay)) attempt += 1 backoff *= 2 continue elif 500 <= response.status <= 599 and attempt < max_retries: # Server error - retry with backoff print(f'Server error {response.status}, retrying after {backoff} seconds') import time time.sleep(backoff) attempt += 1 backoff *= 2 continue else: raise Exception(f'Box API error: {response.status} {response.data.decode("utf-8")}') except Exception as e: if attempt < max_retries: print(f'Request error: {str(e)}, retrying after {backoff} seconds') import time time.sleep(backoff) attempt += 1 backoff *= 2 continue raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f'Warning: Could not load state: {str(e)}') return {} def save_state(bucket, key, state): """Save state to GCS.""" try: blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, separators=(',', ':')), content_type='application/json' ) except Exception as e: print(f'Warning: Could not save state: {str(e)}')- Zweite Datei: requirements.txt::
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).
Cloud Scheduler-Job erstellen
Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema, wodurch die Cloud Run-Funktion ausgelöst wird.
- Rufen Sie in der GCP Console Cloud Scheduler auf.
- Klicken Sie auf Job erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Name box-collaboration-schedule-15minRegion Dieselbe Region wie für die Cloud Run-Funktion auswählen Frequenz */15 * * * *(alle 15 Minuten)Zeitzone Zeitzone auswählen (UTC empfohlen) Zieltyp Pub/Sub Thema Wählen Sie das Pub/Sub-Thema aus ( box-collaboration-trigger).Nachrichtentext {}(leeres JSON-Objekt)Klicken Sie auf Erstellen.
Optionen für die Häufigkeit des Zeitplans
Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:
Häufigkeit Cron-Ausdruck Anwendungsfall Alle 5 Minuten */5 * * * *Hohes Volumen, niedrige Latenz Alle 15 Minuten */15 * * * *Mittleres Suchvolumen (empfohlen) Stündlich 0 * * * *Standard Alle 6 Stunden 0 */6 * * *Geringes Volumen, Batchverarbeitung Täglich 0 0 * * *Erhebung von Verlaufsdaten
Integration testen
- Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
- Klicken Sie auf Force run (Ausführung erzwingen), um den Job manuell auszulösen.
- Warten Sie einige Sekunden.
- Rufen Sie Cloud Run > Dienste auf.
- Klicken Sie auf den Namen Ihrer Funktion (
box-collaboration-collector). - Klicken Sie auf den Tab Logs.
Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Achten Sie auf Folgendes:
Processing events from stream position: ... Page 1: Retrieved X events Wrote X records to gs://box-collaboration-logs/box/collaboration/... Successfully processed X eventsRufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Rufen Sie den Präfixordner (
box/collaboration/) auf.Prüfen Sie, ob eine neue
.json-Datei mit dem aktuellen Zeitstempel erstellt wurde.
Wenn in den Logs Fehler angezeigt werden, gehen Sie so vor:
- HTTP 401: Box API-Anmeldedaten in Umgebungsvariablen prüfen
- HTTP 403: Prüfen Sie, ob die Box-App die erforderlichen Berechtigungen hat und in der Admin-Konsole autorisiert ist.
- HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit Backoff wiederholt.
- Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.
Google SecOps-Dienstkonto abrufen
Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.
E-Mail-Adresse des Dienstkontos abrufen
- Rufen Sie die SIEM-Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
Box Collaboration. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
- Wählen Sie Box als Logtyp aus.
Klicken Sie auf Dienstkonto abrufen. Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comKopieren Sie diese E‑Mail-Adresse für den nächsten Schritt.
Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren
Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets.
- Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage-Objekt-Betrachter aus.
Klicken Sie auf Speichern.
Feed in Google SecOps konfigurieren, um Box-Logs aufzunehmen
- Rufen Sie die SIEM-Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
Box Collaboration. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
- Wählen Sie Box als Logtyp aus.
- Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
gs://box-collaboration-logs/box/collaboration/Ersetzen Sie:
box-collaboration-logs: Der Name Ihres GCS-Buckets.box/collaboration/: Präfix/Ordnerpfad, in dem Logs gespeichert werden.
Beispiele:
- Root-Bucket:
gs://company-logs/ - Mit Präfix:
gs://company-logs/box-logs/ - Mit Unterordner:
gs://company-logs/box/collaboration/
- Root-Bucket:
Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
- Nie: Es werden nach Übertragungen nie Dateien gelöscht (empfohlen für Tests).
- Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.
Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach der erfolgreichen Übertragung.
Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.
Asset-Namespace: Der Asset-Namespace.
Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| additional_details.ekm_id | additional.fields | Wert aus „additional_details.ekm_id“ |
| additional_details.service_id | additional.fields | Wert aus „additional_details.service_id“ |
| additional_details.service_name | additional.fields | Wert aus „additional_details.service_name“ |
| additional_details.shared_link_id | additional.fields | Wert aus „additional_details.shared_link_id“ |
| additional_details.size | target.file.size | Wert aus „additional_details.size“ |
| additional_details.version_id | additional.fields | Wert aus „additional_details.version_id“ |
| created_at | metadata.event_timestamp | Wert aus „created_at“ |
| created_by.id | principal.user.userid | Wert aus „created_by.id“ |
| created_by.login | principal.user.email_addresses | Wert aus „created_by.login“ |
| created_by.name | principal.user.user_display_name | Wert aus „created_by.name“ |
| event_id | metadata.product_log_id | Wert aus „event_id“ |
| event_type | metadata.product_event_type | Wert aus „event_type“ |
| ip_address | principal.ip | Wert aus „ip_address“ übernommen |
| source.item_id | target.file.product_object_id | Wert aus „source.item_id“ |
| source.item_name | target.file.full_path | Wert aus „source.item_name“ |
| source.item_type | Nicht zugeordnet | |
| source.login | target.user.email_addresses | Wert aus „source.login“ |
| source.name | target.user.user_display_name | Wert aus „source.name“ |
| source.owned_by.id | target.user.userid | Wert aus „source.owned_by.id“ |
| source.owned_by.login | target.user.email_addresses | Wert aus „source.owned_by.login“ |
| source.owned_by.name | target.user.user_display_name | Wert aus „source.owned_by.name“ |
| source.parent.id | Nicht zugeordnet | |
| source.parent.name | Nicht zugeordnet | |
| source.parent.type | Nicht zugeordnet | |
| source.type | Nicht zugeordnet | |
| Typ | metadata.log_type | Wert aus Typ |
| metadata.vendor_name | Fest codierter Wert | |
| metadata.product_name | Fest codierter Wert | |
| security_result.action | Abgeleitet von „event_type“. Wenn event_type FAILED_LOGIN ist, dann BLOCK, wenn event_type USER_LOGIN ist, dann ALLOW, andernfalls UNSPECIFIED. | |
| extensions.auth.type | Abgeleitet von „event_type“. Wenn event_type USER_LOGIN oder ADMIN_LOGIN ist, dann MACHINE, andernfalls UNSPECIFIED. | |
| extensions.auth.mechanism | Abgeleitet von „event_type“. Wenn event_type USER_LOGIN oder ADMIN_LOGIN ist, dann USERNAME_PASSWORD, andernfalls UNSPECIFIED. |
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten