OpenAI-Audit-Logs erfassen
In diesem Dokument wird beschrieben, wie Sie OpenAI-Audit-Logs mit Google Cloud Storage V2 in Google Security Operations aufnehmen.
OpenAI stellt die Audit Logs API für Organisationen bereit, die die OpenAI API-Plattform verwenden. Die API verfolgt Nutzeraktionen und Konfigurationsänderungen innerhalb einer Organisation, einschließlich Lifecycle-Events für API-Schlüssel, Nutzerverwaltung, Projektänderungen, Einladungen, Dienstkontoaktivitäten, An- und Abmeldeereignisse sowie Änderungen an der Organisationskonfiguration.
Hinweis
Folgende Voraussetzungen müssen erfüllt sein:
- Eine Google SecOps-Instanz
- Ein GCP-Projekt mit aktivierten Cloud Storage, Cloud Run, Pub/Sub und Cloud Scheduler APIs
- Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
- Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
- Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
- Rolle „Organization Owner“ in Ihrer OpenAI API Platform-Organisation
OpenAI-Audit-Logging aktivieren
Bevor Sie auf Audit-Logs zugreifen können, müssen Sie das Audit-Logging in Ihrer Organisation aktivieren.
- Melden Sie sich unter https://platform.openai.com in der OpenAI-Plattform an.
- Gehen Sie zu Einstellungen > Organisation > Steuerelemente für Daten.
- Scrollen Sie nach unten zum Abschnitt Audit-Logging.
- Klicken Sie unter Audit-Logging auf Aktivieren.
Klicken Sie auf Speichern.
OpenAI-Admin-API-Schlüssel erstellen
- Melden Sie sich unter https://platform.openai.com in der OpenAI-Plattform an.
- Klicken Sie im linken Bereich auf Administratorschlüssel.
- Alternativ können Sie direkt zu https://platform.openai.com/settings/organization/admin-keys gehen.
- Klicken Sie auf Neuen Administratorschlüssel erstellen.
- Geben Sie im Feld Name einen aussagekräftigen Namen ein, z. B.
Google SecOps Integration. - Klicken Sie auf Erstellen.
Kopieren Sie den API-Schlüssel sofort und bewahren Sie ihn sicher auf.
API-Zugriff testen
Testen Sie Ihre Anmeldedaten, bevor Sie mit der Integration fortfahren:
# Replace with your actual Admin API key OPENAI_ADMIN_KEY="your-admin-api-key" # Test audit logs API access curl -s -H "Authorization: Bearer ${OPENAI_ADMIN_KEY}" \ -H "Content-Type: application/json" \ "https://api.openai.com/v1/organization/audit_logs?limit=5" \ | python3 -m json.tool
Eine erfolgreiche Antwort gibt ein JSON-Objekt mit einem object-Feld zurück, das auf list gesetzt ist, und ein data-Array mit Audit-Logeinträgen.
Google Cloud Storage-Bucket erstellen
- Gehen Sie zur Google Cloud Console.
- Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
- Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
- Klicken Sie auf Bucket erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Bucket benennen Geben Sie einen global eindeutigen Namen ein (z. B. openai-auditlog-logs).Standorttyp Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region). Standort Wählen Sie den Standort aus (z. B. us-central1).Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird) Zugriffssteuerung Einheitlich (empfohlen) Schutztools Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren Klicken Sie auf Erstellen.
Dienstkonto für die Cloud Run-Funktion erstellen
- Rufen Sie in der GCP Console die Seite IAM und Verwaltung > Dienstkonten auf.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie
openai-auditlog-collector-saein. - Beschreibung des Dienstkontos: Geben Sie
Service account for Cloud Run function to collect OpenAI audit logsein.
- Name des Dienstkontos: Geben Sie
- Klicken Sie auf Erstellen und fortfahren.
- Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
- Klicken Sie auf Rolle auswählen.
- Suchen Sie nach Storage Object Admin und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
- Klicken Sie auf + Weitere Rolle hinzufügen.
- Suchen Sie nach Cloud Functions-Aufrufer und wählen Sie die Rolle aus.
- Klicken Sie auf Weiter.
- Klicken Sie auf Fertig.
IAM-Berechtigungen für GCS-Bucket gewähren
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets (
openai-auditlog-logs). - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos (
openai-auditlog-collector-sa@PROJECT_ID.iam.gserviceaccount.com) ein. - Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
- Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos (
- Klicken Sie auf Speichern.
Pub/Sub-Thema erstellen
- Wechseln Sie in der GCP Console zu Pub/Sub > Themen.
- Klicken Sie auf Thema erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Themen-ID: Geben Sie
openai-auditlog-triggerein. - Übernehmen Sie die anderen Einstellungen.
- Themen-ID: Geben Sie
- Klicken Sie auf Erstellen.
Cloud Run-Funktion zum Erfassen von Logs erstellen
Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs aus der OpenAI Audit Logs API abzurufen und in GCS zu schreiben.
- Rufen Sie in der GCP Console Cloud Run auf.
- Klicken Sie auf Dienst erstellen.
- Wählen Sie Funktion aus (Funktion mit einem Inline-Editor erstellen).
Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:
Einstellung Wert Dienstname openai-auditlog-collectorRegion Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).Laufzeit Wählen Sie Python 3.12 oder höher aus. Im Abschnitt Trigger (optional):
- Klicken Sie auf + Trigger hinzufügen.
- Wählen Sie Cloud Pub/Sub aus.
- Wählen Sie unter Cloud Pub/Sub-Thema auswählen die Option
openai-auditlog-triggeraus. - Klicken Sie auf Speichern.
Im Abschnitt Authentifizierung:
- Wählen Sie Authentifizierung erforderlich aus.
- Prüfen Sie Identity and Access Management (IAM).
Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
Rufen Sie den Tab Sicherheit auf:
- Dienstkonto: Wählen Sie
openai-auditlog-collector-saaus.
- Dienstkonto: Wählen Sie
Rufen Sie den Tab Container auf:
- Klicken Sie auf Variablen und Secrets.
- Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
Variablenname Beispielwert Beschreibung GCS_BUCKETopenai-auditlog-logsName des GCS-Buckets GCS_PREFIXopenai-auditlogPräfix für Logdateien STATE_KEYopenai-auditlog/state.jsonPfad der Statusdatei OPENAI_ADMIN_KEYyour-admin-api-keyOpenAI-Admin-API-Schlüssel MAX_RECORDS5000Maximale Anzahl von Datensätzen pro Ausführung PAGE_SIZE100Einträge pro API-Seite (max. 100) LOOKBACK_HOURS24Anfänglicher Rückschauzeitraum Scrollen Sie im Bereich Variablen und Secrets nach unten zu Anfragen:
- Zeitüberschreitung bei Anfrage: Geben Sie
600Sekunden (10 Minuten) ein.
- Zeitüberschreitung bei Anfrage: Geben Sie
Rufen Sie den Tab Einstellungen auf:
- Im Abschnitt Ressourcen:
- Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
- CPU: Wählen Sie 1 aus.
- Im Abschnitt Ressourcen:
Im Abschnitt Versionsskalierung:
- Mindestanzahl von Instanzen: Geben Sie
0ein. - Maximale Anzahl von Instanzen: Geben Sie
100ein.
- Mindestanzahl von Instanzen: Geben Sie
Klicken Sie auf Erstellen.
Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.
Nachdem der Dienst erstellt wurde, wird der Inline-Code-Editor automatisch geöffnet.
Funktionscode hinzufügen
- Geben Sie main in das Feld Einstiegspunkt ein.
Erstellen Sie im Inline-Code-Editor zwei Dateien:
main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openai-auditlog') STATE_KEY = os.environ.get('STATE_KEY', 'openai-auditlog/state.json') OPENAI_ADMIN_KEY = os.environ.get('OPENAI_ADMIN_KEY') MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) API_BASE = 'https://api.openai.com' AUDIT_LOGS_ENDPOINT = '/v1/organization/audit_logs' @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch OpenAI audit logs and write them to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, OPENAI_ADMIN_KEY]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) state = load_state(bucket) now = datetime.now(timezone.utc) if isinstance(state, dict) and state.get('last_effective_at'): try: last_effective_at = int(state['last_effective_at']) last_time = datetime.fromtimestamp(last_effective_at, tz=timezone.utc) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_effective_at: {e}") last_time = now - timedelta(hours=LOOKBACK_HOURS) else: last_time = now - timedelta(hours=LOOKBACK_HOURS) start_unix = int(last_time.timestamp()) end_unix = int(now.timestamp()) print(f"Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}") records, newest_effective_at = fetch_audit_logs( start_unix=start_unix, end_unix=end_unix, page_size=PAGE_SIZE, max_records=MAX_RECORDS, ) if not records: print("No new audit log records found.") save_state(bucket, end_unix) return timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/openai_auditlog_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join( [json.dumps(record, ensure_ascii=False) for record in records] ) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}") if newest_effective_at: save_state(bucket, newest_effective_at) else: save_state(bucket, end_unix) print(f"Successfully processed {len(records)} records") except Exception as e: print(f'Error processing audit logs: {str(e)}') raise def load_state(bucket): """Load state from GCS.""" try: blob = bucket.blob(STATE_KEY) if blob.exists(): return json.loads(blob.download_as_text()) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, last_effective_at): """Save the last effective_at Unix timestamp to GCS state file.""" try: state = { 'last_effective_at': last_effective_at, 'last_run': datetime.now(timezone.utc).isoformat() } blob = bucket.blob(STATE_KEY) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_effective_at={last_effective_at}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_audit_logs(start_unix, end_unix, page_size, max_records): """ Fetch audit logs from the OpenAI API with pagination and rate limiting. Args: start_unix: Start time as Unix seconds end_unix: End time as Unix seconds page_size: Number of records per page (max 100) max_records: Maximum total records to fetch Returns: Tuple of (records list, newest effective_at Unix timestamp) """ headers = { 'Authorization': f'Bearer {OPENAI_ADMIN_KEY}', 'Content-Type': 'application/json', } records = [] newest_effective_at = None page_num = 0 backoff = 1.0 cursor = None while True: page_num += 1 if len(records) >= max_records: print(f"Reached max_records limit ({max_records})") break params = [] params.append(f"effective_at[gte]={start_unix}") params.append(f"effective_at[lte]={end_unix}") params.append(f"limit={min(page_size, max_records - len(records))}") if cursor: params.append(f"after={cursor}") url = f"{API_BASE}{AUDIT_LOGS_ENDPOINT}?{'&'.join(params)}" try: response = http.request('GET', url, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return [], None data = json.loads(response.data.decode('utf-8')) page_results = data.get('data', []) if not page_results: print(f"No more results (empty page)") break print(f"Page {page_num}: Retrieved {len(page_results)} events") records.extend(page_results) for event in page_results: try: effective_at = event.get('effective_at') if effective_at is not None: if newest_effective_at is None or effective_at > newest_effective_at: newest_effective_at = effective_at except Exception as e: print(f"Warning: Could not parse event time: {e}") has_more = data.get('has_more', False) if not has_more: print("No more pages (has_more=false)") break last_id = data.get('last_id') if not last_id: print("No more pages (no last_id)") break cursor = last_id except Exception as e: print(f"Error fetching audit logs: {e}") return [], None print(f"Retrieved {len(records)} total records from {page_num} pages") return records, newest_effective_atrequirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).
Cloud Scheduler-Job erstellen
- Rufen Sie in der GCP Console die Option Cloud Scheduler auf.
- Klicken Sie auf Job erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Name openai-auditlog-collector-hourlyRegion Wählen Sie dieselbe Region wie für die Cloud Run-Funktion aus. Frequenz 0 * * * *(stündlich zur vollen Stunde)Zeitzone Zeitzone auswählen (UTC empfohlen) Zieltyp Pub/Sub Thema openai-auditlog-triggerauswählenInhalt der Nachricht {}(leeres JSON-Objekt)Klicken Sie auf Erstellen.
Optionen für die Häufigkeit des Zeitplans
Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:
| Häufigkeit | Cron-Ausdruck | Anwendungsfall |
|---|---|---|
| Alle 5 Minuten | */5 * * * * |
Hohes Volumen, niedrige Latenz |
| Alle 15 Minuten | */15 * * * * |
Mittleres Suchvolumen |
| Stündlich | 0 * * * * |
Standard (empfohlen) |
| Alle 6 Stunden | 0 */6 * * * |
Batchverarbeitung mit geringem Volumen |
| Täglich | 0 0 * * * |
Erhebung von Verlaufsdaten |
Integration testen
- Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job (
openai-auditlog-collector-hourly). - Klicken Sie auf Ausführung erzwingen, um den Job manuell auszulösen.
- Warte einige Sekunden.
- Rufen Sie Cloud Run > Dienste auf.
- Klicken Sie auf
openai-auditlog-collector. - Klicken Sie auf den Tab Logs.
Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Achte dabei auf Folgendes:
Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Page 1: Retrieved X events Wrote X records to gs://openai-auditlog-logs/openai-auditlog/openai_auditlog_YYYYMMDD_HHMMSS.ndjson Successfully processed X recordsRufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf
openai-auditlog-logs.Rufen Sie den Ordner
openai-auditlog/auf.Prüfen Sie, ob eine neue
.ndjson-Datei mit dem aktuellen Zeitstempel erstellt wurde.
Wenn Sie Fehler in den Logs sehen:
- HTTP 401: Prüfen Sie, ob die Umgebungsvariable
OPENAI_ADMIN_KEYkorrekt ist und der Schlüssel nicht widerrufen wurde. - HTTP 403: Prüfen Sie, ob der API-Schlüssel ein Admin API-Schlüssel ist, der von einem Organization Owner erstellt wurde.
- HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit exponentiellem Backoff wiederholt.
- Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen in der Konfiguration der Cloud Run-Funktion festgelegt sind.
Google SecOps-Dienstkonto abrufen
- Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
OpenAI Audit Logs. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie OpenAI-Audit-Logs als Logtyp aus. Klicken Sie auf Dienstkonto abrufen. Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt. Beispiel:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comKopieren Sie diese E-Mail-Adresse, um sie im nächsten Schritt zu verwenden.
Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
gs://openai-auditlog-logs/openai-auditlog/
- Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
- Nie: Nach Übertragungen werden keine Dateien gelöscht (empfohlen für Tests).
- Übertragene Dateien löschen: Dateien werden nach erfolgreicher Übertragung gelöscht.
- Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach erfolgreicher Übertragung gelöscht.
- Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden (Standardwert: 180 Tage)
- Asset-Namespace: Der Asset-Namespace
- Labels für Datenaufnahme: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf
openai-auditlog-logs. - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage Object Viewer aus.
Klicken Sie auf Speichern.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| actor.session.ip_address_details.region_code | additional.fields | Als Schlüssel/Wert-Paare zusammengeführt |
| actor.session.ip_address_details.asn | additional.fields | |
| effective_at | metadata.event_timestamp | Aus UNIX-Zeitstempel konvertiert |
| has_principal | metadata.event_type | Wird auf „STATUS_UPDATE“ gesetzt, wenn „has_principal“ „true“ ist; auf „NETWORK_CONNECTION“, wenn „has_principal“ und „has_target“ „true“ sind; auf „FILE_COPY“, wenn „has_principal“, „has_file“ und „has_source_file“ „true“ sind; auf „FILE_UNCATEGORIZED“, wenn „has_principal“ und „has_file“ „true“ sind; auf „USER_UNCATEGORIZED“, wenn „has_user“ „true“ ist; andernfalls auf „GENERIC_EVENT“ |
| has_user | metadata.event_type | |
| has_target | metadata.event_type | |
| has_file | metadata.event_type | |
| has_source_file | metadata.event_type | |
| actor.session.user_agent | network.http.parsed_user_agent | Wert direkt kopiert und in geparsten User-Agent konvertiert |
| actor.session.ja3 | network.tls.client.ja3 | Wert direkt kopiert |
| actor.session.ip_address | principal.asset.ip | Wert direkt kopiert |
| actor.session.ip_address | principal.ip | Wert direkt kopiert |
| actor.session.ip_address_details.city | principal.location.city | Wert direkt kopiert |
| actor.session.ip_address_details.country | principal.location.country_or_region | Wert direkt kopiert |
| actor.session.ip_address_details.latitude | principal.location.region_latitude | In Gleitkommazahl umgewandelt |
| actor.session.ip_address_details.longitude | principal.location.region_longitude | In Gleitkommazahl umgewandelt |
| actor.session.ip_address_details.region | principal.location.state | Wert direkt kopiert |
| actor.session.user.email | principal.user.email_addresses | Wert direkt kopiert |
| actor.session.user.id | principal.user.userid | Mit Grok-Muster extrahiert |
| actor.session.ja4 | security_result.detection_fields | Zusammengeführt als Schlüssel/Wert-Paar mit dem Schlüssel „ja4“ |
| Typ | security_result.summary | Wert direkt kopiert |
| metadata.product_name | metadata.product_name | Legen Sie diesen Wert auf „OPENAI_AUDITLOG“ fest. |
| metadata.vendor_name | metadata.vendor_name | Legen Sie diesen Wert auf „OPENAI_AUDITLOG“ fest. |
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten