Sentry-Logs erfassen

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Sentry-Logs mit Google Cloud Storage in Google Security Operations aufnehmen. Sentry generiert Betriebsdaten in Form von Ereignissen, Problemen, Daten zur Leistungsüberwachung und Informationen zur Fehlerbehebung. Durch diese Integration können Sie diese Logs zur Analyse und Überwachung an Google SecOps senden. So erhalten Sie Einblick in Anwendungsfehler, Leistungsprobleme und Nutzerinteraktionen in Ihren von Sentry überwachten Anwendungen.

Hinweis

Prüfen Sie, ob die folgenden Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz
  • Ein GCP-Projekt mit aktivierter Cloud Storage API
  • Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
  • Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
  • Berechtigungen zum Erstellen von Cloud Run-Funktionen, Pub/Sub-Themen und Cloud Scheduler-Jobs
  • Privilegierter Zugriff auf den Sentry-Mandanten (Auth-Token mit API-Bereichen)

Sentry-Voraussetzungen erfassen (IDs, API-Schlüssel, Organisations-IDs, Tokens)

  1. Melden Sie sich in Sentry an.
  2. Organisations-Slug finden:
    • Rufen Sie die Einstellungen > Organisation > Einstellungen > Organisations-ID auf. Der Slug wird neben dem Organisationsnamen angezeigt.
  3. Erstellen Sie ein Authentifizierungstoken:
    1. Rufen Sie die Einstellungen> Entwicklereinstellungen > Persönliche Tokens auf.
    2. Klicken Sie auf Neues Token erstellen.
    3. Bereiche (Mindestanforderung): org:read, project:read, event:read.
    4. Klicken Sie auf Token erstellen.
    5. Kopieren Sie den Tokenwert (wird nur einmal angezeigt). Das wird verwendet als: Authorization: Bearer <token>.
  4. (Bei Self-Hosting): Notieren Sie sich Ihre Basis-URL (z. B. https://<your-domain>). Andernfalls verwenden Sie https://sentry.io.

Google Cloud Storage-Bucket erstellen

  1. Rufen Sie die Google Cloud Console auf.
  2. Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
  3. Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
  4. Klicken Sie auf Bucket erstellen.
  5. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Bucket benennen Geben Sie einen global eindeutigen Namen ein, z. B. sentry-logs.
    Standorttyp Wählen Sie je nach Bedarf aus (Region, Dual-Region, Multi-Region).
    Standort Wählen Sie den Speicherort aus, z. B. us-central1.
    Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
    Zugriffssteuerung Einheitlich (empfohlen)
    Schutzmaßnahmen Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren
  6. Klicken Sie auf Erstellen.

Dienstkonto für Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.

Dienstkonto erstellen

  1. Wechseln Sie in der GCP Console zu IAM & Verwaltung > Dienstkonten.
  2. Klicken Sie auf Dienstkonto erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Name des Dienstkontos: Geben Sie sentry-logs-collector-sa ein.
    • Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect Sentry logs ein.
  4. Klicken Sie auf Erstellen und fortfahren.
  5. Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
    1. Klicken Sie auf Rolle auswählen.
    2. Suchen Sie nach Storage-Objekt-Administrator und wählen Sie die Rolle aus.
    3. Klicken Sie auf + Weitere Rolle hinzufügen.
    4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
    5. Klicken Sie auf + Weitere Rolle hinzufügen.
    6. Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
  6. Klicken Sie auf Weiter.
  7. Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

  • Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
  • Cloud Run-Aufrufer: Pub/Sub darf die Funktion aufrufen.
  • Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket erteilen

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. sentry-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
  6. Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.

  1. Rufen Sie in der GCP Console Pub/Sub > Themen auf.
  2. Klicken Sie auf Thema erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Themen-ID: Geben Sie sentry-logs-trigger ein.
    • Übernehmen Sie die anderen Einstellungen.
  4. Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Protokolle von der Sentry API abzurufen und in GCS zu schreiben.

  1. Rufen Sie in der GCP Console Cloud Run auf.
  2. Klicken Sie auf Dienst erstellen.
  3. Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.
  4. Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Dienstname sentry-logs-collector
    Region Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).
    Laufzeit Wählen Sie Python 3.12 oder höher aus.
  5. Im Abschnitt Trigger (optional):

    1. Klicken Sie auf + Trigger hinzufügen.
    2. Wählen Sie Cloud Pub/Sub aus.
    3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Thema (sentry-logs-trigger) aus.
    4. Klicken Sie auf Speichern.
  6. Im Abschnitt Authentifizierung:

    1. Wählen Sie Authentifizierung erforderlich aus.
    2. Identitäts- und Zugriffsverwaltung
  7. Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.

  8. Rufen Sie den Tab Sicherheit auf:

    • Dienstkonto: Wählen Sie das Dienstkonto aus (sentry-logs-collector-sa).
  9. Rufen Sie den Tab Container auf:

    1. Klicken Sie auf Variablen und Secrets.
    2. Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
    Variablenname Beispielwert Beschreibung
    GCS_BUCKET sentry-logs Name des GCS-Buckets, in dem die Daten gespeichert werden.
    GCS_PREFIX sentry/events/ Optionales GCS-Präfix (Unterordner) für Objekte.
    STATE_KEY sentry/events/state.json Optionaler Schlüssel für die Datei mit dem Status/Checkpoint.
    SENTRY_ORG your-org-slug Sentry-Organisations-Slug.
    SENTRY_AUTH_TOKEN sntrys_************************ Sentry-Autorisierungstoken mit den Berechtigungen „org:read“, „project:read“ und „event:read“.
    SENTRY_API_BASE https://sentry.io Sentry-API-Basis-URL (selbst gehostet: https://<your-domain>).
    MAX_PROJECTS 100 Maximale Anzahl der zu verarbeitenden Projekte.
    MAX_PAGES_PER_PROJECT 5 Maximale Anzahl von Seiten pro Projekt und Ausführung.
  10. Scrollen Sie auf dem Tab Variablen und Secrets nach unten zu Anfragen:

    • Zeitlimit für Anfragen: Geben Sie 600 Sekunden (10 Minuten) ein.
  11. Rufen Sie den Tab Einstellungen unter Container auf:

    • Im Abschnitt Ressourcen:
      • Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
      • CPU: Wählen Sie 1 aus.
    • Klicken Sie auf Fertig.
  12. Scrollen Sie zu Ausführungsumgebung:

    • Wählen Sie Standard aus (empfohlen).
  13. Im Abschnitt Versionsskalierung:

    • Mindestanzahl von Instanzen: Geben Sie 0 ein.
    • Maximale Anzahl von Instanzen: Geben Sie 100 ein (oder passen Sie den Wert an die erwartete Last an).
  14. Klicken Sie auf Erstellen.

  15. Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.

  16. Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.

Funktionscode hinzufügen

  1. Geben Sie main unter Funktionseinstiegspunkt ein.
  2. Erstellen Sie im Inline-Codeeditor zwei Dateien:

    • Erste Datei: main.py::
     import functions_framework
     from google.cloud import storage
     import json
     import os
     import urllib3
     from datetime import datetime, timezone
     import time
    
     # Initialize HTTP client
     http = urllib3.PoolManager()
    
     # Initialize Storage client
     storage_client = storage.Client()
    
     @functions_framework.cloud_event
     def main(cloud_event):
         """
         Cloud Run function triggered by Pub/Sub to fetch Sentry events and write to GCS.
    
         Args:
             cloud_event: CloudEvent object containing Pub/Sub message
         """
    
         # Get environment variables
         bucket_name = os.environ.get('GCS_BUCKET')
         prefix = os.environ.get('GCS_PREFIX', 'sentry/events/')
         state_key = os.environ.get('STATE_KEY', 'sentry/events/state.json')
         org = os.environ.get('SENTRY_ORG', '').strip()
         token = os.environ.get('SENTRY_AUTH_TOKEN', '').strip()
         api_base = os.environ.get('SENTRY_API_BASE', 'https://sentry.io').rstrip('/')
         max_projects = int(os.environ.get('MAX_PROJECTS', '100'))
         max_pages_per_project = int(os.environ.get('MAX_PAGES_PER_PROJECT', '5'))
    
         if not all([bucket_name, org, token]):
             print('Error: Missing required environment variables')
             return
    
         try:
             # Get GCS bucket
             bucket = storage_client.bucket(bucket_name)
    
             # Load state
             state = load_state(bucket, state_key)
             state.setdefault('projects', {})
    
             # Get list of projects
             projects = list_projects(api_base, org, token, max_projects)
             print(f'Found {len(projects)} projects')
    
             summary = []
    
             # Process each project
             for slug in projects:
                 start_prev = state['projects'].get(slug, {}).get('prev_cursor')
                 res = fetch_project_events(
                     api_base, org, token, slug, start_prev, 
                     max_pages_per_project, bucket, prefix
                 )
    
                 if res.get('store_prev_cursor'):
                     state['projects'][slug] = {'prev_cursor': res['store_prev_cursor']}
    
                 summary.append(res)
    
             # Save state
             save_state(bucket, state_key, state)
    
             print(f'Successfully processed {len(projects)} projects')
             print(f'Summary: {json.dumps(summary)}')
    
         except Exception as e:
             print(f'Error processing logs: {str(e)}')
             raise
    
     def load_state(bucket, key):
         """Load state from GCS."""
         try:
             blob = bucket.blob(key)
             if blob.exists():
                 state_data = blob.download_as_text()
                 return json.loads(state_data) if state_data else {'projects': {}}
         except Exception as e:
             print(f'Warning: Could not load state: {str(e)}')
         return {'projects': {}}
    
     def save_state(bucket, key, state):
         """Save state to GCS."""
         try:
             blob = bucket.blob(key)
             blob.upload_from_string(
                 json.dumps(state, separators=(',', ':')),
                 content_type='application/json'
             )
         except Exception as e:
             print(f'Warning: Could not save state: {str(e)}')
    
     def sentry_request(api_base, token, path, params=None):
         """Make request to Sentry API."""
         url = f"{api_base}{path}"
         if params:
             url = f"{url}?{urllib3.request.urlencode(params)}"
    
         headers = {
             'Authorization': f'Bearer {token}',
             'Accept': 'application/json',
             'User-Agent': 'chronicle-gcs-sentry-function/1.0'
         }
    
         response = http.request('GET', url, headers=headers, timeout=60.0)
         data = json.loads(response.data.decode('utf-8'))
         link = response.headers.get('Link')
    
         return data, link
    
     def parse_link_header(link_header):
         """Parse Link header to extract cursors."""
         if not link_header:
             return None, False, None, False
    
         prev_cursor, next_cursor = None, None
         prev_more, next_more = False, False
    
         parts = [p.strip() for p in link_header.split(',')]
         for p in parts:
             if '<' not in p or '>' not in p:
                 continue
    
             url = p.split('<', 1)[1].split('>', 1)[0]
             rel = 'previous' if 'rel="previous"' in p else ('next' if 'rel="next"' in p else None)
             has_more = 'results="true"' in p
    
             try:
                 from urllib.parse import urlparse, parse_qs
                 q = urlparse(url).query
                 cur = parse_qs(q).get('cursor', [None])[0]
             except Exception:
                 cur = None
    
             if rel == 'previous':
                 prev_cursor, prev_more = cur, has_more
             elif rel == 'next':
                 next_cursor, next_more = cur, has_more
    
         return prev_cursor, prev_more, next_cursor, next_more
    
     def write_page(bucket, prefix, project_slug, payload, page_idx):
         """Write page of events to GCS."""
         ts = time.gmtime()
         key = f"{prefix.rstrip('/')}/{time.strftime('%Y/%m/%d', ts)}/sentry-{project_slug}-{page_idx:05d}.json"
    
         blob = bucket.blob(key)
         blob.upload_from_string(
             json.dumps(payload, separators=(',', ':')),
             content_type='application/json'
         )
    
         return key
    
     def list_projects(api_base, org, token, max_projects):
         """List Sentry projects."""
         projects, cursor = [], None
    
         while len(projects) < max_projects:
             params = {'cursor': cursor} if cursor else {}
             data, link = sentry_request(api_base, token, f'/api/0/organizations/{org}/projects/', params)
    
             for p in data:
                 slug = p.get('slug')
                 if slug:
                     projects.append(slug)
                 if len(projects) >= max_projects:
                     break
    
             _, _, next_cursor, next_more = parse_link_header(link)
             cursor = next_cursor if next_more else None
             if not next_more:
                 break
    
         return projects
    
     def fetch_project_events(api_base, org, token, project_slug, start_prev_cursor, max_pages, bucket, prefix):
         """Fetch events for a project."""
         pages = 0
         total = 0
         latest_prev_cursor_to_store = None
    
         def fetch_one(cursor):
             nonlocal pages, total, latest_prev_cursor_to_store
    
             params = {'cursor': cursor} if cursor else {}
             data, link = sentry_request(api_base, token, f'/api/0/projects/{org}/{project_slug}/events/', params)
    
             write_page(bucket, prefix, project_slug, data, pages)
             total += len(data) if isinstance(data, list) else 0
    
             prev_c, prev_more, next_c, next_more = parse_link_header(link)
             latest_prev_cursor_to_store = prev_c or latest_prev_cursor_to_store
             pages += 1
    
             return prev_c, prev_more, next_c, next_more
    
         if start_prev_cursor:
             # Poll new pages toward "previous" until no more
             cur = start_prev_cursor
             while pages < max_pages:
                 prev_c, prev_more, _, _ = fetch_one(cur)
                 if not prev_more:
                     break
                 cur = prev_c
         else:
             # First run: start at newest, then backfill older pages
             prev_c, _, next_c, next_more = fetch_one(None)
             cur = next_c
             while next_more and pages < max_pages:
                 _, _, next_c, next_more = fetch_one(cur)
                 cur = next_c
    
         return {
             'project': project_slug,
             'pages': pages,
             'written': total,
             'store_prev_cursor': latest_prev_cursor_to_store
         }
     ```
    
    * Second file: **requirements.txt:**
    
    

    functions-framework3.* google-cloud-storage2.* urllib3>=2.0.0 ```

  3. Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.

  4. Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.

  1. Rufen Sie in der GCP Console Cloud Scheduler auf.
  2. Klicken Sie auf Job erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Name sentry-logs-collector-hourly
    Region Dieselbe Region wie für die Cloud Run-Funktion auswählen
    Frequenz 0 * * * * (jede Stunde, zur vollen Stunde)
    Zeitzone Zeitzone auswählen (UTC empfohlen)
    Zieltyp Pub/Sub
    Thema Wählen Sie das Thema aus (sentry-logs-trigger).
    Nachrichtentext {} (leeres JSON-Objekt)
  4. Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

  • Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:

    Häufigkeit Cron-Ausdruck Anwendungsfall
    Alle 5 Minuten */5 * * * * Hohes Volumen, niedrige Latenz
    Alle 15 Minuten */15 * * * * Mittleres Suchvolumen
    Stündlich 0 * * * * Standard (empfohlen)
    Alle 6 Stunden 0 */6 * * * Geringes Volumen, Batchverarbeitung
    Täglich 0 0 * * * Erhebung von Verlaufsdaten

Scheduler-Job testen

  1. Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
  2. Klicken Sie auf Force run (Ausführung erzwingen), um die Ausführung manuell auszulösen.
  3. Warten Sie einige Sekunden und rufen Sie dann Cloud Run > Dienste > sentry-logs-collector > Logs auf.
  4. Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde.
  5. Prüfen Sie im GCS-Bucket, ob Logs geschrieben wurden.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E-Mail-Adresse des Dienstkontos abrufen

  1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Sentry Logs.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie Sentry als Logtyp aus.
  7. Klicken Sie auf Dienstkonto abrufen. Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Kopieren Sie diese E‑Mail-Adresse für den nächsten Schritt.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
    • Rollen zuweisen: Wählen Sie Storage-Objekt-Betrachter aus.
  6. Klicken Sie auf Speichern.

Feed in Google SecOps konfigurieren, um Sentry-Logs aufzunehmen

  1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Sentry Logs.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie Sentry als Logtyp aus.
  7. Klicken Sie auf Weiter.
  8. Geben Sie Werte für die folgenden Eingabeparameter an:

    • Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:

      gs://sentry-logs/sentry/events/
      
      • Ersetzen Sie:

        • sentry-logs: Der Name Ihres GCS-Buckets.
        • sentry/events/: Optionales Präfix/Ordnerpfad, in dem Logs gespeichert werden (für den Stamm leer lassen).
      • Beispiele:

        • Root-Bucket: gs://company-logs/
        • Mit Präfix: gs://company-logs/sentry-logs/
        • Mit Unterordner: gs://company-logs/sentry/events/
    • Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:

      • Nie: Es werden nach Übertragungen nie Dateien gelöscht (empfohlen für Tests).
      • Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.
      • Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach der erfolgreichen Übertragung.

    • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.

    • Asset-Namespace: Der Asset-Namespace.

    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

  9. Klicken Sie auf Weiter.

  10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten