Recopila registros de Sentry

Se admite en los siguientes sistemas operativos:

Google SecOps SIEM

En este documento, se explica cómo transferir registros de Sentry a Google Security Operations con Google Cloud Storage. Sentry genera datos operativos en forma de eventos, problemas, datos de supervisión del rendimiento y datos de seguimiento de errores. Esta integración te permite enviar estos registros a las SecOps de Google para su análisis y supervisión, lo que proporciona visibilidad de los errores de las aplicaciones, los problemas de rendimiento y las interacciones de los usuarios en las aplicaciones supervisadas por Sentry.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

Una instancia de Google SecOps
Un proyecto de GCP con la API de Cloud Storage habilitada
Permisos para crear y administrar buckets de GCS
Permisos para administrar políticas de IAM en buckets de GCS
Permisos para crear funciones de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
Acceso con privilegios al arrendatario de Sentry (token de autorización con permisos de API)

Recopila los requisitos previos de Sentry (IDs, claves de API, IDs de organización y tokens)

Accede a Sentry.
Busca el slug de tu organización:
- Ve a Configuración > Organización > Configuración > ID de organización (el slug aparece junto al nombre de la organización).
Crea un token de autenticación:
1. Ve a Configuración > Configuración para desarrolladores > Tokens personales.
2. Haz clic en Crear token nuevo.
3. Permisos (mínimo): org:read, project:read, event:read.
4. Haz clic en Create Token.
5. Copia el valor del token (se muestra una sola vez). Se usa de la siguiente manera: Authorization: Bearer <token>.
(Si es autohospedado) Anota tu URL base (por ejemplo, https://<your-domain>); de lo contrario, usa https://sentry.io.

Nota: Sentry limita la frecuencia de cada solicitud a la API para evitar abusos. Los límites se aplican a cada combinación única de llamador y extremo, y cada extremo tiene su propia cantidad máxima de solicitudes y tamaño de ventana. La función de Cloud Run implementa una espera exponencial para controlar la limitación de frecuencia automáticamente.
Nota: Los registros de errores se almacenan durante 30 días en los planes Free y 30 días en los planes Team y Business. Sentry también conserva los tramos y las transacciones muestreados durante 13 meses en los planes Business. Esto limita los datos históricos disponibles para el reabastecimiento cuando se configura la integración por primera vez.

Crea un bucket de Google Cloud Storage

Ve a Google Cloud Console.
Selecciona tu proyecto o crea uno nuevo.
En el menú de navegación, ve a Cloud Storage > Buckets.
Haz clic en Crear bucket.

Proporciona los siguientes detalles de configuración:

Configuración	Valor
Asigna un nombre a tu bucket	Ingresa un nombre global único (por ejemplo, `sentry-logs`).
Tipo de ubicación	Elige según tus necesidades (región, birregional, multirregional)
Ubicación	Selecciona la ubicación (por ejemplo, `us-central1`).
Clase de almacenamiento	Estándar (recomendado para los registros a los que se accede con frecuencia)
Control de acceso	Uniforme (recomendado)
Herramientas de protección	Opcional: Habilita el control de versiones de objetos o la política de retención

Haz clic en Crear.

Crea una cuenta de servicio para la Cloud Run Function

La Cloud Run Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y ser invocada por Pub/Sub.

Crear cuenta de servicio

En GCP Console, ve a IAM y administración > Cuentas de servicio.
Haz clic en Crear cuenta de servicio.
Proporciona los siguientes detalles de configuración:
- Nombre de la cuenta de servicio: Ingresa sentry-logs-collector-sa.
- Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect Sentry logs.
Haz clic en Crear y continuar.
En la sección Otorga a esta cuenta de servicio acceso al proyecto, agrega los siguientes roles:
1. Haz clic en Selecciona un rol.
2. Busca y selecciona Administrador de objetos de almacenamiento.
3. Haz clic en + Agregar otra función.
4. Busca y selecciona Invocador de Cloud Run.
5. Haz clic en + Agregar otra función.
6. Busca y selecciona Cloud Functions Invoker.
Haz clic en Continuar.
Haz clic en Listo.

Estos roles son necesarios para las siguientes acciones:

Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
Invocador de Cloud Run: Permite que Pub/Sub invoque la función
Cloud Functions Invoker: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

Ve a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket.
Ve a la pestaña Permisos.
Haz clic en Otorgar acceso.
Proporciona los siguientes detalles de configuración:
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, sentry-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
- Asignar roles: Selecciona Administrador de objetos de Storage.
Haz clic en Guardar.

Crear tema de Pub/Sub

Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.

En GCP Console, ve a Pub/Sub > Temas.
Haz clic en Crear un tema.
Proporciona los siguientes detalles de configuración:
- ID del tema: Ingresa sentry-logs-trigger.
- Deja el resto de la configuración con sus valores predeterminados.
Haz clic en Crear.

Crea una función de Cloud Run para recopilar registros

La función de Cloud Run se activa con los mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de Sentry y escribirlos en GCS.

En GCP Console, ve a Cloud Run.
Haz clic en Crear servicio.
Selecciona Función (usa un editor intercalado para crear una función).

En la sección Configurar, proporciona los siguientes detalles de configuración:

Configuración	Valor
Nombre del servicio	`sentry-logs-collector`
Región	Selecciona la región que coincida con tu bucket de GCS (por ejemplo, `us-central1`).
Tiempo de ejecución	Selecciona Python 3.12 o una versión posterior.

En la sección Activador (opcional), haz lo siguiente:
1. Haz clic en + Agregar activador.
2. Selecciona Cloud Pub/Sub.
3. En Selecciona un tema de Cloud Pub/Sub, elige el tema (sentry-logs-trigger).
4. Haz clic en Guardar.
En la sección Autenticación, haz lo siguiente:
1. Selecciona Solicitar autenticación.
2. Verifica Identity and Access Management (IAM).
Nota: Pub/Sub controla automáticamente la autenticación cuando invoca la función.
Desplázate hacia abajo y expande Contenedores, redes y seguridad.
Ve a la pestaña Seguridad:
- Cuenta de servicio: Selecciona la cuenta de servicio (sentry-logs-collector-sa).

Ve a la pestaña Contenedores:

Haz clic en Variables y secretos.
Haz clic en + Agregar variable para cada variable de entorno:

Nombre de la variable	Valor de ejemplo	Descripción
`GCS_BUCKET`	`sentry-logs`	Nombre del bucket de GCS en el que se almacenarán los datos.
`GCS_PREFIX`	`sentry/events/`	Prefijo de GCS opcional (subcarpeta) para los objetos.
`STATE_KEY`	`sentry/events/state.json`	Es la clave del archivo de estado o punto de control opcional.
`SENTRY_ORG`	`your-org-slug`	Es el slug de la organización de Sentry.
`SENTRY_AUTH_TOKEN`	`sntrys_************************`	Token de autenticación de Sentry con org:read, project:read y event:read.
`SENTRY_API_BASE`	`https://sentry.io`	URL base de la API de Sentry (`https://<your-domain>` si se aloja por cuenta propia).
`MAX_PROJECTS`	`100`	Es la cantidad máxima de proyectos que se pueden procesar.
`MAX_PAGES_PER_PROJECT`	`5`	Cantidad máxima de páginas por proyecto y por ejecución.

En la pestaña Variables y Secrets, desplázate hacia abajo hasta Requests:
- Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).
Ve a la pestaña Configuración en Contenedores:
- En la sección Recursos, haz lo siguiente:
  - Memoria: Selecciona 512 MiB o más.
  - CPU: Selecciona 1.
- Haz clic en Listo.
Desplázate hasta Entorno de ejecución:
- Selecciona Predeterminado (recomendado).
En la sección Ajuste de escala de revisión, haz lo siguiente:
- Cantidad mínima de instancias: Ingresa 0.
- Cantidad máxima de instancias: Ingresa 100 (o ajusta según la carga esperada).
Haz clic en Crear.
Espera a que se cree el servicio (de 1 a 2 minutos).
Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agregar el código de función

Ingresa main en Punto de entrada de la función.

En el editor de código intercalado, crea dos archivos:

Primer archivo: main.py:

 import functions_framework
 from google.cloud import storage
 import json
 import os
 import urllib3
 from datetime import datetime, timezone
 import time

 # Initialize HTTP client
 http = urllib3.PoolManager()

 # Initialize Storage client
 storage_client = storage.Client()

 @functions_framework.cloud_event
 def main(cloud_event):
     """
     Cloud Run function triggered by Pub/Sub to fetch Sentry events and write to GCS.

     Args:
         cloud_event: CloudEvent object containing Pub/Sub message
     """

     # Get environment variables
     bucket_name = os.environ.get('GCS_BUCKET')
     prefix = os.environ.get('GCS_PREFIX', 'sentry/events/')
     state_key = os.environ.get('STATE_KEY', 'sentry/events/state.json')
     org = os.environ.get('SENTRY_ORG', '').strip()
     token = os.environ.get('SENTRY_AUTH_TOKEN', '').strip()
     api_base = os.environ.get('SENTRY_API_BASE', 'https://sentry.io').rstrip('/')
     max_projects = int(os.environ.get('MAX_PROJECTS', '100'))
     max_pages_per_project = int(os.environ.get('MAX_PAGES_PER_PROJECT', '5'))

     if not all([bucket_name, org, token]):
         print('Error: Missing required environment variables')
         return

     try:
         # Get GCS bucket
         bucket = storage_client.bucket(bucket_name)

         # Load state
         state = load_state(bucket, state_key)
         state.setdefault('projects', {})

         # Get list of projects
         projects = list_projects(api_base, org, token, max_projects)
         print(f'Found {len(projects)} projects')

         summary = []

         # Process each project
         for slug in projects:
             start_prev = state['projects'].get(slug, {}).get('prev_cursor')
             res = fetch_project_events(
                 api_base, org, token, slug, start_prev, 
                 max_pages_per_project, bucket, prefix
             )

             if res.get('store_prev_cursor'):
                 state['projects'][slug] = {'prev_cursor': res['store_prev_cursor']}

             summary.append(res)

         # Save state
         save_state(bucket, state_key, state)

         print(f'Successfully processed {len(projects)} projects')
         print(f'Summary: {json.dumps(summary)}')

     except Exception as e:
         print(f'Error processing logs: {str(e)}')
         raise

 def load_state(bucket, key):
     """Load state from GCS."""
     try:
         blob = bucket.blob(key)
         if blob.exists():
             state_data = blob.download_as_text()
             return json.loads(state_data) if state_data else {'projects': {}}
     except Exception as e:
         print(f'Warning: Could not load state: {str(e)}')
     return {'projects': {}}

 def save_state(bucket, key, state):
     """Save state to GCS."""
     try:
         blob = bucket.blob(key)
         blob.upload_from_string(
             json.dumps(state, separators=(',', ':')),
             content_type='application/json'
         )
     except Exception as e:
         print(f'Warning: Could not save state: {str(e)}')

 def sentry_request(api_base, token, path, params=None):
     """Make request to Sentry API."""
     url = f"{api_base}{path}"
     if params:
         url = f"{url}?{urllib3.request.urlencode(params)}"

     headers = {
         'Authorization': f'Bearer {token}',
         'Accept': 'application/json',
         'User-Agent': 'chronicle-gcs-sentry-function/1.0'
     }

     response = http.request('GET', url, headers=headers, timeout=60.0)
     data = json.loads(response.data.decode('utf-8'))
     link = response.headers.get('Link')

     return data, link

 def parse_link_header(link_header):
     """Parse Link header to extract cursors."""
     if not link_header:
         return None, False, None, False

     prev_cursor, next_cursor = None, None
     prev_more, next_more = False, False

     parts = [p.strip() for p in link_header.split(',')]
     for p in parts:
         if '<' not in p or '>' not in p:
             continue

         url = p.split('<', 1)[1].split('>', 1)[0]
         rel = 'previous' if 'rel="previous"' in p else ('next' if 'rel="next"' in p else None)
         has_more = 'results="true"' in p

         try:
             from urllib.parse import urlparse, parse_qs
             q = urlparse(url).query
             cur = parse_qs(q).get('cursor', [None])[0]
         except Exception:
             cur = None

         if rel == 'previous':
             prev_cursor, prev_more = cur, has_more
         elif rel == 'next':
             next_cursor, next_more = cur, has_more

     return prev_cursor, prev_more, next_cursor, next_more

 def write_page(bucket, prefix, project_slug, payload, page_idx):
     """Write page of events to GCS."""
     ts = time.gmtime()
     key = f"{prefix.rstrip('/')}/{time.strftime('%Y/%m/%d', ts)}/sentry-{project_slug}-{page_idx:05d}.json"

     blob = bucket.blob(key)
     blob.upload_from_string(
         json.dumps(payload, separators=(',', ':')),
         content_type='application/json'
     )

     return key

 def list_projects(api_base, org, token, max_projects):
     """List Sentry projects."""
     projects, cursor = [], None

     while len(projects) < max_projects:
         params = {'cursor': cursor} if cursor else {}
         data, link = sentry_request(api_base, token, f'/api/0/organizations/{org}/projects/', params)

         for p in data:
             slug = p.get('slug')
             if slug:
                 projects.append(slug)
             if len(projects) >= max_projects:
                 break

         _, _, next_cursor, next_more = parse_link_header(link)
         cursor = next_cursor if next_more else None
         if not next_more:
             break

     return projects

 def fetch_project_events(api_base, org, token, project_slug, start_prev_cursor, max_pages, bucket, prefix):
     """Fetch events for a project."""
     pages = 0
     total = 0
     latest_prev_cursor_to_store = None

     def fetch_one(cursor):
         nonlocal pages, total, latest_prev_cursor_to_store

         params = {'cursor': cursor} if cursor else {}
         data, link = sentry_request(api_base, token, f'/api/0/projects/{org}/{project_slug}/events/', params)

         write_page(bucket, prefix, project_slug, data, pages)
         total += len(data) if isinstance(data, list) else 0

         prev_c, prev_more, next_c, next_more = parse_link_header(link)
         latest_prev_cursor_to_store = prev_c or latest_prev_cursor_to_store
         pages += 1

         return prev_c, prev_more, next_c, next_more

     if start_prev_cursor:
         # Poll new pages toward "previous" until no more
         cur = start_prev_cursor
         while pages < max_pages:
             prev_c, prev_more, _, _ = fetch_one(cur)
             if not prev_more:
                 break
             cur = prev_c
     else:
         # First run: start at newest, then backfill older pages
         prev_c, _, next_c, next_more = fetch_one(None)
         cur = next_c
         while next_more and pages < max_pages:
             _, _, next_c, next_more = fetch_one(cur)
             cur = next_c

     return {
         'project': project_slug,
         'pages': pages,
         'written': total,
         'store_prev_cursor': latest_prev_cursor_to_store
     }
 ```

* Second file: **requirements.txt:**

functions-framework3.* google-cloud-storage2.* urllib3>=2.0.0 ```

Haz clic en Implementar para guardar y, luego, implementar la función.
Espera a que se complete la implementación (de 2 a 3 minutos).

Nota: La configuración del activador de Pub/Sub crea automáticamente las suscripciones y los permisos necesarios.

Crea un trabajo de Cloud Scheduler

Cloud Scheduler publica mensajes en el tema de Pub/Sub a intervalos regulares, lo que activa la función de Cloud Run.

En GCP Console, ve a Cloud Scheduler.
Haz clic en Crear trabajo.

Proporciona los siguientes detalles de configuración:

Configuración	Valor
Nombre	`sentry-logs-collector-hourly`
Región	Selecciona la misma región que la función de Cloud Run
Frecuencia	`0 * * * *` (cada hora, en punto)
Zona horaria	Selecciona la zona horaria (se recomienda UTC)
Tipo de orientación	Pub/Sub
Tema	Selecciona el tema (`sentry-logs-trigger`).
Cuerpo del mensaje	`{}` (objeto JSON vacío)

Haz clic en Crear.

Opciones de frecuencia de programación

Elige la frecuencia según los requisitos de latencia y volumen de registros:

Frecuencia	Expresión cron	Caso de uso
Cada 5 minutos	`/5 * * *`	Alto volumen y baja latencia
Cada 15 minutos	`/15 * * *`	Volumen medio
Cada 1 hora	`0 * * * *`	Estándar (opción recomendada)
Cada 6 horas	`0 /6 * *`	Procesamiento por lotes y volumen bajo
Diario	`0 0 * * *`	Recopilación de datos históricos

Prueba el trabajo de Scheduler

En la consola de Cloud Scheduler, busca tu trabajo.
Haz clic en Forzar ejecución para activarlo de forma manual.
Espera unos segundos y ve a Cloud Run > Servicios > sentry-logs-collector > Registros.
Verifica que la función se haya ejecutado correctamente.
Verifica el bucket de GCS para confirmar que se escribieron los registros.

Recupera la cuenta de servicio de Google SecOps

Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.

Obtén el correo electrónico de la cuenta de servicio

Ve a Configuración de SIEM > Feeds.
Haz clic en Agregar feed nuevo.
Haz clic en Configura un feed único.
En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Sentry Logs).
Selecciona Google Cloud Storage V2 como el Tipo de fuente.
Selecciona Sentry como el Tipo de registro.
Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio, por ejemplo:
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
Copia esta dirección de correo electrónico para usarla en el siguiente paso.

Nota: Cada instancia de Google SecOps tiene una cuenta de servicio única. No uses cuentas de servicio de otros ejemplos o documentación.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.

Ve a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket.
Ve a la pestaña Permisos.
Haz clic en Otorgar acceso.
Proporciona los siguientes detalles de configuración:
- Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
- Asignar roles: Selecciona Visualizador de objetos de Storage.
Haz clic en Guardar.

Nota: Si planeas usar la opción de eliminación "Borrar archivos transferidos" o "Borrar archivos transferidos y directorios vacíos", otorga el rol de Administrador de objetos de Storage en lugar del rol de Visualizador de objetos de Storage.

Configura un feed en Google SecOps para transferir registros de Sentry

Ve a Configuración de SIEM > Feeds.
Haz clic en Agregar feed nuevo.
Haz clic en Configura un feed único.
En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Sentry Logs).
Selecciona Google Cloud Storage V2 como el Tipo de fuente.
Selecciona Sentry como el Tipo de registro.
Haz clic en Siguiente.
Especifica valores para los siguientes parámetros de entrada:
- URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:
```
gs://sentry-logs/sentry/events/
```
  - Reemplaza lo siguiente:
    - sentry-logs: Es el nombre de tu bucket de GCS.
    - sentry/events/: Es el prefijo o la ruta de carpeta opcionales en los que se almacenan los registros (déjalo vacío para la raíz).
  - Ejemplos:
    - Bucket raíz: gs://company-logs/
    - Con prefijo: gs://company-logs/sentry-logs/
    - Con subcarpeta: gs://company-logs/sentry/events/
  Nota: Siempre incluye la barra diagonal final (/) al final del URI.
- Opción de borrado de la fuente: Selecciona la opción de borrado según tu preferencia:
  - Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
  - Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.
  - Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.
    
    Nota: Si seleccionas una opción de eliminación, la cuenta de servicio debe tener el rol de administrador de objetos de Storage en lugar del rol de visualizador de objetos de Storage. Actualiza los permisos de IAM según corresponda.
- Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
- Espacio de nombres del recurso: Es el espacio de nombres del recurso.
- Etiquetas de transmisión: Es la etiqueta que se aplicará a los eventos de este feed.
Haz clic en Siguiente.
Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.