Recopila registros de problemas del grupo de Snyk

Se admite en los siguientes sistemas operativos:

Google SecOps SIEM

Nota: Esta función está sujeta a las Condiciones de las Ofertas de Fase Previa a la DG de las Condiciones Específicas de Google Security Operations. Las características de la fase previa a la DG pueden tener asistencia limitada, y es posible que los cambios que se les realicen no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta los Lineamientos de los Servicios de Asistencia Técnica de Google SecOps y las Condiciones Específicas del Servicio de Google SecOps.

En este documento, se explica cómo transferir registros de problemas del grupo de Snyk a Google Security Operations con Google Cloud Storage. Snyk es una plataforma de seguridad para desarrolladores que ayuda a las organizaciones a encontrar y corregir vulnerabilidades en dependencias de código abierto, imágenes de contenedores, configuraciones de infraestructura como código y código de aplicaciones. Los problemas del grupo de Snyk proporcionan visibilidad de las vulnerabilidades de seguridad y los problemas de licencias en todos los proyectos dentro de un grupo de Snyk.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

• Una instancia de Google SecOps
• Un proyecto de GCP con la API de Cloud Storage habilitada
• Permisos para crear y administrar buckets de GCS
• Permisos para administrar políticas de IAM en buckets de GCS
• Permisos para crear funciones de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
• Acceso con privilegios al grupo de Snyk (token de API con acceso de lectura; ID de grupo)
• Se asignó el rol de administrador de grupo de Snyk al usuario con el token de API (el usuario debe poder ver los registros de auditoría del grupo y los problemas del grupo).

Crea un bucket de Google Cloud Storage

1. Ve a Google Cloud Console.
2. Selecciona tu proyecto o crea uno nuevo.
3. En el menú de navegación, ve a Cloud Storage > Buckets.
4. Haz clic en Crear bucket.

5. Proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Asigna un nombre a tu bucket	Ingresa un nombre global único (por ejemplo, snyk-group-logs).
   Tipo de ubicación	Elige según tus necesidades (región, birregional, multirregional)
   Ubicación	Selecciona la ubicación (por ejemplo, us-central1).
   Clase de almacenamiento	Estándar (recomendado para los registros a los que se accede con frecuencia)
   Control de acceso	Uniforme (recomendado)
   Herramientas de protección	Opcional: Habilita el control de versiones de objetos o la política de retención

6. Haz clic en Crear.

Recopila el ID del grupo y el token de API de Snyk

Obtén el token de la API de Snyk

1. Accede a la IU de Snyk en https://app.snyk.io.
2. Ve a Configuración de la cuenta > Token de API.
3. Haz clic en Generar para generar el token de API.

4. Copia y guarda el token en una ubicación segura para usarlo más adelante como SNYK_TOKEN.

   Nota: La función de Cloud Run usará este token para autenticarse en la API de Snyk.

Obtén el ID del grupo de Snyk

1. En la IU de Snyk, cambia a tu grupo.
2. Ve a Configuración del grupo.
3. Copia y guarda el ID del grupo de la URL (https://app.snyk.io/group/<GROUP_ID>/...) para usarlo más adelante como GROUP_ID.

Asigna el rol de administrador del grupo

1. En la IU de Snyk, ve a Group settings > Members.
2. Ubica al usuario asociado con el token de API.

3. Asigna el rol de administrador del grupo al usuario.

   Nota: El usuario debe poder ver los registros de auditoría del grupo y los problemas del grupo.

Extremo de la API de Notes

• El extremo base de la API de REST varía según la región. Identifica tu región de Snyk y anota la URL base de REST correspondiente:

  Región	URL base de REST
  SNYK-US-01	https://api.snyk.io/rest
  SNYK-US-02	https://api.us.snyk.io/rest
  SNYK-EU-01	https://api.eu.snyk.io/rest
  SNYK-AU-01	https://api.au.snyk.io/rest

  Usarás esta URL base de REST como API_BASE en la configuración de la función de Cloud Run. El código de la función construye URLs de extremos completas agregando rutas de acceso como /groups/{group_id}/audit_logs/search a esta URL base.

  Nota: Los extremos de los registros de auditoría de Snyk solo están disponibles para los planes Enterprise. Verifica que tu plan incluya acceso a los registros de auditoría de grupos y que tu cuenta tenga configurados los límites de retención adecuados.

Crea una cuenta de servicio para la Cloud Run Function

La Cloud Run Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS.

Crear cuenta de servicio

1. En GCP Console, ve a IAM y administración > Cuentas de servicio.
2. Haz clic en Crear cuenta de servicio.
3. Proporciona los siguientes detalles de configuración:
   • Nombre de la cuenta de servicio: Ingresa snyk-logs-collector-sa.
   • Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect Snyk Group logs.
4. Haz clic en Crear y continuar.
5. En la sección Otorga a esta cuenta de servicio acceso al proyecto, haz lo siguiente:
   1. Haz clic en Selecciona un rol.
   2. Busca y selecciona Administrador de objetos de almacenamiento.
   3. Haz clic en + Agregar otra función.
   4. Busca y selecciona Invocador de Cloud Run.
   5. Haz clic en + Agregar otra función.
   6. Busca y selecciona Cloud Functions Invoker.
6. Haz clic en Continuar.
7. Haz clic en Listo.

Estos roles son necesarios para las siguientes acciones:

• Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
• Invocador de Cloud Run: Permite que Pub/Sub invoque la función
• Cloud Functions Invoker: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

1. Ve a Cloud Storage > Buckets.
2. Haz clic en el nombre de tu bucket.
3. Ve a la pestaña Permisos.
4. Haz clic en Otorgar acceso.
5. Proporciona los siguientes detalles de configuración:
   • Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, snyk-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
   • Asignar roles: Selecciona Administrador de objetos de Storage.
6. Haz clic en Guardar.

Crear tema de Pub/Sub

Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.

1. En GCP Console, ve a Pub/Sub > Temas.
2. Haz clic en Crear un tema.
3. Proporciona los siguientes detalles de configuración:
   • ID del tema: Ingresa snyk-logs-trigger.
   • Deja el resto de la configuración con sus valores predeterminados.
4. Haz clic en Crear.

Crea una función de Cloud Run para recopilar registros

La función de Cloud Run se activa con los mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de Snyk Group y escribirlos en GCS.

1. En GCP Console, ve a Cloud Run.
2. Haz clic en Crear servicio.
3. Selecciona Función (usa un editor intercalado para crear una función).

4. En la sección Configurar, proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Nombre del servicio	snyk-group-logs-collector
   Región	Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).
   Tiempo de ejecución	Selecciona Python 3.12 o una versión posterior.

5. En la sección Activador (opcional), haz lo siguiente:

   1. Haz clic en + Agregar activador.
   2. Selecciona Cloud Pub/Sub.
   3. En Selecciona un tema de Cloud Pub/Sub, elige el tema snyk-logs-trigger.
   4. Haz clic en Guardar.

6. En la sección Autenticación, haz lo siguiente:

   1. Selecciona Solicitar autenticación.
   2. Verifica Identity and Access Management (IAM).
   Nota: Pub/Sub controla automáticamente la autenticación cuando invoca la función.

7. Desplázate hacia abajo y expande Contenedores, redes y seguridad.

8. Ve a la pestaña Seguridad:

   • Cuenta de servicio: Selecciona la cuenta de servicio snyk-logs-collector-sa.

9. Ve a la pestaña Contenedores:

   1. Haz clic en Variables y secretos.
   2. Haz clic en + Agregar variable para cada variable de entorno:

   Nombre de la variable	Valor de ejemplo
   GCS_BUCKET	snyk-group-logs
   GCS_PREFIX	snyk/group/
   STATE_KEY	snyk/group/state.json
   SNYK_TOKEN	your-snyk-api-token
   GROUP_ID	your-group-uuid
   API_BASE	https://api.snyk.io/rest
   SNYK_AUDIT_API_VERSION	2024-10-15
   SNYK_ISSUES_API_VERSION	2024-10-15
   AUDIT_PAGE_SIZE	100
   ISSUES_PAGE_LIMIT	100
   MAX_PAGES	20
   LOOKBACK_SECONDS	3600

   Nota: Establece API_BASE en la URL base de REST correcta para tu región de Snyk. Para SNYK-US-01, usa https://api.snyk.io/rest. Para SNYK-EU-01, usa https://api.eu.snyk.io/rest. Para SNYK-US-02, usa https://api.us.snyk.io/rest. Para SNYK-AU-01, usa https://api.au.snyk.io/rest.

10. En la pestaña Variables y Secrets, desplázate hacia abajo hasta Requests:

    • Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).

11. Ve a la pestaña Configuración en Contenedores:

    • En la sección Recursos, haz lo siguiente:
      • Memoria: Selecciona 512 MiB o más.
      • CPU: Selecciona 1.
    • Haz clic en Listo.

12. Desplázate hacia abajo hasta Entorno de ejecución:

    • Selecciona Predeterminado (recomendado).

13. En la sección Ajuste de escala de revisión, haz lo siguiente:

    • Cantidad mínima de instancias: Ingresa 0.
    • Cantidad máxima de instancias: Ingresa 100 (o ajusta según la carga esperada).

14. Haz clic en Crear.

15. Espera a que se cree el servicio (de 1 a 2 minutos).

16. Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agregar el código de función

1. Ingresa main en Punto de entrada de la función.

2. En el editor de código intercalado, crea dos archivos:

   • Primer archivo: main.py:

         import functions_framework
         from google.cloud import storage
         import json
         import os
         import time
         import urllib.parse
         from urllib.request import Request, urlopen
         from urllib.parse import urlparse, parse_qs
         from urllib.error import HTTPError
     
         # Initialize Storage client
         storage_client = storage.Client()
     
         @functions_framework.cloud_event
         def main(cloud_event):
             """
             Cloud Run function triggered by Pub/Sub to fetch logs from Snyk Group API and write to GCS.
     
             Args:
                 cloud_event: CloudEvent object containing Pub/Sub message
             """
     
             # Get environment variables
             bucket_name = os.environ.get('GCS_BUCKET')
             prefix = os.environ.get('GCS_PREFIX', 'snyk/group/').strip()
             state_key = os.environ.get('STATE_KEY', 'snyk/group/state.json').strip()
     
             # Snyk API credentials
             api_base = os.environ.get('API_BASE', 'https://api.snyk.io/rest').rstrip('/')
             snyk_token = os.environ.get('SNYK_TOKEN').strip()
             group_id = os.environ.get('GROUP_ID').strip()
     
             # Page sizes & limits
             audit_size = int(os.environ.get('AUDIT_PAGE_SIZE', '100'))
             issues_limit = int(os.environ.get('ISSUES_PAGE_LIMIT', '100'))
             max_pages = int(os.environ.get('MAX_PAGES', '20'))
     
             # API versions
             audit_api_version = os.environ.get('SNYK_AUDIT_API_VERSION', '2024-10-15').strip()
             issues_api_version = os.environ.get('SNYK_ISSUES_API_VERSION', '2024-10-15').strip()
     
             # First-run lookback
             lookback_seconds = int(os.environ.get('LOOKBACK_SECONDS', '3600'))
     
             if not all([bucket_name, snyk_token, group_id]):
                 print('Error: Missing required environment variables')
                 return
     
             try:
                 # Get GCS bucket
                 bucket = storage_client.bucket(bucket_name)
     
                 # Load state
                 state = load_state(bucket, state_key)
     
                 print('Starting Snyk Group logs collection')
     
                 # Pull audit logs
                 audit_res = pull_audit_logs(
                     bucket, prefix, state, api_base, snyk_token, group_id,
                     audit_api_version, audit_size, max_pages, lookback_seconds
                 )
                 print(f"Audit logs: {audit_res}")
     
                 # Pull issues
                 issues_res = pull_issues(
                     bucket, prefix, state, api_base, snyk_token, group_id,
                     issues_api_version, issues_limit, max_pages
                 )
                 print(f"Issues: {issues_res}")
     
                 # Save state
                 save_state(bucket, state_key, state)
     
                 print('Successfully completed Snyk Group logs collection')
     
             except Exception as e:
                 print(f'Error processing logs: {str(e)}')
                 raise
     
         def load_state(bucket, key):
             """Load state from GCS."""
             try:
                 blob = bucket.blob(key)
                 if blob.exists():
                     state_data = blob.download_as_text()
                     return json.loads(state_data)
             except Exception as e:
                 print(f'Warning: Could not load state: {str(e)}')
             return {}
     
         def save_state(bucket, key, state):
             """Save state to GCS."""
             try:
                 blob = bucket.blob(key)
                 blob.upload_from_string(
                     json.dumps(state, separators=(',', ':')),
                     content_type='application/json'
                 )
             except Exception as e:
                 print(f'Warning: Could not save state: {str(e)}')
     
         def _iso(ts):
             """Convert timestamp to ISO format."""
             return time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime(ts))
     
         def _http_get(url, headers):
             """Make HTTP GET request with retry logic."""
             req = Request(url, method='GET', headers=headers)
             try:
                 with urlopen(req, timeout=60) as r:
                     return json.loads(r.read().decode('utf-8'))
             except HTTPError as e:
                 if e.code in (429, 500, 502, 503, 504):
                     delay = int(e.headers.get('Retry-After', '1'))
                     time.sleep(max(1, delay))
                     with urlopen(req, timeout=60) as r2:
                         return json.loads(r2.read().decode('utf-8'))
                 raise
     
         def _write_page(bucket, prefix, kind, payload):
             """Write page to GCS."""
             ts = time.gmtime()
             key = f"{prefix.rstrip('/')}/{time.strftime('%Y/%m/%d/%H%M%S', ts)}-snyk-{kind}.json"
             blob = bucket.blob(key)
             blob.upload_from_string(
                 json.dumps(payload, separators=(',', ':')),
                 content_type='application/json'
             )
             return key
     
         def _next_href(links):
             """Extract next href from links."""
             if not links:
                 return None
             nxt = links.get('next')
             if not nxt:
                 return None
             if isinstance(nxt, str):
                 return nxt
             if isinstance(nxt, dict):
                 return nxt.get('href')
             return None
     
         def pull_audit_logs(bucket, prefix, state, api_base, snyk_token, group_id,
                             audit_api_version, audit_size, max_pages, lookback_seconds):
             """Pull audit logs from Snyk Group API."""
             headers = {
                 'Authorization': f'token {snyk_token}',
                 'Accept': 'application/vnd.api+json',
             }
     
             cursor = state.get('audit_cursor')
             pages = 0
             total = 0
             base = f"{api_base}/groups/{group_id}/audit_logs/search"
             params = {
                 'version': audit_api_version,
                 'size': audit_size
             }
     
             if cursor:
                 params['cursor'] = cursor
             else:
                 now = time.time()
                 params['from'] = _iso(now - lookback_seconds)
                 params['to'] = _iso(now)
     
             while pages < max_pages:
                 url = f"{base}?{urllib.parse.urlencode(params, doseq=True)}"
                 payload = _http_get(url, headers)
                 _write_page(bucket, prefix, 'audit', payload)
     
                 data_items = (payload.get('data') or {}).get('items') or []
                 if isinstance(data_items, list):
                     total += len(data_items)
     
                 nxt = _next_href(payload.get('links'))
                 if not nxt:
                     break
     
                 q = parse_qs(urlparse(nxt).query)
                 cur = (q.get('cursor') or [None])[0]
                 if not cur:
                     break
     
                 params = {
                     'version': audit_api_version,
                     'size': audit_size,
                     'cursor': cur
                 }
                 state['audit_cursor'] = cur
                 pages += 1
     
             return {
                 'pages': pages + 1 if total else pages,
                 'items': total,
                 'cursor': state.get('audit_cursor')
             }
     
         def pull_issues(bucket, prefix, state, api_base, snyk_token, group_id,
                         issues_api_version, issues_limit, max_pages):
             """Pull issues from Snyk Group API."""
             headers = {
                 'Authorization': f'token {snyk_token}',
                 'Accept': 'application/vnd.api+json',
             }
     
             cursor = state.get('issues_cursor')
             pages = 0
             total = 0
             base = f"{api_base}/groups/{group_id}/issues"
             params = {
                 'version': issues_api_version,
                 'limit': issues_limit
             }
     
             if cursor:
                 params['starting_after'] = cursor
     
             while pages < max_pages:
                 url = f"{base}?{urllib.parse.urlencode(params, doseq=True)}"
                 payload = _http_get(url, headers)
                 _write_page(bucket, prefix, 'issues', payload)
     
                 data_items = payload.get('data') or []
                 if isinstance(data_items, list):
                     total += len(data_items)
     
                 nxt = _next_href(payload.get('links'))
                 if not nxt:
                     break
     
                 q = parse_qs(urlparse(nxt).query)
                 cur = (q.get('starting_after') or [None])[0]
                 if not cur:
                     break
     
                 params = {
                     'version': issues_api_version,
                     'limit': issues_limit,
                     'starting_after': cur
                 }
                 state['issues_cursor'] = cur
                 pages += 1
     
             return {
                 'pages': pages + 1 if total else pages,
                 'items': total,
                 'cursor': state.get('issues_cursor')
             }
         ```
     

   • Segundo archivo: requirements.txt:

     functions-framework==3.*
     google-cloud-storage==2.*
     

3. Haz clic en Implementar para guardar y, luego, implementar la función.

4. Espera a que se complete la implementación (de 2 a 3 minutos).

   Nota: La configuración del activador de Pub/Sub crea automáticamente las suscripciones y los permisos necesarios.

Crea un trabajo de Cloud Scheduler

Cloud Scheduler publica mensajes en el tema de Pub/Sub a intervalos regulares, lo que activa la función de Cloud Run.

1. En GCP Console, ve a Cloud Scheduler.
2. Haz clic en Crear trabajo.

3. Proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Nombre	snyk-group-logs-hourly
   Región	Selecciona la misma región que la función de Cloud Run
   Frecuencia	0 * * * * (cada hora, en punto)
   Zona horaria	Selecciona la zona horaria (se recomienda UTC)
   Tipo de orientación	Pub/Sub
   Tema	Selecciona el tema snyk-logs-trigger.
   Cuerpo del mensaje	{} (objeto JSON vacío)

4. Haz clic en Crear.

Opciones de frecuencia de programación

• Elige la frecuencia según los requisitos de latencia y volumen de registros:

  Frecuencia	Expresión cron	Caso de uso
  Cada 5 minutos	*/5 * * * *	Alto volumen y baja latencia
  Cada 15 minutos	*/15 * * * *	Volumen medio
  Cada 1 hora	0 * * * *	Estándar (opción recomendada)
  Cada 6 horas	0 */6 * * *	Procesamiento por lotes y volumen bajo
  Diario	0 0 * * *	Recopilación de datos históricos

Prueba el trabajo de Scheduler

1. En la consola de Cloud Scheduler, busca tu trabajo.
2. Haz clic en Forzar ejecución para activarlo de forma manual.
3. Espera unos segundos y ve a Cloud Run > Servicios > snyk-group-logs-collector > Registros.
4. Verifica que la función se haya ejecutado correctamente.
5. Verifica el bucket de GCS para confirmar que se escribieron los registros.

Recupera la cuenta de servicio de Google SecOps

Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.

Obtén el correo electrónico de la cuenta de servicio

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Agregar feed nuevo.
3. Haz clic en Configura un feed único.
4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Snyk Group Audit/Issues).
5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
6. Selecciona Snyk Group level audit/issues logs como el Tipo de registro.

7. Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio, por ejemplo:

   [e-mail]
   

8. Copia esta dirección de correo electrónico para usarla en el siguiente paso.

   Nota: Cada instancia de Google SecOps tiene una cuenta de servicio única. No uses cuentas de servicio de otros ejemplos o documentación.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.

1. Ve a Cloud Storage > Buckets.
2. Haz clic en el nombre de tu bucket.
3. Ve a la pestaña Permisos.
4. Haz clic en Otorgar acceso.
5. Proporciona los siguientes detalles de configuración:
   • Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
   • Asignar roles: Selecciona Visualizador de objetos de Storage.

6. Haz clic en Guardar.

   Nota: Si planeas usar la opción de eliminación "Borrar archivos transferidos" o "Borrar archivos transferidos y directorios vacíos", otorga el rol de Administrador de objetos de Storage en lugar del rol de Visualizador de objetos de Storage.

Configura un feed en Google SecOps para transferir registros de Snyk Group

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Agregar feed nuevo.
3. Haz clic en Configura un feed único.
4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Snyk Group Audit/Issues).
5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
6. Selecciona Snyk Group level audit/issues logs como el Tipo de registro.
7. Haz clic en Siguiente.

8. Especifica valores para los siguientes parámetros de entrada:

   • URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:

     gs://snyk-group-logs/snyk/group/
     

     • Reemplaza lo siguiente:

       • snyk-group-logs: Es el nombre de tu bucket de GCS.
       • snyk/group/: Es el prefijo o la ruta de carpeta opcionales en los que se almacenan los registros (déjalo vacío para la raíz).

     • Ejemplos:

       • Bucket raíz: gs://company-logs/
       • Con prefijo: gs://company-logs/snyk-logs/
       • Con subcarpeta: gs://company-logs/snyk/group/
   Nota: Siempre incluye la barra diagonal final (/) al final del URI.
   • Opción de eliminación de la fuente: Selecciona la opción de eliminación según tu preferencia:
     • Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
     • Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.
     • Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.
   Nota: Si seleccionas una opción de eliminación, la cuenta de servicio debe tener el rol de Administrador de objetos de Storage en lugar del rol de Visualizador de objetos de Storage. Actualiza los permisos de IAM según corresponda.
   • Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
   • Espacio de nombres del recurso: Es el espacio de nombres del recurso (por ejemplo, snyk.group).
   • Etiquetas de transmisión: Es la etiqueta que se aplicará a los eventos de este feed.

9. Haz clic en Siguiente.

10. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.