Recopila registros de la plataforma de ZeroFox
En este documento, se explica cómo transferir registros de la plataforma de ZeroFox a las Operaciones de seguridad de Google con Google Cloud Storage. La plataforma de ZeroFox proporciona protección contra riesgos digitales a través de la supervisión y el análisis de amenazas en redes sociales, aplicaciones para dispositivos móviles, la nube, el correo electrónico y otros canales digitales.
Antes de comenzar
Asegúrate de cumplir con los siguientes requisitos previos:
- Una instancia de Google SecOps
- Un proyecto de GCP con la API de Cloud Storage habilitada
- Permisos para crear y administrar buckets de GCS
- Permisos para administrar políticas de IAM en buckets de GCS
- Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
- Acceso privilegiado al arrendatario de la plataforma de ZeroFox
Crea un bucket de Google Cloud Storage
- Ve a Google Cloud Console.
- Selecciona tu proyecto o crea uno nuevo.
- En el menú de navegación, ve a Cloud Storage > Buckets.
- Haz clic en Crear bucket.
Proporciona los siguientes detalles de configuración:
Configuración Valor Asigna un nombre a tu bucket Ingresa un nombre global único (por ejemplo, zerofox-platform-logs).Tipo de ubicación Elige según tus necesidades (región, birregional, multirregional) Ubicación Selecciona la ubicación (por ejemplo, us-central1).Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia) Control de acceso Uniforme (recomendado) Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención Haz clic en Crear.
Recopila credenciales de la plataforma de ZeroFox
Obtén un token de acceso personal de ZeroFox
- Accede a la plataforma de ZeroFox en https://cloud.zerofox.com.
- Ve a Configuración > Conexiones de datos > Feeds de datos de la API.
- URL directa (después de acceder): https://cloud.zerofox.com/data_connectors/api
- Nota: Si no ves este elemento de menú, comunícate con tu administrador de ZeroFox para obtener acceso. Es posible que el menú también se etiquete como Conectores de datos > Feeds de datos de la API, según la versión de la IU de tu arrendatario.
- Haz clic en Generar token o Crear token de acceso personal.
- Proporciona los siguientes detalles de configuración:
- Nombre: Ingresa un nombre descriptivo (por ejemplo,
Google SecOps GCS Ingestion). - Vencimiento: Selecciona un período de rotación según la política de seguridad de tu organización.
- Permisos/Feeds: Selecciona permisos de lectura para lo siguiente:
- Alertas
- Feeds de CTI
- Otros tipos de datos que deseas exportar
- Nombre: Ingresa un nombre descriptivo (por ejemplo,
- Haz clic en Generar.
- Copia y guarda el token de acceso personal generado en una ubicación segura (no podrás volver a verlo).
Guarda ZEROFOX_BASE_URL:
https://api.zerofox.com(predeterminado para la mayoría de los arrendatarios).
Verifica los permisos
Para verificar que la cuenta tenga los permisos necesarios, sigue estos pasos:
- Accede a la plataforma de ZeroFox.
- Ve a Configuración (⚙️) > Conexiones de datos > Feeds de datos de la API.
- Si puedes ver la sección Feeds de datos de la API y generar tokens, tienes los permisos necesarios.
- Si no ves esta opción, comunícate con tu administrador para que te otorgue permisos de acceso a la API.
Prueba el acceso a la API
Prueba tus credenciales antes de continuar con la integración:
# Replace with your actual credentials ZEROFOX_API_TOKEN="your-personal-access-token" ZEROFOX_BASE_URL="https://api.zerofox.com" # Test API access (example endpoint - adjust based on your data type) curl -v -H "Authorization: Bearer $ZEROFOX_API_TOKEN" \ -H "Accept: application/json" \ "$ZEROFOX_BASE_URL/v1/alerts?limit=1"
Crea una cuenta de servicio para la Cloud Run Function
La Cloud Run Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y ser invocada por Pub/Sub.
Crear cuenta de servicio
- En GCP Console, ve a IAM y administración > Cuentas de servicio.
- Haz clic en Crear cuenta de servicio.
- Proporciona los siguientes detalles de configuración:
- Nombre de la cuenta de servicio: Ingresa
zerofox-logs-collector-sa. - Descripción de la cuenta de servicio: Ingresa
Service account for Cloud Run function to collect ZeroFox Platform logs.
- Nombre de la cuenta de servicio: Ingresa
- Haz clic en Crear y continuar.
- En la sección Otorga a esta cuenta de servicio acceso al proyecto, agrega los siguientes roles:
- Haz clic en Selecciona un rol.
- Busca y selecciona Administrador de objetos de almacenamiento.
- Haz clic en + Agregar otra función.
- Busca y selecciona Invocador de Cloud Run.
- Haz clic en + Agregar otra función.
- Busca y selecciona Cloud Functions Invoker.
- Haz clic en Continuar.
- Haz clic en Listo.
Estos roles son necesarios para las siguientes acciones:
- Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
- Invocador de Cloud Run: Permite que Pub/Sub invoque la función
- Cloud Functions Invoker: Permite la invocación de funciones
Otorga permisos de IAM en el bucket de GCS
Otorga permisos de escritura a la cuenta de servicio (zerofox-logs-collector-sa) en el bucket de GCS:
- Ve a Cloud Storage > Buckets.
- Haz clic en el nombre de tu bucket (por ejemplo,
zerofox-platform-logs). - Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo,
zerofox-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Asignar roles: Selecciona Administrador de objetos de Storage.
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo,
- Haz clic en Guardar.
Crear tema de Pub/Sub
Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.
- En GCP Console, ve a Pub/Sub > Temas.
- Haz clic en Crear un tema.
- Proporciona los siguientes detalles de configuración:
- ID del tema: Ingresa
zerofox-logs-trigger. - Deja el resto de la configuración con sus valores predeterminados.
- ID del tema: Ingresa
- Haz clic en Crear.
Crea una función de Cloud Run para recopilar registros
La función de Cloud Run se activa con los mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de la plataforma de ZeroFox y escribirlos en GCS.
- En GCP Console, ve a Cloud Run.
- Haz clic en Crear servicio.
- Selecciona Función (usa un editor intercalado para crear una función).
En la sección Configurar, proporciona los siguientes detalles de configuración:
Configuración Valor Nombre del servicio zerofox-logs-collectorRegión Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).Tiempo de ejecución Selecciona Python 3.12 o una versión posterior. En la sección Activador (opcional), haz lo siguiente:
- Haz clic en + Agregar activador.
- Selecciona Cloud Pub/Sub.
- En Selecciona un tema de Cloud Pub/Sub, elige el tema de Pub/Sub (
zerofox-logs-trigger). - Haz clic en Guardar.
En la sección Autenticación, haz lo siguiente:
- Selecciona Solicitar autenticación.
- Verifica Identity and Access Management (IAM).
Desplázate hacia abajo y expande Contenedores, redes y seguridad.
Ve a la pestaña Seguridad:
- Cuenta de servicio: Selecciona la cuenta de servicio (
zerofox-logs-collector-sa).
- Cuenta de servicio: Selecciona la cuenta de servicio (
Ve a la pestaña Contenedores:
- Haz clic en Variables y secretos.
- Haz clic en + Agregar variable para cada variable de entorno:
Nombre de la variable Valor de ejemplo Descripción GCS_BUCKETzerofox-platform-logsNombre del bucket de GCS GCS_PREFIXzerofox/platformPrefijo para los archivos de registro STATE_KEYzerofox/platform/state.jsonRuta de acceso al archivo de estado ZEROFOX_BASE_URLhttps://api.zerofox.comURL base de la API ZEROFOX_API_TOKENyour-zerofox-personal-access-tokenToken de acceso personal LOOKBACK_HOURS24Período de visualización inicial PAGE_SIZE200Registros por página MAX_PAGES20Cantidad máxima de páginas por ejecución HTTP_TIMEOUT60Tiempo de espera de la solicitud HTTP en segundos HTTP_RETRIES3Cantidad de reintentos de HTTP URL_TEMPLATE(opcional) Plantilla de URL personalizada con {SINCE},{PAGE_TOKEN}y{PAGE_SIZE}En la sección Variables y Secrets, desplázate hacia abajo hasta Solicitudes:
- Tiempo de espera de la solicitud: Ingresa
600segundos (10 minutos).
- Tiempo de espera de la solicitud: Ingresa
Ve a la pestaña Configuración:
- En la sección Recursos, haz lo siguiente:
- Memoria: Selecciona 512 MiB o más.
- CPU: Selecciona 1.
- En la sección Recursos, haz lo siguiente:
En la sección Ajuste de escala de revisión, haz lo siguiente:
- Cantidad mínima de instancias: Ingresa
0. - Cantidad máxima de instancias: Ingresa
100(o ajusta según la carga esperada).
- Cantidad mínima de instancias: Ingresa
Haz clic en Crear.
Espera a que se cree el servicio (de 1 a 2 minutos).
Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.
Agregar el código de función
- Ingresa main en Punto de entrada de la función.
En el editor de código intercalado, crea dos archivos:
- Primer archivo: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time import urllib.parse # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'zerofox/platform') STATE_KEY = os.environ.get('STATE_KEY', 'zerofox/platform/state.json') ZEROFOX_BASE_URL = os.environ.get('ZEROFOX_BASE_URL', 'https://api.zerofox.com') ZEROFOX_API_TOKEN = os.environ.get('ZEROFOX_API_TOKEN') LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '200')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '20')) HTTP_TIMEOUT = int(os.environ.get('HTTP_TIMEOUT', '60')) HTTP_RETRIES = int(os.environ.get('HTTP_RETRIES', '3')) URL_TEMPLATE = os.environ.get('URL_TEMPLATE', '') def parse_datetime(value: str) -> datetime: """Parse ISO datetime string to datetime object.""" if value.endswith("Z"): value = value[:-1] + "+00:00" return datetime.fromisoformat(value) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch ZeroFox Platform logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, ZEROFOX_BASE_URL, ZEROFOX_API_TOKEN]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) # Determine time window now = datetime.now(timezone.utc) last_time = None if isinstance(state, dict) and state.get("last_since"): try: last_time = parse_datetime(state["last_since"]) # Overlap by 2 minutes to catch any delayed events last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_since: {e}") if last_time is None: last_time = now - timedelta(hours=LOOKBACK_HOURS) since_iso = last_time.strftime('%Y-%m-%dT%H:%M:%SZ') print(f"Fetching logs since {since_iso}") # Fetch logs records, newest_since = fetch_logs( api_base=ZEROFOX_BASE_URL, api_token=ZEROFOX_API_TOKEN, since=since_iso, page_size=PAGE_SIZE, max_pages=MAX_PAGES, ) if not records: print("No new log records found.") save_state(bucket, STATE_KEY, since_iso) return # Write to GCS as NDJSON timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}") # Update state with newest timestamp if newest_since: save_state(bucket, STATE_KEY, newest_since) else: save_state(bucket, STATE_KEY, since_iso) print(f"Successfully processed {len(records)} records") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, last_since: str): """Save the last since timestamp to GCS state file.""" try: state = {'last_since': last_since} blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_since={last_since}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_logs(api_base: str, api_token: str, since: str, page_size: int, max_pages: int): """ Fetch logs from ZeroFox Platform API with pagination and rate limiting. Args: api_base: API base URL api_token: Personal access token since: ISO timestamp for filtering logs page_size: Number of records per page max_pages: Maximum pages to fetch Returns: Tuple of (records list, newest_since ISO string) """ # Use URL_TEMPLATE if provided, otherwise construct default alerts endpoint if URL_TEMPLATE: base_url = URL_TEMPLATE.replace("{SINCE}", urllib.parse.quote(since)) else: base_url = f"{api_base}/v1/alerts?since={urllib.parse.quote(since)}" headers = { 'Authorization': f'Bearer {api_token}', 'Accept': 'application/json', 'Content-Type': 'application/json', 'User-Agent': 'GoogleSecOps-ZeroFoxCollector/1.0' } records = [] newest_since = since page_num = 0 page_token = "" backoff = 1.0 while page_num < max_pages: page_num += 1 # Construct URL with pagination if URL_TEMPLATE: url = (base_url .replace("{PAGE_TOKEN}", urllib.parse.quote(page_token)) .replace("{PAGE_SIZE}", str(page_size))) else: url = f"{base_url}&limit={page_size}" if page_token: url += f"&page_token={urllib.parse.quote(page_token)}" attempt = 0 while attempt <= HTTP_RETRIES: try: response = http.request('GET', url, headers=headers, timeout=HTTP_TIMEOUT) # Handle rate limiting with exponential backoff if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) attempt += 1 continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return records, newest_since data = json.loads(response.data.decode('utf-8')) # Extract results (try multiple possible keys) page_results = [] for key in ('results', 'data', 'alerts', 'items', 'logs', 'events'): if isinstance(data.get(key), list): page_results = data[key] break if not page_results: print(f"No more results (empty page)") return records, newest_since print(f"Page {page_num}: Retrieved {len(page_results)} events") records.extend(page_results) # Track newest timestamp for event in page_results: try: # Try multiple possible timestamp fields event_time = (event.get('timestamp') or event.get('created_at') or event.get('last_modified') or event.get('event_time') or event.get('log_time') or event.get('updated_at')) if event_time and isinstance(event_time, str): if event_time > newest_since: newest_since = event_time except Exception as e: print(f"Warning: Could not parse event time: {e}") # Check for next page token next_token = (data.get('next') or data.get('next_token') or data.get('nextPageToken') or data.get('next_page_token')) if isinstance(next_token, dict): next_token = (next_token.get('token') or next_token.get('cursor') or next_token.get('value')) if not next_token: print("No more pages (no next token)") return records, newest_since page_token = str(next_token) break except urllib3.exceptions.HTTPError as e: if attempt < HTTP_RETRIES: print(f"HTTP error (attempt {attempt + 1}/{HTTP_RETRIES}): {e}") time.sleep(1 + attempt) attempt += 1 continue else: print(f"Error fetching logs after {HTTP_RETRIES} retries: {e}") return records, newest_since except Exception as e: print(f"Error fetching logs: {e}") return records, newest_since print(f"Retrieved {len(records)} total records from {page_num} pages") return records, newest_since- Segundo archivo: requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Haz clic en Implementar para guardar y, luego, implementar la función.
Espera a que se complete la implementación (de 2 a 3 minutos).
Crea un trabajo de Cloud Scheduler
Cloud Scheduler publica mensajes en el tema de Pub/Sub (zerofox-logs-trigger) a intervalos regulares, lo que activa la función de Cloud Run.
- En GCP Console, ve a Cloud Scheduler.
- Haz clic en Crear trabajo.
Proporciona los siguientes detalles de configuración:
Configuración Valor Nombre zerofox-logs-collector-hourlyRegión Selecciona la misma región que la función de Cloud Run Frecuencia 0 * * * *(cada hora, en punto)Zona horaria Selecciona la zona horaria (se recomienda UTC) Tipo de orientación Pub/Sub Tema Selecciona el tema de Pub/Sub ( zerofox-logs-trigger).Cuerpo del mensaje {}(objeto JSON vacío)Haz clic en Crear.
Opciones de frecuencia de programación
Elige la frecuencia según los requisitos de latencia y volumen de registros:
Frecuencia Expresión cron Caso de uso Cada 5 minutos */5 * * * *Alto volumen y baja latencia Cada 15 minutos */15 * * * *Volumen medio Cada 1 hora 0 * * * *Estándar (opción recomendada) Cada 6 horas 0 */6 * * *Procesamiento por lotes y volumen bajo Diario 0 0 * * *Recopilación de datos históricos
Prueba la integración
- En la consola de Cloud Scheduler, busca tu trabajo (
zerofox-logs-collector-hourly). - Haz clic en Forzar ejecución para activar el trabajo de forma manual.
- Espera unos segundos.
- Ve a Cloud Run > Servicios.
- Haz clic en el nombre de tu función (
zerofox-logs-collector). - Haz clic en la pestaña Registros.
Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:
Fetching logs since YYYY-MM-DDTHH:MM:SSZ Page 1: Retrieved X events Wrote X records to gs://zerofox-platform-logs/zerofox/platform/logs_YYYYMMDD_HHMMSS.ndjson Successfully processed X recordsVe a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket (
zerofox-platform-logs).Navega a la carpeta del prefijo (
zerofox/platform/).Verifica que se haya creado un archivo
.ndjsonnuevo con la marca de tiempo actual.
Si ves errores en los registros, haz lo siguiente:
- HTTP 401: Verifica las credenciales de la API en las variables de entorno. Verifica que el
ZEROFOX_API_TOKENsea correcto y no haya vencido. - HTTP 403: Verifica que la cuenta de ZeroFox tenga los permisos necesarios para los feeds de alertas y de CTI. Ve a Configuración > Conexiones de datos > Feeds de datos de la API y verifica los permisos del token.
- HTTP 404: Es posible que el extremo
/v1/alertspredeterminado no sea correcto para tu arrendatario. Establece la variable de entornoURL_TEMPLATEpara que coincida con la documentación de la API de ZeroFox o comunícate con el equipo de asistencia de ZeroFox. - HTTP 429: Límite de frecuencia. La función volverá a intentarlo automáticamente con una espera exponencial.
- Faltan variables de entorno: Verifica que todas las variables requeridas estén configuradas en la configuración de la función de Cloud Run.
Recupera la cuenta de servicio de Google SecOps
Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.
Obtén el correo electrónico de la cuenta de servicio
- Ve a Configuración de SIEM > Feeds.
- Haz clic en Agregar feed nuevo.
- Haz clic en Configura un feed único.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo,
ZeroFox Platform Logs). - Selecciona Google Cloud Storage V2 como el Tipo de fuente.
- Selecciona ZeroFox Platform como el Tipo de registro.
Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio, por ejemplo:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopia esta dirección de correo electrónico para usarla en el siguiente paso.
Otorga permisos de IAM a la cuenta de servicio de Google SecOps
La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.
- Ve a Cloud Storage > Buckets.
- Haz clic en el nombre de tu bucket (
zerofox-platform-logs). - Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
- Asignar roles: Selecciona Visualizador de objetos de Storage.
Haz clic en Guardar.
Configura un feed en Google SecOps para transferir registros de la plataforma de ZeroFox
- Ve a Configuración de SIEM > Feeds.
- Haz clic en Agregar feed nuevo.
- Haz clic en Configura un feed único.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo,
ZeroFox Platform Logs). - Selecciona Google Cloud Storage V2 como el Tipo de fuente.
- Selecciona ZeroFox Platform como el Tipo de registro.
- Haz clic en Siguiente.
Especifica valores para los siguientes parámetros de entrada:
URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:
gs://zerofox-platform-logs/zerofox/platform/Reemplaza lo siguiente:
zerofox-platform-logs: Es el nombre de tu bucket de GCS.zerofox/platform: Es el prefijo o la ruta de acceso a la carpeta en la que se almacenan los registros.
Opción de borrado de la fuente: Selecciona la opción de borrado según tu preferencia:
- Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
- Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.
Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.
Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
Espacio de nombres del recurso: Es el espacio de nombres del recurso.
Etiquetas de transmisión: Es la etiqueta que se aplicará a los eventos de este feed.
Haz clic en Siguiente.
Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.
¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.