Recopila registros de Menlo Security Isolation Platform (MSIP)
En esta guía, se explica cómo transferir registros de Menlo Security Isolation Platform (MSIP) a Google SecOps con Google Cloud Storage.
El enfoque centrado en el aislamiento de Menlo Security divide la navegación web y la recuperación de documentos entre el dispositivo del usuario y un contenedor virtual desechable (DVC) aislado, lejos del extremo. Todo el código riesgoso se ejecuta en el DVC aislado y nunca llega al extremo. Solo se envían datos de visualización seguros al navegador del usuario. La plataforma proporciona un registro integral del acceso web, los eventos de auditoría, la seguridad del correo electrónico, los incumplimientos de DLP y la actividad de SMTP.
Antes de comenzar
Asegúrate de cumplir con los siguientes requisitos previos:
- Una instancia de Google SecOps
- Acceso con privilegios al portal de administración de Menlo Security
- Permisos para crear tokens de API en Menlo Security
- Un proyecto de GCP con las APIs de Cloud Storage, Cloud Run, Pub/Sub y Cloud Scheduler habilitadas
Configura el acceso a la API de Menlo Security
Para permitir que la función de Cloud Run recupere registros, debes crear un token de API con el permiso de la API de Log Export.
Crea un token de API
- Accede al portal de administración de Menlo Security en
https://admin.menlosecurity.com. - Ve a Settings > Authentication > API Tokens.
- Haz clic en Crear token.
- En el campo Nombre del token, ingresa un nombre descriptivo (por ejemplo,
Chronicle GCS Integration). - En la sección Permisos, selecciona API de exportación de registros.
- Haz clic en Crear o Guardar.
- Copia y almacena de forma segura el token de API generado.
Importante: El token de la API se muestra solo una vez. Almacénala en una ubicación segura inmediatamente después de crearla.
Permisos de API necesarios
El token de la API requiere el siguiente permiso:
Permiso/Alcance Nivel de acceso Objetivo API de Log Export Leer Recupera registros de la API de Menlo Security
Crea un bucket de Google Cloud Storage
- Ve a la consola de Google Cloud.
- Selecciona tu proyecto o crea uno nuevo.
- En el menú de navegación, ve a Cloud Storage > Buckets.
- Haz clic en Crear bucket.
Proporciona los siguientes detalles de configuración:
Parámetro de configuración Valor Asigna un nombre a tu bucket Ingresa un nombre único a nivel global (por ejemplo, menlo-security-logs).Tipo de ubicación Elige una en función de tus necesidades (región, birregional o multirregional). Ubicación Selecciona la ubicación (por ejemplo, us-central1).Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia) Control de acceso Uniforme (recomendado) Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención Haz clic en Crear.
Crea una cuenta de servicio para la función de Cloud Run
Crear cuenta de servicio
- En Google Cloud Console, ve a IAM y administración > Cuentas de servicio.
- Haz clic en Crear cuenta de servicio.
- Proporciona los siguientes detalles de configuración:
- Nombre de la cuenta de servicio: Ingresa
menlo-logs-collector-sa - Descripción de la cuenta de servicio: Ingresa
Service account for Cloud Run function to collect Menlo Security logs
- Nombre de la cuenta de servicio: Ingresa
- Haz clic en Crear y continuar.
- En la sección Otorga acceso al proyecto a esta cuenta de servicio, agrega los siguientes roles:
- Haz clic en Selecciona un rol.
- Busca y selecciona Administrador de objetos de Storage.
- Haz clic en + Agregar otro rol.
- Busca y selecciona Invocador de Cloud Run.
- Haz clic en + Agregar otro rol.
- Busca y selecciona Invocador de Cloud Functions.
- Haz clic en Continuar.
- Haz clic en Listo.
Otorga permisos de IAM en el bucket de GCS
- Ve a Cloud Storage > Buckets.
- Haz clic en el nombre del bucket (
menlo-security-logs). - Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (
menlo-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Asignar roles: Selecciona Administrador de objetos de Storage
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (
- Haz clic en Guardar.
Crear tema de Pub/Sub
- En Google Cloud Console, ve a Pub/Sub > Temas.
- Haz clic en Crear tema.
- Proporciona los siguientes detalles de configuración:
- ID del tema: Ingresa
menlo-logs-trigger - Deja el resto de la configuración con sus valores predeterminados.
- ID del tema: Ingresa
- Haz clic en Crear.
Crea una función de Cloud Run para recopilar registros
- En Google Cloud Console, ve a Cloud Run.
- Haz clic en Crear servicio.
- Selecciona Función (usa un editor directo para crear una función).
En la sección Configurar, proporciona los siguientes detalles de configuración:
Parámetro de configuración Valor Nombre del servicio menlo-logs-collectorRegión Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).Tiempo de ejecución Selecciona Python 3.12 o una versión posterior. En la sección Activador (opcional), haz lo siguiente:
- Haz clic en + Agregar activador.
- Selecciona Cloud Pub/Sub.
- En Selecciona un tema de Cloud Pub/Sub, elige
menlo-logs-trigger. - Haz clic en Guardar.
En la sección Autenticación, haz lo siguiente:
- Selecciona Necesita autenticación.
- Verifica la Administración de identidades y accesos (IAM).
Desplázate hacia abajo y expande Contenedores, redes y seguridad.
Ve a la pestaña Seguridad:
- Cuenta de servicio: Selecciona
menlo-logs-collector-sa
- Cuenta de servicio: Selecciona
Ve a la pestaña Contenedores:
- Haz clic en Variables y secretos.
- Haz clic en + Agregar variable para cada variable de entorno:
Nombre de la variable Valor de ejemplo Descripción GCS_BUCKETmenlo-security-logsNombre del bucket de GCS GCS_PREFIXmenlo-logsPrefijo para los archivos de registro STATE_KEYmenlo-logs/state.jsonRuta de acceso al archivo de estado MENLO_API_TOKENyour-menlo-api-tokenToken de la API de Menlo Security MENLO_API_HOSTlogs.menlosecurity.comHost de la API de Menlo Security MENLO_LOG_TYPESweb,audit,email,dlpTipos de registros separados por comas LOOKBACK_HOURS1Período de visualización inicial En la sección Variables y Secrets, desplázate hacia abajo hasta Solicitudes:
- Tiempo de espera de la solicitud: Ingresa
600segundos (10 minutos).
- Tiempo de espera de la solicitud: Ingresa
Ve a la pestaña Configuración:
- En la sección Recursos, haz lo siguiente:
- Memoria: Selecciona 512 MiB o más.
- CPU: Selecciona 1.
- En la sección Recursos, haz lo siguiente:
En la sección Escalamiento de revisión, haz lo siguiente:
- Cantidad mínima de instancias: Ingresa
0. - Cantidad máxima de instancias: Ingresa
100.
- Cantidad mínima de instancias: Ingresa
Haz clic en Crear.
Espera a que se cree el servicio (de 1 a 2 minutos).
Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.
Agregar el código de función
- Ingresa main en el campo Punto de entrada.
En el editor de código intercalado, crea dos archivos:
- main.py:
import functions_framework from google.cloud import storage import os import json import urllib3 import time import uuid from datetime import datetime, timezone, timedelta http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=60.0), retries=False, ) storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'menlo-logs') STATE_KEY = os.environ.get('STATE_KEY', 'menlo-logs/state.json') API_TOKEN = os.environ.get('MENLO_API_TOKEN') API_HOST = os.environ.get('MENLO_API_HOST', 'logs.menlosecurity.com') LOG_TYPES = os.environ.get('MENLO_LOG_TYPES', 'web').split(',') LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '1')) @functions_framework.cloud_event def main(cloud_event): if not all([GCS_BUCKET, API_TOKEN, API_HOST]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) state = load_state(bucket) now = datetime.now(timezone.utc).replace(microsecond=0) if isinstance(state, dict) and state.get('last_event_time'): try: last_val = state['last_event_time'] if last_val.endswith('Z'): last_val = last_val[:-1] + '+00:00' last_time = datetime.fromisoformat(last_val) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") last_time = now - timedelta(hours=LOOKBACK_HOURS) else: last_time = now - timedelta(hours=LOOKBACK_HOURS) print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}") total = 0 newest_time = None for log_type in LOG_TYPES: log_type = log_type.strip() print(f"Fetching {log_type} logs...") events = fetch_logs(log_type, API_TOKEN, API_HOST, last_time, now) if events: object_key = f"{GCS_PREFIX}/{now:%Y/%m/%d}/menlo-{log_type}-{uuid.uuid4()}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join( [json.dumps(ev, ensure_ascii=False) for ev in events] ) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Uploaded {len(events)} {log_type} events to gs://{GCS_BUCKET}/{object_key}") total += len(events) for ev in events: ev_time = ev.get('timestamp') or ev.get('time') or ev.get('created_at') if ev_time and (newest_time is None or str(ev_time) > str(newest_time)): newest_time = str(ev_time) else: print(f"No {log_type} events found") save_state(bucket, newest_time if newest_time else now.isoformat()) print(f"Successfully processed {total} total events") except Exception as e: print(f'Error processing logs: {str(e)}') raise def fetch_logs(log_type, token, api_host, start, end): url = f"https://{api_host}/api/v1/logs/{log_type}" headers = { 'Authorization': f'Token {token}', 'Accept': 'application/json', } params = { 'start': start.strftime('%Y-%m-%dT%H:%M:%SZ'), 'end': end.strftime('%Y-%m-%dT%H:%M:%SZ'), } query = '&'.join(f'{k}={v}' for k, v in params.items()) full_url = f'{url}?{query}' all_events = [] backoff = 1.0 while full_url: response = http.request('GET', full_url, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited. Waiting {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 60.0) continue if response.status != 200: print(f"API error {response.status}: {response.data.decode('utf-8')}") break backoff = 1.0 data = json.loads(response.data.decode('utf-8')) events = data if isinstance(data, list) else data.get('events', data.get('data', [])) all_events.extend(events) full_url = data.get('next') if isinstance(data, dict) else None print(f"Total {log_type} events fetched: {len(all_events)}") return all_events def load_state(bucket): try: blob = bucket.blob(STATE_KEY) if blob.exists(): return json.loads(blob.download_as_text()) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, last_event_time_iso): try: state = { 'last_event_time': last_event_time_iso, 'last_run': datetime.now(timezone.utc).isoformat() } blob = bucket.blob(STATE_KEY) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}")- requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Haz clic en Implementar para guardar y, luego, implementar la función.
Espera a que se complete la implementación (de 2 a 3 minutos).
Crea un trabajo de Cloud Scheduler
- En Google Cloud Console, ve a Cloud Scheduler.
- Haz clic en Crear trabajo.
Proporciona los siguientes detalles de configuración:
Parámetro de configuración Valor Nombre menlo-logs-collector-hourlyRegión Selecciona la misma región que la función de Cloud Run Frecuencia 0 * * * *(cada hora, en punto)Zona horaria Selecciona la zona horaria (se recomienda UTC) Tipo de objetivo Pub/Sub Tema Seleccionar menlo-logs-triggerCuerpo del mensaje {}(objeto JSON vacío)Haz clic en Crear.
Prueba la integración
- En la consola de Cloud Scheduler, busca tu trabajo (
menlo-logs-collector-hourly). - Haz clic en Forzar ejecución para activar el trabajo de forma manual.
- Espera unos segundos.
- Ve a Cloud Run > Servicios.
- Haz clic en
menlo-logs-collector: - Haz clic en la pestaña Registros.
Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:
Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Fetching web logs... Total web events fetched: X Uploaded X web events to gs://menlo-security-logs/menlo-logs/YYYY/MM/DD/menlo-web-UUID.ndjson Successfully processed X total eventsVe a Cloud Storage > Buckets.
Haz clic en
menlo-security-logs:Navega a la carpeta
menlo-logs/:Verifica que se hayan creado archivos
.ndjsonnuevos con la fecha actual.
Si ves errores en los registros, haz lo siguiente:
- HTTP 401: Verifica que la variable de entorno
MENLO_API_TOKENsea correcta. - HTTP 403: Verifica que el token de API tenga el permiso API de exportación de registros
- HTTP 429: Límite de frecuencia: la función volverá a intentarlo automáticamente con una retirada
- Faltan variables de entorno: Verifica que todas las variables requeridas estén configuradas en la configuración de la función de Cloud Run.
Recupera la cuenta de servicio de Google SecOps
- Ve a Configuración > Administración de datos > Feeds. Si estás en una plataforma solo de SIEM, ve a Configuración > Feeds.
- Haz clic en Agregar feed nuevo.
- Haz clic en Configura un feed único.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo,
Menlo Security MSIP Logs). - Selecciona Google Cloud Storage V2 como el Tipo de fuente.
- Selecciona Menlo Security como el Tipo de registro.
Haz clic en Obtener cuenta de servicio. Se mostrará un correo electrónico único de la cuenta de servicio, por ejemplo:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopia esta dirección de correo electrónico para usarla en el siguiente paso.
Haz clic en Siguiente.
Especifica valores para los siguientes parámetros de entrada:
URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:
gs://menlo-security-logs/menlo-logs/
Opción de eliminación del código fuente: Selecciona la opción de eliminación según tu preferencia:
- Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
- Borrar archivos transferidos: Borra los archivos después de que se transfirieron correctamente.
Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de que se transfirieron correctamente.
Antigüedad máxima del archivo: Incluye los archivos modificados en la última cantidad de días (el valor predeterminado es 180 días).
Espacio de nombres del recurso: Es el espacio de nombres del recurso.
Etiquetas de transferencia: Es la etiqueta que se aplicará a los eventos de este feed.
Haz clic en Siguiente.
Revisa la configuración de tu feed de noticias nuevo en la pantalla Finalizar y, luego, haz clic en Enviar.
Otorga permisos de IAM a la cuenta de servicio de Google SecOps
- Ve a Cloud Storage > Buckets.
- Haz clic en
menlo-security-logs: - Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
- Asigna roles: Selecciona Visualizador de objetos de Storage.
- Haz clic en Guardar.
Tabla de asignación de UDM
| Campo de registro | Asignación de UDM | Lógica |
|---|---|---|
| customer_name | intermediary.hostname | Se establece si customer_name no es IP |
| customer_name | intermediary.ip | Se extrae de customer_name si es una IP o de las IPs de xff_ip |
| xff_ip | intermediary.ip | |
| event_data.event_time | metadata.event_timestamp | Analizado con grok y filtro de fecha |
| tipo de solicitud | metadata.event_type | Lógica condicional basada en estos campos |
| has_principal | metadata.event_type | |
| has_top_url | metadata.event_type | |
| has_dest | metadata.event_type | |
| log_type | metadata.log_type | El valor se copia directamente. |
| event_data.name | metadata.product_event_type | El valor se copia directamente. |
| reqId | metadata.product_log_id | El valor se copia directamente. |
| event_data.version | metadata.product_version | El valor se copia directamente. |
| event_data.protocol | network.application_protocol | Asignado con la lista de protocolos predefinidos |
| tipo de solicitud | network.http.method | El valor se copia directamente. |
| referencia | network.http.referral_url | El valor se copia directamente. |
| response_code | network.http.response_code | Se convirtió en un número entero |
| event_data.user-agent | network.http.user_agent | El valor se copia directamente. |
| full_session_id | network.session_id | El valor se copia directamente. |
| browser_and_version | principal.application | El valor se copia directamente. |
| event_data.x-client-ip | principal.asset.ip | Valor de event_data.x-client-ip si no está vacío; de lo contrario, src_ip |
| src_ip | principal.asset.ip | |
| grupos | principal.group.product_object_id | El valor se copia directamente. |
| event_data.x-client-ip | principal.ip | Valor de event_data.x-client-ip si no está vacío; de lo contrario, src_ip |
| src_ip | principal.ip | |
| región | principal.location.country_or_region | Valor de la región si no está vacío; de lo contrario, egress_country |
| egress_country | principal.location.country_or_region | |
| region_name | principal.location.name | El valor se copia directamente. |
| egress_ip | principal.nat_ip | El valor se copia directamente. |
| event_data.userid | principal.user.email_addresses | Se combina si coincide con la regex de correo electrónico |
| event_data.userid | principal.user.userid | El valor se copia directamente. |
| event_data.domain | security_result.about.administrative_domain | El valor se copia directamente. |
| event_data.url | security_result.about.url | El valor se copia directamente. |
| event_data.pe_action | security_result.action | Se asigna a ALLOW, BLOCK o ALLOW_WITH_MODIFICATION |
| event_data.categories | security_result.category_details | Se combinó de event_data.categories (extraído o directo) y casb_cat_name |
| casb_cat_name | security_result.category_details | |
| event_data.risk_score | security_result.confidence_details | El valor se copia directamente. |
| content-type | security_result.detection_fields | Se combinó a partir de varios campos de etiquetas |
| producto | security_result.detection_fields | |
| amenazas | security_result.detection_fields | |
| virusDetails | security_result.detection_fields | |
| sandboxResult | security_result.detection_fields | |
| fullScanResult | security_result.detection_fields | |
| tab_id | security_result.detection_fields | |
| pe_reason | security_result.detection_fields | |
| ua_type | security_result.detection_fields | |
| email_isolation_state | security_result.detection_fields | |
| document_url | security_result.detection_fields | |
| archive_path | security_result.detection_fields | |
| casb_app_name | security_result.detection_fields | |
| casb_fun_name | security_result.detection_fields | |
| casb_org_name | security_result.detection_fields | |
| casb_profile_id | security_result.detection_fields | |
| casb_profile_name | security_result.detection_fields | |
| casb_profile_type | security_result.detection_fields | |
| casb_risk_score | security_result.detection_fields | |
| connId | security_result.detection_fields | |
| origin_country | security_result.detection_fields | |
| egress_country | security_result.detection_fields | |
| is_casb_ddl | security_result.detection_fields | |
| is_iframe | security_result.detection_fields | |
| parent_file_id | security_result.detection_fields | |
| parent_filename | security_result.detection_fields | |
| parent_sha256 | security_result.detection_fields | |
| parent_tid | security_result.detection_fields | |
| root_file_id | security_result.detection_fields | |
| root_filename | security_result.detection_fields | |
| root_sha256 | security_result.detection_fields | |
| casb_risk_score | security_result.risk_score | Se convirtió en flotante |
| casb_profile_id | security_result.rule_id | El valor se copia directamente. |
| pe_rulename | security_result.rule_name | El valor se copia directamente. |
| casb_profile_name | security_result.rule_set | El valor se copia directamente. |
| casb_profile_type | security_result.rule_type | El valor se copia directamente. |
| event_data.severity | security_result.severity_details | El valor se copia directamente. |
| magicName | security_result.summary | Se concatena como "%{magicName} is %{threats}." |
| amenazas | security_result.summary | |
| threat_types | security_result.threat_name | El valor se copia directamente. |
| origin_ip | src.ip | El valor se copia directamente. |
| origin_country | src.location.country_or_region | El valor se copia directamente. |
| event_data.dst | target.asset.ip | Se extrae de event_data.dst o dst con el patrón de IP de grok |
| DST | target.asset.ip | |
| filename | target.file.full_path | El valor se copia directamente. |
| mimeType | target.file.mime_type | El valor se copia directamente. |
| sha256 | target.file.sha256 | El valor se copia directamente. |
| file_size | target.file.size | Se convierte en número de punto flotante y, luego, en número entero sin signo |
| event_data.dst | target.ip | Se extrae de event_data.dst o dst con el patrón de IP de grok |
| DST | target.ip | |
| top_url | target.url | Se extrajo con el patrón de grok de URI |
| metadata.product_name | metadata.product_name | Establece el valor en "MENLO SECURITY". |
| metadata.vendor_name | metadata.vendor_name | Establece el valor en "MENLO SECURITY". |
region |
event.idm.read_only_udm.principal.location.country_or_region |
Asignado desde el registro de cambios |
region_name |
event.idm.read_only_udm.principal.location.name |
Asignado desde el registro de cambios |
src_ip |
event.idm.read_only_udm.principal.ip y event.idm.read_only_udm.principal.asset.ip |
Asignado desde el registro de cambios |
groups |
event.idm.read_only_udm.principal.group.product_object_id |
Asignado desde el registro de cambios |
content-type |
event.idm.read_only_udm.security_result.detection_fields |
Asignado desde el registro de cambios |
product |
event.idm.read_only_udm.security_result.detection_fields |
Asignado desde el registro de cambios |
mimeType |
event.idm.read_only_udm.target.file.mime_type |
Asignado desde el registro de cambios |
Registro de cambios
Consulta el registro de cambios de este analizador
¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.