Recopila registros de aislamiento del navegador web de Proofpoint

Se admite en los siguientes sistemas operativos:

En este documento, se explica cómo transferir registros de aislamiento del navegador web de Proofpoint a Google Security Operations con Google Cloud Storage V2.

El aislamiento del navegador web de Proofpoint es un servicio de aislamiento del navegador remoto que protege a los usuarios de las amenazas basadas en la Web renderizando el contenido web en un entorno seguro en la nube, lo que evita que el código malicioso llegue al extremo. Proporciona registros de actividad de navegación a través de la API de SIEM de Proofpoint TAP. El analizador extrae campos de los datos de eventos de aislamiento y los asigna al modelo de datos unificado (UDM), lo que permite capturar clasificaciones de URLs, acciones del usuario, disposiciones de seguridad y metadatos de la sesión de navegación.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

  • Una instancia de Google SecOps
  • Un proyecto de GCP con la API de Cloud Storage habilitada
  • Permisos para crear y administrar buckets de GCS
  • Permisos para administrar políticas de IAM en buckets de GCS
  • Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
  • Acceso con privilegios a Proofpoint con credenciales de la API del SIEM de TAP (entidad de servicio y secreto de API)

Crea un bucket de Google Cloud Storage

  1. Ve a la consola de Google Cloud.
  2. Selecciona tu proyecto o crea uno nuevo.
  3. En el menú de navegación, ve a Cloud Storage > Buckets.
  4. Haz clic en Crear bucket.

  5. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Asigna un nombre a tu bucket Ingresa un nombre global único (por ejemplo, proofpoint-wbi-logs).
    Tipo de ubicación Elige según tus necesidades (regional, birregional o multirregional)
    Ubicación Selecciona la ubicación (por ejemplo, us-central1).
    Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia)
    Control de acceso Uniforme (recomendado)
    Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención

  6. Haz clic en Crear.

Recopila credenciales de la API del SIEM de Proofpoint TAP

Obtén credenciales de API

  1. Accede al panel de Proofpoint TAP.
  2. Navega a Configuración > Aplicaciones conectadas.
  3. Haz clic en Crear credencial nueva (o usa una credencial de API de SIEM existente).

  4. Copia y almacena de forma segura las siguientes credenciales:

    • Principal del servicio: Copia este valor.
    • Secreto de la API: Copia este valor.

Verifica los permisos

Para verificar que las credenciales de la API tengan los permisos necesarios, sigue estos pasos:

  1. Accede al panel de Proofpoint TAP.
  2. Navega a Configuración > Aplicaciones conectadas.
  3. Confirma que la credencial aparezca en la lista y tenga el estado Activa.
  4. Verifica que la credencial tenga habilitado el acceso a la API del SIEM.

Prueba el acceso a la API

  • Prueba tus credenciales antes de continuar con la integración:

    # Replace with your actual credentials
SERVICE_PRINCIPAL="<your-service-principal>"
API_SECRET="<your-api-secret>"

# Test TAP SIEM API access - fetch events from last hour
curl -v -u "${SERVICE_PRINCIPAL}:${API_SECRET}" \
  "https://tap-api-v2.proofpoint.com/v2/siem/all?format=json&sinceSeconds=3600"

Crea una cuenta de servicio para la función de Cloud Run

La función de Cloud Run necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y para que Pub/Sub la invoque.

Crear cuenta de servicio

  1. En Google Cloud Console, ve a IAM y administración > Cuentas de servicio.
  2. Haz clic en Crear cuenta de servicio.
  3. Proporciona los siguientes detalles de configuración:
    • Nombre de la cuenta de servicio: Ingresa proofpoint-wbi-collector-sa.
    • Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect Proofpoint Web Browser Isolation logs.
  4. Haz clic en Crear y continuar.
  5. En la sección Otorga acceso al proyecto a esta cuenta de servicio, agrega los siguientes roles:
    1. Haz clic en Selecciona un rol.
    2. Busca y selecciona Administrador de objetos de Storage.
    3. Haz clic en + Agregar otro rol.
    4. Busca y selecciona Invocador de Cloud Run.
    5. Haz clic en + Agregar otro rol.
    6. Busca y selecciona Invocador de Cloud Functions.
  6. Haz clic en Continuar.
  7. Haz clic en Listo.

Estos roles son necesarios para lo siguiente:

  • Administrador de objetos de Storage: Escribe registros en el bucket de GCS y administra archivos de estado
  • Invocador de Cloud Run: Permite que Pub/Sub invoque la función
  • Invocador de Cloud Functions: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en el nombre de tu bucket (por ejemplo, proofpoint-wbi-logs).
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar entidades: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, proofpoint-wbi-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Asignar roles: Selecciona Administrador de objetos de Storage.
  6. Haz clic en Guardar.

Crea un tema de Pub/Sub

Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.

  1. En Google Cloud Console, ve a Pub/Sub > Temas.
  2. Haz clic en Crear tema.
  3. Proporciona los siguientes detalles de configuración:
    • ID del tema: Ingresa proofpoint-wbi-trigger.
    • Deja el resto de la configuración con sus valores predeterminados.
  4. Haz clic en Crear.

Crea una función de Cloud Run para recopilar registros

La función de Cloud Run se activará con mensajes de Pub/Sub de Cloud Scheduler para recuperar eventos de aislamiento del navegador de la API de SIEM de Proofpoint TAP y escribirlos en GCS.

  1. En Google Cloud Console, ve a Cloud Run.
  2. Haz clic en Crear servicio.
  3. Selecciona Función (usa un editor intercalado para crear una función).

  4. En la sección Configurar, proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre del servicio proofpoint-wbi-collector
    Región Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).
    Tiempo de ejecución Selecciona Python 3.12 o una versión posterior.

  5. En la sección Activador (opcional), haz lo siguiente:

    1. Haz clic en + Agregar activador.
    2. Selecciona Cloud Pub/Sub.
    3. En Selecciona un tema de Cloud Pub/Sub, elige el tema de Pub/Sub (proofpoint-wbi-trigger).
    4. Haz clic en Guardar.

  6. En la sección Autenticación, haz lo siguiente:

    1. Selecciona Necesita autenticación.
    2. Verifica Identity and Access Management (IAM).

  7. Desplázate hacia abajo y expande Contenedores, redes y seguridad.

  8. Ve a la pestaña Seguridad:

    • Cuenta de servicio: Selecciona la cuenta de servicio (proofpoint-wbi-collector-sa).

  9. Ve a la pestaña Contenedores:

    1. Haz clic en Variables y secretos.
    2. Haz clic en + Agregar variable para cada variable de entorno:
    Nombre de la variable Valor de ejemplo Descripción
    GCS_BUCKET proofpoint-wbi-logs Nombre del bucket de GCS
    GCS_PREFIX wbi-logs Prefijo para los archivos de registro
    STATE_KEY wbi-logs/state.json Ruta de acceso al archivo de estado
    SERVICE_PRINCIPAL your-service-principal Principal del servicio de TAP de Proofpoint
    API_SECRET your-api-secret Secreto de la API de Proofpoint TAP
    LOOKBACK_SECONDS 3600 Período de visualización en segundos (predeterminado: 1 hora)

  10. En la sección Variables y Secrets, desplázate hacia abajo hasta Solicitudes:

    • Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).

  11. Ve a la pestaña Configuración:

    • En la sección Recursos, haz lo siguiente:
      • Memoria: Selecciona 512 MiB o más.
      • CPU: Selecciona 1.

  12. En la sección Escalamiento de revisión, haz lo siguiente:

    • Cantidad mínima de instancias: Ingresa 0.
    • Cantidad máxima de instancias: Ingresa 100 (o ajusta según la carga esperada).

  13. Haz clic en Crear.

  14. Espera a que se cree el servicio (de 1 a 2 minutos).

  15. Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agregar el código de función

  1. Ingresa main en el campo Punto de entrada.

  2. En el editor de código intercalado, crea dos archivos:

    • Primer archivo:main.py:

      import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time
import base64

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
  timeout=urllib3.Timeout(connect=5.0, read=60.0),
  retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'wbi-logs')
STATE_KEY = os.environ.get('STATE_KEY', 'wbi-logs/state.json')
SERVICE_PRINCIPAL = os.environ.get('SERVICE_PRINCIPAL')
API_SECRET = os.environ.get('API_SECRET')
LOOKBACK_SECONDS = int(os.environ.get('LOOKBACK_SECONDS', '3600'))

TAP_API_BASE = "https://tap-api-v2.proofpoint.com/v2/siem"

def parse_datetime(value: str) -> datetime:
  """Parse ISO datetime string to datetime object."""
  if value.endswith("Z"):
    value = value[:-1] + "+00:00"
  return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function triggered by Pub/Sub to fetch Proofpoint
  Web Browser Isolation events via TAP SIEM API and write to GCS.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """

  if not all([GCS_BUCKET, SERVICE_PRINCIPAL, API_SECRET]):
    print('Error: Missing required environment variables')
    return

  try:
    # Get GCS bucket
    bucket = storage_client.bucket(GCS_BUCKET)

    # Load state
    state = load_state(bucket, STATE_KEY)

    now = datetime.now(timezone.utc)

    # Determine since_seconds from state
    since_seconds = LOOKBACK_SECONDS
    if isinstance(state, dict) and state.get("last_event_time"):
      try:
        last_time = parse_datetime(state["last_event_time"])
        elapsed = (now - last_time).total_seconds()
        # Add 120 seconds overlap to catch delayed events
        since_seconds = int(elapsed) + 120
        # TAP API maximum is 1 hour (3600 seconds)
        since_seconds = min(since_seconds, 3600)
      except Exception as e:
        print(f"Warning: Could not parse last_event_time: {e}")

    print(f"Fetching events from last {since_seconds} seconds")

    # Build auth header (Basic auth)
    auth_string = f"{SERVICE_PRINCIPAL}:{API_SECRET}"
    auth_bytes = auth_string.encode('utf-8')
    auth_b64 = base64.b64encode(auth_bytes).decode('utf-8')

    # Fetch all SIEM events
    records = fetch_siem_events(
      auth_b64=auth_b64,
      since_seconds=since_seconds,
    )

    if not records:
      print("No new events found.")
      save_state(bucket, STATE_KEY, now.isoformat())
      return

    # Write to GCS as NDJSON
    timestamp = now.strftime('%Y%m%d_%H%M%S')
    object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
    blob = bucket.blob(object_key)

    ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
    blob.upload_from_string(ndjson, content_type='application/x-ndjson')

    print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")

    # Update state
    save_state(bucket, STATE_KEY, now.isoformat())

    print(f"Successfully processed {len(records)} records")

  except Exception as e:
    print(f'Error processing logs: {str(e)}')
    raise

def load_state(bucket, key):
  """Load state from GCS."""
  try:
    blob = bucket.blob(key)
    if blob.exists():
      state_data = blob.download_as_text()
      return json.loads(state_data)
  except Exception as e:
    print(f"Warning: Could not load state: {e}")

  return {}

def save_state(bucket, key, last_event_time_iso: str):
  """Save the last event timestamp to GCS state file."""
  try:
    state = {'last_event_time': last_event_time_iso}
    blob = bucket.blob(key)
    blob.upload_from_string(
      json.dumps(state, indent=2),
      content_type='application/json'
    )
    print(f"Saved state: last_event_time={last_event_time_iso}")
  except Exception as e:
    print(f"Warning: Could not save state: {e}")

def fetch_siem_events(auth_b64: str, since_seconds: int):
  """
  Fetch events from the Proofpoint TAP SIEM API.

  The TAP SIEM API returns all event types (clicks, messages, isolation)
  in a single response. The sinceSeconds parameter controls the lookback window
  (maximum 3600 seconds / 1 hour).

  Args:
    auth_b64: Base64-encoded Service Principal:API Secret for Basic auth
    since_seconds: Fetch events from the last N seconds (max 3600)

  Returns:
    List of event records
  """
  headers = {
    'Authorization': f'Basic {auth_b64}',
    'Accept': 'application/json',
    'User-Agent': 'GoogleSecOps-ProofpointWBICollector/1.0',
  }

  url = f"{TAP_API_BASE}/all?format=json&sinceSeconds={since_seconds}"
  backoff = 1.0
  max_retries = 3

  for attempt in range(max_retries):
    try:
      response = http.request('GET', url, headers=headers)

      # Handle rate limiting with exponential backoff
      if response.status == 429:
        retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
        print(f"Rate limited (429). Retrying after {retry_after}s...")
        time.sleep(retry_after)
        backoff = min(backoff * 2, 30.0)
        continue

      if response.status != 200:
        print(f"HTTP Error: {response.status}")
        response_text = response.data.decode('utf-8')
        print(f"Response body: {response_text}")
        return []

      data = json.loads(response.data.decode('utf-8'))

      # TAP SIEM API returns events grouped by type
      all_events = []

      # Collect all event types
      for key in ['clicksPermitted', 'clicksBlocked', 'messagesDelivered', 'messagesBlocked']:
        events = data.get(key, [])
        if events:
          for event in events:
            event['_tap_event_type'] = key
          all_events.extend(events)
          print(f"Retrieved {len(events)} {key} events")

      print(f"Total events retrieved: {len(all_events)}")
      return all_events

    except Exception as e:
      print(f"Error fetching SIEM events (attempt {attempt + 1}): {e}")
      if attempt < max_retries - 1:
        time.sleep(backoff)
        backoff = min(backoff * 2, 30.0)

  return []

    • Segundo archivo: requirements.txt:

      functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. Haz clic en Implementar para guardar y, luego, implementar la función.

  4. Espera a que se complete la implementación (de 2 a 3 minutos).

Crea un trabajo de Cloud Scheduler

Cloud Scheduler publicará mensajes en el tema de Pub/Sub a intervalos regulares, lo que activará la función de Cloud Run.

  1. En Google Cloud Console, ve a Cloud Scheduler.
  2. Haz clic en Crear trabajo.

  3. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre proofpoint-wbi-collector-hourly
    Región Selecciona la misma región que la función de Cloud Run
    Frecuencia 0 * * * * (cada hora en punto)
    Zona horaria Selecciona la zona horaria (se recomienda UTC)
    Tipo de objetivo Pub/Sub
    Tema Selecciona el tema de Pub/Sub (proofpoint-wbi-trigger).
    Cuerpo del mensaje {} (objeto JSON vacío)

  4. Haz clic en Crear.

Opciones de frecuencia de programación

Elige la frecuencia según los requisitos de volumen y latencia de los registros:

Frecuencia Expresión cron Caso de uso
Cada 5 minutos */5 * * * * Alto volumen y baja latencia
Cada 15 minutos */15 * * * * Volumen medio
Cada 1 hora 0 * * * * Estándar (recomendado)

Prueba la integración

  1. En la consola de Cloud Scheduler, busca tu trabajo.
  2. Haz clic en Forzar ejecución para activar el trabajo de forma manual.
  3. Espera unos segundos.
  4. Ve a Cloud Run > Servicios.
  5. Haz clic en el nombre de tu función (proofpoint-wbi-collector).
  6. Haz clic en la pestaña Registros.

  7. Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:

    Fetching events from last 3600 seconds
Retrieved X clicksPermitted events
Retrieved X messagesDelivered events
Total events retrieved: X
Wrote X records to gs://proofpoint-wbi-logs/wbi-logs/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed X records

  8. Ve a Cloud Storage > Buckets.

  9. Haz clic en el nombre de tu bucket (proofpoint-wbi-logs).

  10. Navega a la carpeta del prefijo (wbi-logs/).

  11. Verifica que se haya creado un nuevo archivo .ndjson con la marca de tiempo actual.

Si ves errores en los registros, haz lo siguiente:

  • HTTP 401: Verifica la entidad de servicio y el secreto de API en las variables de entorno
  • HTTP 403: Verifica que la credencial tenga acceso a la API del SIEM y que los eventos de aislamiento del navegador estén incluidos en tu suscripción.
  • HTTP 429: Limitación de frecuencia. La función volverá a intentarlo automáticamente con una espera exponencial.
  • Faltan variables de entorno: Verifica que estén configuradas todas las variables obligatorias.

Recupera la cuenta de servicio de Google SecOps

Google SecOps usa una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.

Obtén el correo electrónico de la cuenta de servicio

  1. Ve a Configuración de SIEM > Feeds.
  2. Haz clic en Add New Feed.
  3. Haz clic en Configura un feed único.
  4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Proofpoint Web Browser Isolation Logs).
  5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
  6. Selecciona Proofpoint Web Browser Isolation como el Tipo de registro.
  7. Haz clic en Obtener cuenta de servicio.

  8. Se mostrará un correo electrónico único de la cuenta de servicio, por ejemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  9. Copia esta dirección de correo electrónico para usarla en el siguiente paso.

  10. Haz clic en Siguiente.

  11. Especifica valores para los siguientes parámetros de entrada:

    • URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:

      gs://proofpoint-wbi-logs/wbi-logs/
      • Reemplaza:
        • proofpoint-wbi-logs: Es el nombre de tu bucket de GCS.
        • wbi-logs: Es el prefijo o la ruta de carpeta opcional en la que se almacenan los registros (déjalo vacío para la raíz).

    • Opción de eliminación del código fuente: Selecciona la opción de eliminación según tu preferencia:

      • Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
      • Borrar archivos transferidos: Borra los archivos después de que se transfirieron correctamente.

      • Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de que se transfirieron correctamente.

    • Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada (el valor predeterminado es 180 días).

    • Espacio de nombres del recurso: Es el espacio de nombres del recurso.

    • Etiquetas de transferencia: Es la etiqueta que se aplicará a los eventos de este feed.

  12. Haz clic en Siguiente.

  13. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de Storage en tu bucket de GCS.

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en el nombre de tu bucket (por ejemplo, proofpoint-wbi-logs).
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar entidades: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
    • Asignar roles: Selecciona Visualizador de objetos de Storage.

  6. Haz clic en Guardar.

Tabla de asignación de UDM

Campo de registro Asignación de UDM Lógica
metadata.event_type Tipo de evento
categories metadata.product_event_type Tipo de evento específico del producto
parentPageURL metadata.url_back_to_product URL que vincula al producto
región principal.location.country_or_region País o región de la ubicación del principal
zona principal.location.name Nombre de la ubicación de la escuela
userid principal.user.product_object_id Identificador específico del producto para el usuario
userName principal.user.userid Identificador de usuario
security_result security_result Detalles del resultado de seguridad
disposition security_result.action Acción de seguridad tomada
disposition security_result.action_details Detalles de la acción de seguridad
clasificación security_result.detection_fields Campos relacionados con la detección
url target.url URL del recurso de destino
metadata.product_name Nombre del producto
metadata.vendor_name Nombre del proveedor

Registro de cambios

Consulta el registro de cambios de este analizador

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.