Recopilar registros de Symantec WSS

Disponible en:

En este documento se explica cómo ingerir registros de Symantec Web Security Service (WSS) en Google Security Operations mediante Amazon S3. El analizador primero intenta analizar el mensaje de registro como JSON. Si no funciona, utiliza una serie de patrones grok cada vez más específicos para extraer campos del texto sin formato y, por último, asigna los datos extraídos al modelo de datos unificado (UDM).

Antes de empezar

Asegúrate de que cumples los siguientes requisitos previos:

  • Una instancia de Google SecOps.
  • Acceso con privilegios a Symantec Web Security Service.
  • Acceso privilegiado a AWS (S3, Gestión de Identidades y Accesos [IAM], Lambda y EventBridge).

Recoger los requisitos previos de Symantec WSS (IDs, claves de API, IDs de organización y tokens)

  1. Inicia sesión en el portal de Symantec Web Security Service como administrador.
  2. Ve a Cuenta > Credenciales de API.
  3. Haz clic en Añadir.
  4. Proporcione los siguientes detalles de configuración:
    • Nombre de la API: introduce un nombre descriptivo (por ejemplo, Google SecOps Integration).
    • Descripción: introduce una descripción de las credenciales de la API.
  5. Haz clic en Guardar y copia las credenciales de la API generadas de forma segura.
  6. Anota la URL del portal de WSS y el endpoint de la API de sincronización.
  7. Copia y guarda en un lugar seguro los siguientes detalles:
    • WSS_API_USERNAME.
    • WSS_API_PASSWORD.
    • WSS_SYNC_URL.

Configurar un segmento de AWS S3 y IAM para Google SecOps

  1. Crea un segmento de Amazon S3 siguiendo esta guía de usuario: Crear un segmento.
  2. Guarda el nombre y la región del segmento para consultarlos más adelante (por ejemplo, symantec-wss-logs).
  3. Crea un usuario siguiendo esta guía: Crear un usuario de gestión de identidades y accesos.
  4. Selecciona el Usuario creado.
  5. Selecciona la pestaña Credenciales de seguridad.
  6. En la sección Claves de acceso, haz clic en Crear clave de acceso.
  7. Selecciona Servicio de terceros en Caso práctico.
  8. Haz clic en Siguiente.
  9. Opcional: añade una etiqueta de descripción.
  10. Haz clic en Crear clave de acceso.
  11. Haz clic en Descargar archivo CSV para guardar la clave de acceso y la clave de acceso secreta para futuras consultas.
  12. Haz clic en Listo.
  13. Selecciona la pestaña Permisos.
  14. En la sección Políticas de permisos, haz clic en Añadir permisos.
  15. Selecciona Añadir permisos.
  16. Seleccione Adjuntar políticas directamente.
  17. Busca la política AmazonS3FullAccess.
  18. Selecciona la política.
  19. Haz clic en Siguiente.
  20. Haz clic en Añadir permisos.

Configurar la política y el rol de gestión de identidades y accesos para las subidas de S3

  1. En la consola de AWS, ve a IAM > Políticas.
  2. Haz clic en Crear política > pestaña JSON.
  3. Copia y pega la siguiente política.

  4. JSON de la política (sustituye symantec-wss-logs si has introducido otro nombre de contenedor):

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPutObjects",
      "Effect": "Allow",
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::symantec-wss-logs/*"
    },
    {
      "Sid": "AllowGetStateObject",
      "Effect": "Allow",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::symantec-wss-logs/symantec/wss/state.json"
    }
  ]
}

  5. Haz clic en Siguiente > Crear política.

  6. Ve a IAM > Roles > Crear rol > Servicio de AWS > Lambda.

  7. Adjunte la política que acaba de crear.

  8. Dale el nombre SymantecWssToS3Role al rol y haz clic en Crear rol.

Crear la función Lambda

  1. En la consola de AWS, ve a Lambda > Funciones > Crear función.
  2. Haz clic en Crear desde cero.

  3. Proporciona los siguientes detalles de configuración:

    Ajuste Valor
    Nombre symantec_wss_to_s3
    Tiempo de ejecución Python 3.13
    Arquitectura x86_64
    Rol de ejecución SymantecWssToS3Role

  4. Una vez creada la función, abra la pestaña Código, elimine el stub y pegue el siguiente código (symantec_wss_to_s3.py).

    #!/usr/bin/env python3
# Lambda: Pull Symantec WSS logs and store raw payloads to S3
# - Time window via millisecond timestamps for WSS Sync API.
# - Preserves vendor-native format (CSV/JSON/ZIP).
# - Retries with exponential backoff; unique S3 keys to avoid overwrites.

import os, json, time, uuid
from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError

import boto3

S3_BUCKET   = os.environ["S3_BUCKET"]
S3_PREFIX   = os.environ.get("S3_PREFIX", "symantec/wss/")
STATE_KEY   = os.environ.get("STATE_KEY", "symantec/wss/state.json")
WINDOW_SEC  = int(os.environ.get("WINDOW_SECONDS", "3600"))  # default 1h
HTTP_TIMEOUT= int(os.environ.get("HTTP_TIMEOUT", "60"))
WSS_SYNC_URL = os.environ.get("WSS_SYNC_URL", "https://portal.threatpulse.com/reportpod/logs/sync")
API_USERNAME = os.environ["WSS_API_USERNAME"]
API_PASSWORD = os.environ["WSS_API_PASSWORD"]
TOKEN_PARAM  = os.environ.get("WSS_TOKEN_PARAM", "none")
MAX_RETRIES = int(os.environ.get("MAX_RETRIES", "3"))
USER_AGENT  = os.environ.get("USER_AGENT", "symantec-wss-to-s3/1.0")

s3 = boto3.client("s3")

def _load_state():
    try:
        obj = s3.get_object(Bucket=S3_BUCKET, Key=STATE_KEY)
        return json.loads(obj["Body"].read())
    except Exception:
        return {}

def _save_state(st):
    s3.put_object(
        Bucket=S3_BUCKET,
        Key=STATE_KEY,
        Body=json.dumps(st, separators=(",", ":")).encode("utf-8"),
        ContentType="application/json",
    )

def _ms_timestamp(ts: float) -> int:
    """Convert Unix timestamp to milliseconds for WSS API"""
    return int(ts * 1000)

def _fetch_wss_logs(start_ms: int, end_ms: int) -> tuple[bytes, str, str]:
    # WSS Sync API parameters
    params = f"startDate={start_ms}&endDate={end_ms}&token={TOKEN_PARAM}"
    url = f"{WSS_SYNC_URL}?{params}"

    attempt = 0
    while True:
        req = Request(url, method="GET")
        req.add_header("User-Agent", USER_AGENT)
        req.add_header("X-APIUsername", API_USERNAME)
        req.add_header("X-APIPassword", API_PASSWORD)

        try:
            with urlopen(req, timeout=HTTP_TIMEOUT) as r:
                blob = r.read()
                content_type = r.headers.get("Content-Type", "application/octet-stream")
                content_encoding = r.headers.get("Content-Encoding", "")
                return blob, content_type, content_encoding
        except (HTTPError, URLError) as e:
            attempt += 1
            print(f"HTTP error on attempt {attempt}: {e}")
            if attempt > MAX_RETRIES:
                raise
            # exponential backoff with jitter
            time.sleep(min(60, 2 ** attempt) + (time.time() % 1))

def _determine_extension(content_type: str, content_encoding: str) -> str:
    """Determine file extension based on content type and encoding"""
    if "zip" in content_type.lower():
        return ".zip"
    if "gzip" in content_type.lower() or content_encoding.lower() == "gzip":
        return ".gz"
    if "json" in content_type.lower():
        return ".json"
    if "csv" in content_type.lower():
        return ".csv"
    return ".bin"

def _put_wss_data(blob: bytes, content_type: str, content_encoding: str, from_ts: float, to_ts: float) -> str:
    # Create unique S3 key for WSS data
    ts_path = time.strftime("%Y/%m/%d", time.gmtime(to_ts))
    uniq = f"{int(time.time()*1e6)}_{uuid.uuid4().hex[:8]}"
    ext = _determine_extension(content_type, content_encoding)
    key = f"{S3_PREFIX}{ts_path}/symantec_wss_{int(from_ts)}_{int(to_ts)}_{uniq}{ext}"

    s3.put_object(
        Bucket=S3_BUCKET, 
        Key=key, 
        Body=blob, 
        ContentType=content_type,
        Metadata={
            'source': 'symantec-wss',
            'from_timestamp': str(int(from_ts)),
            'to_timestamp': str(int(to_ts)),
            'content_encoding': content_encoding
        }
    )
    return key

def lambda_handler(event=None, context=None):
    st = _load_state()
    now = time.time()
    from_ts = float(st.get("last_to_ts") or (now - WINDOW_SEC))
    to_ts = now

    # Convert to milliseconds for WSS API
    start_ms = _ms_timestamp(from_ts)
    end_ms = _ms_timestamp(to_ts)

    print(f"Fetching Symantec WSS logs from {start_ms} to {end_ms}")

    blob, content_type, content_encoding = _fetch_wss_logs(start_ms, end_ms)

    print(f"Retrieved {len(blob)} bytes with content-type: {content_type}")
    if content_encoding:
        print(f"Content encoding: {content_encoding}")

    key = _put_wss_data(blob, content_type, content_encoding, from_ts, to_ts)

    st["last_to_ts"] = to_ts
    st["last_successful_run"] = now
    _save_state(st)

    return {
        "statusCode": 200,
        "body": {
            "success": True, 
            "s3_key": key, 
            "content_type": content_type,
            "content_encoding": content_encoding,
            "from_timestamp": from_ts,
            "to_timestamp": to_ts,
            "bytes_retrieved": len(blob)
        }
    }

if __name__ == "__main__":
    print(lambda_handler())

  5. Vaya a Configuración > Variables de entorno.

  6. Haz clic en Editar > Añadir nueva variable de entorno.

  7. Introduce las variables de entorno que se indican en la siguiente tabla y sustituye los valores de ejemplo por los tuyos.

    Variables de entorno

    Clave Valor de ejemplo
    S3_BUCKET symantec-wss-logs
    S3_PREFIX symantec/wss/
    STATE_KEY symantec/wss/state.json
    WINDOW_SECONDS 3600
    HTTP_TIMEOUT 60
    MAX_RETRIES 3
    USER_AGENT symantec-wss-to-s3/1.0
    WSS_SYNC_URL https://portal.threatpulse.com/reportpod/logs/sync
    WSS_API_USERNAME your-api-username (desde el paso 2)
    WSS_API_PASSWORD your-api-password (desde el paso 2)
    WSS_TOKEN_PARAM none

  8. Una vez creada la función, permanece en su página (o abre Lambda > Funciones > tu-función).

  9. Seleccione la pestaña Configuración.

  10. En el panel Configuración general, haz clic en Editar.

  11. Cambia Tiempo de espera a 5 minutos (300 segundos) y haz clic en Guardar.

Crear una programación de EventBridge

  1. Ve a Amazon EventBridge > Scheduler > Create schedule (Amazon EventBridge > Programador > Crear programación).
  2. Proporcione los siguientes detalles de configuración:
    • Programación periódica: Precio (1 hour).
    • Destino: tu función Lambda symantec_wss_to_s3.
    • Nombre: symantec-wss-1h.
  3. Haz clic en Crear programación.

(Opcional) Crear un usuario y claves de IAM de solo lectura para Google SecOps

  1. En la consola de AWS, ve a IAM > Usuarios.
  2. Haz clic en Add users (Añadir usuarios).
  3. Proporcione los siguientes detalles de configuración:
    • Usuario: introduce secops-reader.
    • Tipo de acceso: selecciona Clave de acceso – Acceso programático.
  4. Haz clic en Crear usuario.
  5. Asigna una política de lectura mínima (personalizada): Usuarios > secops-reader > Permisos > Añadir permisos > Asignar políticas directamente > Crear política.

  6. JSON:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject"],
      "Resource": "arn:aws:s3:::symantec-wss-logs/*"
    },
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": "arn:aws:s3:::symantec-wss-logs"
    }
  ]
}

  7. Nombre = secops-reader-policy.

  8. Haz clic en Crear política > busca o selecciona > Siguiente > Añadir permisos.

  9. Crea una clave de acceso para secops-reader: Credenciales de seguridad > Claves de acceso.

  10. Haz clic en Crear clave de acceso.

  11. Descarga el archivo CSV. (Estos valores se pegarán en el feed).

Configurar un feed en Google SecOps para ingerir registros de Symantec WSS

  1. Ve a Configuración de SIEM > Feeds.
  2. Haz clic en + Añadir nuevo feed.
  3. En el campo Nombre del feed, introduce un nombre para el feed (por ejemplo, Symantec WSS logs).
  4. Selecciona Amazon S3 V2 como Tipo de fuente.
  5. Selecciona Symantec WSS como Tipo de registro.
  6. Haz clic en Siguiente.
  7. Especifique los valores de los siguientes parámetros de entrada:
    • URI de S3: s3://symantec-wss-logs/symantec/wss/
    • Opciones de eliminación de la fuente: selecciona la opción de eliminación que prefieras.
    • Antigüedad máxima del archivo: incluye los archivos modificados en los últimos días. El valor predeterminado es 180 días.
    • ID de clave de acceso: clave de acceso de usuario con acceso al bucket de S3.
    • Clave de acceso secreta: clave secreta del usuario con acceso al bucket de S3.
    • Espacio de nombres de recursos: el espacio de nombres de recursos.
    • Etiquetas de ingestión: la etiqueta aplicada a los eventos de este feed.
  8. Haz clic en Siguiente.
  9. Revise la configuración de la nueva fuente en la pantalla Finalizar y, a continuación, haga clic en Enviar.

Tabla de asignación de UDM

Campo de registro Asignación de UDM Lógica
category_id read_only_udm.metadata.product_event_type Si category_id es 1, read_only_udm.metadata.product_event_type se define como Security. Si category_id es 5, read_only_udm.metadata.product_event_type se define como Policy
collector_device_ip read_only_udm.principal.ip, read_only_udm.principal.asset.ip Valor del campo collector_device_ip.
connection.bytes_download read_only_udm.network.received_bytes Valor del campo connection.bytes_download convertido a entero.
connection.bytes_upload read_only_udm.network.sent_bytes Valor del campo connection.bytes_upload convertido a entero
connection.dst_ip read_only_udm.target.ip Valor del campo connection.dst_ip
connection.dst_location.country read_only_udm.target.location.country_or_region Valor del campo connection.dst_location.country
connection.dst_name read_only_udm.target.hostname Valor del campo connection.dst_name
connection.dst_port read_only_udm.target.port Valor del campo connection.dst_port convertido a entero
connection.http_status read_only_udm.network.http.response_code Valor del campo connection.http_status convertido a entero
connection.http_user_agent read_only_udm.network.http.user_agent Valor del campo connection.http_user_agent
connection.src_ip read_only_udm.principal.ip, read_only_udm.src.ip Valor del campo connection.src_ip. Si src_ip o collector_device_ip no están vacíos, se asignan a read_only_udm.src.ip.
connection.tls.version read_only_udm.network.tls.version_protocol Valor del campo connection.tls.version
connection.url.host read_only_udm.target.hostname Valor del campo connection.url.host
connection.url.method read_only_udm.network.http.method Valor del campo connection.url.method
connection.url.path read_only_udm.target.url Valor del campo connection.url.path
connection.url.text read_only_udm.target.url Valor del campo connection.url.text
cs_connection_negotiated_cipher read_only_udm.network.tls.cipher Valor del campo cs_connection_negotiated_cipher
cs_icap_status read_only_udm.security_result.description Valor del campo cs_icap_status.
device_id read_only_udm.target.resource.id, read_only_udm.target.resource.product_object_id Valor del campo device_id
device_ip read_only_udm.intermediary.ip, read_only_udm.intermediary.asset.ip Valor del campo device_ip
device_time read_only_udm.metadata.collected_timestamp, read_only_udm.metadata.event_timestamp Valor del campo device_time convertido en cadena. Si when está vacío, se asigna a read_only_udm.metadata.event_timestamp.
nombre de host read_only_udm.principal.hostname, read_only_udm.principal.asset.hostname Valor del campo de nombre de host
log_time read_only_udm.metadata.event_timestamp Valor del campo log_time convertido a marca de tiempo. Si when y device_time están vacíos, se asigna a read_only_udm.metadata.event_timestamp.
msg_desc read_only_udm.metadata.description Valor del campo msg_desc
os_details read_only_udm.target.asset.platform_software.platform, read_only_udm.target.asset.platform_software.platform_version Valor del campo os_details. Si os_details no está vacío, se analiza para extraer os_name y os_ver. Si os_name contiene Windows, read_only_udm.target.asset.platform_software.platform se define como WINDOWS. os_ver se asigna a read_only_udm.target.asset.platform_software.platform_version
product_data.cs(Referer) read_only_udm.network.http.referral_url Valor del campo product_data.cs(Referer)
product_data.r-supplier-country read_only_udm.principal.location.country_or_region Valor del campo product_data.r-supplier-country
product_data.s-supplier-ip read_only_udm.intermediary.ip, read_only_udm.intermediary.asset.ip Valor del campo product_data.s-supplier-ip
product_data.x-bluecoat-application-name read_only_udm.target.application Valor del campo product_data.x-bluecoat-application-name
product_data.x-bluecoat-transaction-uuid read_only_udm.metadata.product_log_id Valor del campo product_data.x-bluecoat-transaction-uuid
product_data.x-client-agent-sw read_only_udm.observer.platform_version Valor del campo product_data.x-client-agent-sw
product_data.x-client-agent-type read_only_udm.observer.application Valor del campo product_data.x-client-agent-type
product_data.x-client-device-id read_only_udm.target.resource.type, read_only_udm.target.resource.id, read_only_udm.target.resource.product_object_id Si no está vacío, read_only_udm.target.resource.type se define como DEVICE. El valor del campo product_data.x-client-device-id se asigna a read_only_udm.target.resource.id y read_only_udm.target.resource.product_object_id.
product_data.x-client-device-name read_only_udm.src.hostname, read_only_udm.src.asset.hostname Valor del campo product_data.x-client-device-name
product_data.x-cs-client-ip-country read_only_udm.target.location.country_or_region Valor del campo product_data.x-cs-client-ip-country
product_data.x-cs-connection-negotiated-cipher read_only_udm.network.tls.cipher Valor del campo product_data.x-cs-connection-negotiated-cipher
product_data.x-cs-connection-negotiated-ssl-version read_only_udm.network.tls.version_protocol Valor del campo product_data.x-cs-connection-negotiated-ssl-version
product_data.x-exception-id read_only_udm.security_result.summary Valor del campo product_data.x-exception-id
product_data.x-rs-certificate-hostname read_only_udm.network.tls.client.server_name Valor del campo product_data.x-rs-certificate-hostname
product_data.x-rs-certificate-hostname-categories read_only_udm.security_result.category_details Valor del campo product_data.x-rs-certificate-hostname-categories
product_data.x-rs-certificate-observed-errors read_only_udm.network.tls.server.certificate.issuer Valor del campo product_data.x-rs-certificate-observed-errors
product_data.x-rs-certificate-validate-status read_only_udm.network.tls.server.certificate.subject Valor del campo product_data.x-rs-certificate-validate-status
product_name read_only_udm.metadata.product_name Valor del campo product_name
product_ver read_only_udm.metadata.product_version Valor del campo product_ver
proxy_connection.src_ip read_only_udm.intermediary.ip, read_only_udm.intermediary.asset.ip Valor del campo proxy_connection.src_ip
received_bytes read_only_udm.network.received_bytes Valor del campo received_bytes convertido en un número entero.
ref_uid read_only_udm.metadata.product_log_id Valor del campo ref_uid
s_action read_only_udm.metadata.description Valor del campo s_action.
sent_bytes read_only_udm.network.sent_bytes Valor del campo sent_bytes convertido a entero
severity_id read_only_udm.security_result.severity Si severity_id es 1 o 2, read_only_udm.security_result.severity se define como LOW. Si severity_id es 3 o 4, read_only_udm.security_result.severity se define como MEDIUM. Si severity_id es 5 o 6, read_only_udm.security_result.severity se define como HIGH.
supplier_country read_only_udm.principal.location.country_or_region Valor del campo supplier_country
target_ip read_only_udm.target.ip, read_only_udm.target.asset.ip Valor del campo target_ip
user.full_name read_only_udm.principal.user.user_display_name Valor del campo user.full_name
nombre.usuario read_only_udm.principal.user.user_display_name Valor del campo user.name
user_name read_only_udm.principal.user.user_display_name Valor del campo user_name
uuid read_only_udm.metadata.product_log_id Valor del campo uuid
cuando read_only_udm.metadata.event_timestamp Valor de cuándo se convirtió el campo a una marca de tiempo.
read_only_udm.metadata.event_type Se define como NETWORK_UNCATEGORIZED si el nombre de host está vacío y connection.dst_ip no lo está. Se define como SCAN_NETWORK si el nombre de host no está vacío. Se define como NETWORK_CONNECTION si has_principal y has_target son true. Se define como STATUS_UPDATE si has_principal es true y has_target es false. Se define como GENERIC_EVENT si has_principal y has_target son false.
read_only_udm.metadata.log_type Siempre se establece en SYMANTEC_WSS
read_only_udm.metadata.vendor_name Siempre se establece en SYMANTEC
read_only_udm.security_result.action Su valor debe ser ALLOW si product_data.sc-filter_result es OBSERVED o PROXIED. Asigna el valor BLOCK si product_data.sc-filter_result es DENIED
read_only_udm.security_result.action_details Valor del campo product_data.sc-filter_result
read_only_udm.target.resource.type Definir como DEVICE si product_data.x-client-device-id no está vacío

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.