Recopila registros de Symantec WSS

Compatible con:

En este documento, se explica cómo transferir registros de Symantec Web Security Service (WSS) a Google Security Operations con Amazon S3. Primero, el analizador intenta analizar el mensaje de registro como JSON. Si eso falla, usa una serie de patrones de grok cada vez más específicos para extraer campos del texto sin procesar y, en última instancia, asigna los datos extraídos al Modelo de datos unificados (UDM).

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

  • Es una instancia de Google SecOps.
  • Acceso con privilegios a Symantec Web Security Service
  • Acceso con privilegios a AWS (S3, Identity and Access Management [IAM], Lambda, EventBridge).

Recopila los requisitos previos de Symantec WSS (IDs, claves de API, IDs de organización y tokens)

  1. Accede al portal de Symantec Web Security Service como administrador.
  2. Ve a Cuenta > Credenciales de API.
  3. Haz clic en Agregar.
  4. Proporciona los siguientes detalles de configuración:
    • Nombre de la API: Ingresa un nombre descriptivo (por ejemplo, Google SecOps Integration).
    • Descripción: Ingresa una descripción para las credenciales de la API.
  5. Haz clic en Guardar y copia las credenciales de la API generadas de forma segura.
  6. Registra la URL del portal de WSS y el extremo de la API de sincronización.
  7. Copia y guarda en una ubicación segura los siguientes detalles:
    • WSS_API_USERNAME.
    • WSS_API_PASSWORD.
    • WSS_SYNC_URL.

Configura el bucket de AWS S3 y el IAM para Google SecOps

  1. Crea un bucket de Amazon S3 siguiendo esta guía del usuario: Crea un bucket
  2. Guarda el Nombre y la Región del bucket para futuras referencias (por ejemplo, symantec-wss-logs).
  3. Crea un usuario siguiendo esta guía del usuario: Cómo crear un usuario de IAM.
  4. Selecciona el usuario creado.
  5. Selecciona la pestaña Credenciales de seguridad.
  6. Haz clic en Crear clave de acceso en la sección Claves de acceso.
  7. Selecciona Servicio de terceros como Caso de uso.
  8. Haz clic en Siguiente.
  9. Opcional: Agrega una etiqueta de descripción.
  10. Haz clic en Crear clave de acceso.
  11. Haz clic en Descargar archivo CSV para guardar la clave de acceso y la clave de acceso secreta para consultarlas en el futuro.
  12. Haz clic en Listo.
  13. Selecciona la pestaña Permisos.
  14. Haz clic en Agregar permisos en la sección Políticas de permisos.
  15. Selecciona Agregar permisos.
  16. Selecciona Adjuntar políticas directamente.
  17. Busca la política AmazonS3FullAccess.
  18. Selecciona la política.
  19. Haz clic en Siguiente.
  20. Haz clic en Agregar permisos.

Configura la política y el rol de IAM para las cargas de S3

  1. En la consola de AWS, ve a IAM > Políticas.
  2. Haz clic en Crear política > pestaña JSON.
  3. Copia y pega la siguiente política.

  4. JSON de la política (reemplaza symantec-wss-logs si ingresaste un nombre de bucket diferente):

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowPutObjects",
      "Effect": "Allow",
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::symantec-wss-logs/*"
    },
    {
      "Sid": "AllowGetStateObject",
      "Effect": "Allow",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::symantec-wss-logs/symantec/wss/state.json"
    }
  ]
}

  5. Haz clic en Siguiente > Crear política.

  6. Ve a IAM > Roles > Crear rol > Servicio de AWS > Lambda.

  7. Adjunta la política recién creada.

  8. Asigna el nombre SymantecWssToS3Role al rol y haz clic en Crear rol.

Crea la función Lambda

  1. En la consola de AWS, ve a Lambda > Functions > Create function.
  2. Haz clic en Author from scratch.

  3. Proporciona los siguientes detalles de configuración:

    Configuración Valor
    Nombre symantec_wss_to_s3
    Tiempo de ejecución Python 3.13
    Arquitectura x86_64
    Rol de ejecución SymantecWssToS3Role

  4. Después de crear la función, abre la pestaña Code, borra el código auxiliar y pega el siguiente código (symantec_wss_to_s3.py).

    #!/usr/bin/env python3
# Lambda: Pull Symantec WSS logs and store raw payloads to S3
# - Time window via millisecond timestamps for WSS Sync API.
# - Preserves vendor-native format (CSV/JSON/ZIP).
# - Retries with exponential backoff; unique S3 keys to avoid overwrites.

import os, json, time, uuid
from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError

import boto3

S3_BUCKET   = os.environ["S3_BUCKET"]
S3_PREFIX   = os.environ.get("S3_PREFIX", "symantec/wss/")
STATE_KEY   = os.environ.get("STATE_KEY", "symantec/wss/state.json")
WINDOW_SEC  = int(os.environ.get("WINDOW_SECONDS", "3600"))  # default 1h
HTTP_TIMEOUT= int(os.environ.get("HTTP_TIMEOUT", "60"))
WSS_SYNC_URL = os.environ.get("WSS_SYNC_URL", "https://portal.threatpulse.com/reportpod/logs/sync")
API_USERNAME = os.environ["WSS_API_USERNAME"]
API_PASSWORD = os.environ["WSS_API_PASSWORD"]
TOKEN_PARAM  = os.environ.get("WSS_TOKEN_PARAM", "none")
MAX_RETRIES = int(os.environ.get("MAX_RETRIES", "3"))
USER_AGENT  = os.environ.get("USER_AGENT", "symantec-wss-to-s3/1.0")

s3 = boto3.client("s3")

def _load_state():
    try:
        obj = s3.get_object(Bucket=S3_BUCKET, Key=STATE_KEY)
        return json.loads(obj["Body"].read())
    except Exception:
        return {}

def _save_state(st):
    s3.put_object(
        Bucket=S3_BUCKET,
        Key=STATE_KEY,
        Body=json.dumps(st, separators=(",", ":")).encode("utf-8"),
        ContentType="application/json",
    )

def _ms_timestamp(ts: float) -> int:
    """Convert Unix timestamp to milliseconds for WSS API"""
    return int(ts * 1000)

def _fetch_wss_logs(start_ms: int, end_ms: int) -> tuple[bytes, str, str]:
    # WSS Sync API parameters
    params = f"startDate={start_ms}&endDate={end_ms}&token={TOKEN_PARAM}"
    url = f"{WSS_SYNC_URL}?{params}"

    attempt = 0
    while True:
        req = Request(url, method="GET")
        req.add_header("User-Agent", USER_AGENT)
        req.add_header("X-APIUsername", API_USERNAME)
        req.add_header("X-APIPassword", API_PASSWORD)

        try:
            with urlopen(req, timeout=HTTP_TIMEOUT) as r:
                blob = r.read()
                content_type = r.headers.get("Content-Type", "application/octet-stream")
                content_encoding = r.headers.get("Content-Encoding", "")
                return blob, content_type, content_encoding
        except (HTTPError, URLError) as e:
            attempt += 1
            print(f"HTTP error on attempt {attempt}: {e}")
            if attempt > MAX_RETRIES:
                raise
            # exponential backoff with jitter
            time.sleep(min(60, 2 ** attempt) + (time.time() % 1))

def _determine_extension(content_type: str, content_encoding: str) -> str:
    """Determine file extension based on content type and encoding"""
    if "zip" in content_type.lower():
        return ".zip"
    if "gzip" in content_type.lower() or content_encoding.lower() == "gzip":
        return ".gz"
    if "json" in content_type.lower():
        return ".json"
    if "csv" in content_type.lower():
        return ".csv"
    return ".bin"

def _put_wss_data(blob: bytes, content_type: str, content_encoding: str, from_ts: float, to_ts: float) -> str:
    # Create unique S3 key for WSS data
    ts_path = time.strftime("%Y/%m/%d", time.gmtime(to_ts))
    uniq = f"{int(time.time()*1e6)}_{uuid.uuid4().hex[:8]}"
    ext = _determine_extension(content_type, content_encoding)
    key = f"{S3_PREFIX}{ts_path}/symantec_wss_{int(from_ts)}_{int(to_ts)}_{uniq}{ext}"

    s3.put_object(
        Bucket=S3_BUCKET, 
        Key=key, 
        Body=blob, 
        ContentType=content_type,
        Metadata={
            'source': 'symantec-wss',
            'from_timestamp': str(int(from_ts)),
            'to_timestamp': str(int(to_ts)),
            'content_encoding': content_encoding
        }
    )
    return key

def lambda_handler(event=None, context=None):
    st = _load_state()
    now = time.time()
    from_ts = float(st.get("last_to_ts") or (now - WINDOW_SEC))
    to_ts = now

    # Convert to milliseconds for WSS API
    start_ms = _ms_timestamp(from_ts)
    end_ms = _ms_timestamp(to_ts)

    print(f"Fetching Symantec WSS logs from {start_ms} to {end_ms}")

    blob, content_type, content_encoding = _fetch_wss_logs(start_ms, end_ms)

    print(f"Retrieved {len(blob)} bytes with content-type: {content_type}")
    if content_encoding:
        print(f"Content encoding: {content_encoding}")

    key = _put_wss_data(blob, content_type, content_encoding, from_ts, to_ts)

    st["last_to_ts"] = to_ts
    st["last_successful_run"] = now
    _save_state(st)

    return {
        "statusCode": 200,
        "body": {
            "success": True, 
            "s3_key": key, 
            "content_type": content_type,
            "content_encoding": content_encoding,
            "from_timestamp": from_ts,
            "to_timestamp": to_ts,
            "bytes_retrieved": len(blob)
        }
    }

if __name__ == "__main__":
    print(lambda_handler())

  5. Ve a Configuration > Environment variables.

  6. Haz clic en Editar > Agregar nueva variable de entorno.

  7. Ingresa las variables de entorno que se proporcionan en la siguiente tabla y reemplaza los valores de ejemplo por tus valores.

    Variables de entorno

    Clave Valor de ejemplo
    S3_BUCKET symantec-wss-logs
    S3_PREFIX symantec/wss/
    STATE_KEY symantec/wss/state.json
    WINDOW_SECONDS 3600
    HTTP_TIMEOUT 60
    MAX_RETRIES 3
    USER_AGENT symantec-wss-to-s3/1.0
    WSS_SYNC_URL https://portal.threatpulse.com/reportpod/logs/sync
    WSS_API_USERNAME your-api-username (del paso 2)
    WSS_API_PASSWORD your-api-password (del paso 2)
    WSS_TOKEN_PARAM none

  8. Después de crear la función, permanece en su página (o abre Lambda > Funciones > tu-función).

  9. Selecciona la pestaña Configuración.

  10. En el panel Configuración general, haz clic en Editar.

  11. Cambia Tiempo de espera a 5 minutos (300 segundos) y haz clic en Guardar.

Crea una programación de EventBridge

  1. Ve a Amazon EventBridge > Scheduler > Create schedule.
  2. Proporciona los siguientes detalles de configuración:
    • Programación recurrente: Frecuencia (1 hour)
    • Destino: Tu función Lambda symantec_wss_to_s3.
    • Nombre: symantec-wss-1h.
  3. Haz clic en Crear programación.

(Opcional) Crea un usuario y claves de IAM de solo lectura para Google SecOps

  1. En la consola de AWS, ve a IAM > Usuarios.
  2. Haz clic en Agregar usuarios.
  3. Proporciona los siguientes detalles de configuración:
    • Usuario: Ingresa secops-reader.
    • Tipo de acceso: Selecciona Clave de acceso: Acceso programático.
  4. Haz clic en Crear usuario.
  5. Adjunta una política de lectura mínima (personalizada): Usuarios > secops-reader > Permisos > Agregar permisos > Adjuntar políticas directamente > Crear política.

  6. JSON:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject"],
      "Resource": "arn:aws:s3:::symantec-wss-logs/*"
    },
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": "arn:aws:s3:::symantec-wss-logs"
    }
  ]
}

  7. Nombre = secops-reader-policy.

  8. Haz clic en Crear política > busca o selecciona > Siguiente > Agregar permisos.

  9. Crea una clave de acceso para secops-reader: Credenciales de seguridad > Claves de acceso.

  10. Haz clic en Crear clave de acceso.

  11. Descarga el archivo CSV. (Pegarás estos valores en el feed).

Configura un feed en Google SecOps para transferir registros de Symantec WSS

  1. Ve a Configuración de SIEM > Feeds.
  2. Haz clic en + Agregar feed nuevo.
  3. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Symantec WSS logs).
  4. Selecciona Amazon S3 V2 como el Tipo de fuente.
  5. Selecciona Symantec WSS como el Tipo de registro.
  6. Haz clic en Siguiente.
  7. Especifica valores para los siguientes parámetros de entrada:
    • URI de S3: s3://symantec-wss-logs/symantec/wss/
    • Opciones de borrado de la fuente: Selecciona la opción de borrado según tu preferencia.
    • Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
    • ID de clave de acceso: Clave de acceso del usuario con acceso al bucket de S3.
    • Clave de acceso secreta: Clave secreta del usuario con acceso al bucket de S3.
    • Espacio de nombres del recurso: Es el espacio de nombres del recurso.
    • Etiquetas de transmisión: Es la etiqueta que se aplica a los eventos de este feed.
  8. Haz clic en Siguiente.
  9. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

Tabla de asignación de UDM

Campo de registro Asignación de UDM Lógica
category_id read_only_udm.metadata.product_event_type Si category_id es 1, read_only_udm.metadata.product_event_type se establece en Security. Si category_id es 5, read_only_udm.metadata.product_event_type se establece en Policy.
collector_device_ip read_only_udm.principal.ip, read_only_udm.principal.asset.ip Valor del campo collector_device_ip
connection.bytes_download read_only_udm.network.received_bytes Valor del campo connection.bytes_download convertido en número entero
connection.bytes_upload read_only_udm.network.sent_bytes Valor del campo connection.bytes_upload convertido en número entero
connection.dst_ip read_only_udm.target.ip Valor del campo connection.dst_ip
connection.dst_location.country read_only_udm.target.location.country_or_region Valor del campo connection.dst_location.country
connection.dst_name read_only_udm.target.hostname Valor del campo connection.dst_name
connection.dst_port read_only_udm.target.port Valor del campo connection.dst_port convertido en número entero
connection.http_status read_only_udm.network.http.response_code El valor del campo connection.http_status se convirtió en un número entero.
connection.http_user_agent read_only_udm.network.http.user_agent Valor del campo connection.http_user_agent
connection.src_ip read_only_udm.principal.ip, read_only_udm.src.ip Valor del campo connection.src_ip. Si src_ip o collector_device_ip no están vacíos, se asignan a read_only_udm.src.ip.
connection.tls.version read_only_udm.network.tls.version_protocol Valor del campo connection.tls.version
connection.url.host read_only_udm.target.hostname Valor del campo connection.url.host
connection.url.method read_only_udm.network.http.method Valor del campo connection.url.method
connection.url.path read_only_udm.target.url Valor del campo connection.url.path
connection.url.text read_only_udm.target.url Valor del campo connection.url.text
cs_connection_negotiated_cipher read_only_udm.network.tls.cipher Valor del campo cs_connection_negotiated_cipher
cs_icap_status read_only_udm.security_result.description Valor del campo cs_icap_status
device_id read_only_udm.target.resource.id, read_only_udm.target.resource.product_object_id Valor del campo device_id
device_ip read_only_udm.intermediary.ip, read_only_udm.intermediary.asset.ip Valor del campo device_ip
device_time read_only_udm.metadata.collected_timestamp, read_only_udm.metadata.event_timestamp Es el valor del campo device_time convertido en cadena. Si when está vacío, se asigna a read_only_udm.metadata.event_timestamp.
Nombre de host read_only_udm.principal.hostname, read_only_udm.principal.asset.hostname Valor del campo de nombre de host
log_time read_only_udm.metadata.event_timestamp Es el valor del campo log_time convertido en marca de tiempo. Si when y device_time están vacíos, se asigna a read_only_udm.metadata.event_timestamp.
msg_desc read_only_udm.metadata.description Valor del campo msg_desc
os_details read_only_udm.target.asset.platform_software.platform, read_only_udm.target.asset.platform_software.platform_version Es el valor del campo os_details. Si os_details no está vacío, se analiza para extraer os_name y os_ver. Si os_name contiene Windows, read_only_udm.target.asset.platform_software.platform se establece en WINDOWS. os_ver se asigna a read_only_udm.target.asset.platform_software.platform_version
product_data.cs(Referer) read_only_udm.network.http.referral_url Valor del campo product_data.cs(Referer)
product_data.r-supplier-country read_only_udm.principal.location.country_or_region Valor del campo product_data.r-supplier-country
product_data.s-supplier-ip read_only_udm.intermediary.ip, read_only_udm.intermediary.asset.ip Valor del campo product_data.s-supplier-ip
product_data.x-bluecoat-application-name read_only_udm.target.application Valor del campo product_data.x-bluecoat-application-name
product_data.x-bluecoat-transaction-uuid read_only_udm.metadata.product_log_id Valor del campo product_data.x-bluecoat-transaction-uuid
product_data.x-client-agent-sw read_only_udm.observer.platform_version Valor del campo product_data.x-client-agent-sw
product_data.x-client-agent-type read_only_udm.observer.application Valor del campo product_data.x-client-agent-type
product_data.x-client-device-id read_only_udm.target.resource.type, read_only_udm.target.resource.id, read_only_udm.target.resource.product_object_id Si no está vacío, read_only_udm.target.resource.type se establece en DEVICE. El valor del campo product_data.x-client-device-id se asigna a read_only_udm.target.resource.id y read_only_udm.target.resource.product_object_id.
product_data.x-client-device-name read_only_udm.src.hostname, read_only_udm.src.asset.hostname Valor del campo product_data.x-client-device-name
product_data.x-cs-client-ip-country read_only_udm.target.location.country_or_region Valor del campo product_data.x-cs-client-ip-country
product_data.x-cs-connection-negotiated-cipher read_only_udm.network.tls.cipher Valor del campo product_data.x-cs-connection-negotiated-cipher
product_data.x-cs-connection-negotiated-ssl-version read_only_udm.network.tls.version_protocol Valor del campo product_data.x-cs-connection-negotiated-ssl-version
product_data.x-exception-id read_only_udm.security_result.summary Valor del campo product_data.x-exception-id
product_data.x-rs-certificate-hostname read_only_udm.network.tls.client.server_name Valor del campo product_data.x-rs-certificate-hostname
product_data.x-rs-certificate-hostname-categories read_only_udm.security_result.category_details Valor del campo product_data.x-rs-certificate-hostname-categories
product_data.x-rs-certificate-observed-errors read_only_udm.network.tls.server.certificate.issuer Valor del campo product_data.x-rs-certificate-observed-errors
product_data.x-rs-certificate-validate-status read_only_udm.network.tls.server.certificate.subject Valor del campo product_data.x-rs-certificate-validate-status
product_name read_only_udm.metadata.product_name Valor del campo product_name
product_ver read_only_udm.metadata.product_version Valor del campo product_ver
proxy_connection.src_ip read_only_udm.intermediary.ip, read_only_udm.intermediary.asset.ip Valor del campo proxy_connection.src_ip
received_bytes read_only_udm.network.received_bytes Valor del campo received_bytes convertido en número entero
ref_uid read_only_udm.metadata.product_log_id Valor del campo ref_uid
s_action read_only_udm.metadata.description Valor del campo s_action
sent_bytes read_only_udm.network.sent_bytes Valor del campo sent_bytes convertido en número entero
severity_id read_only_udm.security_result.severity Si severity_id es 1 o 2, read_only_udm.security_result.severity se establece en LOW. Si severity_id es 3 o 4, read_only_udm.security_result.severity se establece en MEDIUM. Si severity_id es 5 o 6, read_only_udm.security_result.severity se establece en HIGH.
supplier_country read_only_udm.principal.location.country_or_region Valor del campo supplier_country
target_ip read_only_udm.target.ip, read_only_udm.target.asset.ip Valor del campo target_ip
user.full_name read_only_udm.principal.user.user_display_name Valor del campo user.full_name
user.name read_only_udm.principal.user.user_display_name Valor del campo user.name
user_name read_only_udm.principal.user.user_display_name Valor del campo user_name
uuid read_only_udm.metadata.product_log_id Valor del campo uuid
cuando read_only_udm.metadata.event_timestamp Valor de cuándo se convirtió el campo en una marca de tiempo
read_only_udm.metadata.event_type Se establece en NETWORK_UNCATEGORIZED si el nombre de host está vacío y connection.dst_ip no está vacío. Se establece en SCAN_NETWORK si el nombre de host no está vacío. Se establece en NETWORK_CONNECTION si has_principal y has_target son true. Se establece en STATUS_UPDATE si has_principal es true y has_target es false. Se establece en GENERIC_EVENT si has_principal y has_target son false.
read_only_udm.metadata.log_type Siempre se establece en SYMANTEC_WSS.
read_only_udm.metadata.vendor_name Siempre se establece en SYMANTEC.
read_only_udm.security_result.action Se establece en ALLOW si product_data.sc-filter_result es OBSERVED o PROXIED. Se establece en BLOCK si product_data.sc-filter_result es DENIED.
read_only_udm.security_result.action_details Valor del campo product_data.sc-filter_result
read_only_udm.target.resource.type Se establece en DEVICE si product_data.x-client-device-id no está vacío.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.