Recopila registros de IOC de Proofpoint Emerging Threats Pro

Se admite en los siguientes sistemas operativos:

Google SecOps SIEM

En este documento, se explica cómo transferir registros de IOC de Proofpoint Emerging Threats Pro a Google Security Operations con Google Cloud Storage. Emerging Threats Intelligence publica listas de reputación por hora para IPs y dominios en formato CSV con datos de inteligencia sobre amenazas, incluidas categorías, puntuaciones e información temporal. El código del analizador procesa los datos de inteligencia sobre amenazas de ET_PRO con formato CSV. Extrae direcciones IP, dominios, categorías, puntuaciones y otra información pertinente, y los asigna a un formato de IOC estandarizado y al esquema del UDM de Chronicle para su posterior análisis y uso en SecOps de Google.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

Una instancia de Google SecOps
Un proyecto de GCP con la API de Cloud Storage habilitada
Permisos para crear y administrar buckets de GCS
Permisos para administrar políticas de IAM en buckets de GCS
Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
Suscripción a Proofpoint ET Intelligence con acceso a listas de reputación
Clave de la API de ET Intelligence de https://etadmin.proofpoint.com/api-access

Recopila los requisitos previos de Emerging Threats Pro

Accede al portal de administración de ET Intelligence en https://etadmin.proofpoint.com.
Ve a Acceso a la API.
Copia y guarda tu clave de API.
Comunícate con tu representante de Proofpoint para obtener lo siguiente:
- URL de la lista detallada de reputación de IP
- URL de la lista detallada de reputación del dominio

ET Intelligence proporciona archivos CSV separados para las listas de reputación de IP y dominio, que se actualizan cada hora. Usa el formato "detallado", que incluye las siguientes columnas:

Lista de dominios: Nombre de dominio, categoría, puntuación, primera vez que se vio, última vez que se vio, puertos
Lista de IP: Dirección IP, categoría, puntuación, primera vez que se vio, última vez que se vio, puertos

Por lo general, las URLs de formato detallado siguen este patrón:

Lista de IPs: https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-iprepdata.txt
Lista de dominios: https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-domainrepdata.txt

El encabezado de autorización debe contener el valor de la clave de API sin procesar y sin un prefijo de portador, lo que coincide con las expectativas de la API de Emerging Threats.

Crea un bucket de Google Cloud Storage

Ve a Google Cloud Console.
Selecciona tu proyecto o crea uno nuevo.
En el menú de navegación, ve a Cloud Storage > Buckets.
Haz clic en Crear bucket.

Proporciona los siguientes detalles de configuración:

Configuración	Valor
Asigna un nombre a tu bucket	Ingresa un nombre global único (por ejemplo, `et-pro-ioc-bucket`).
Tipo de ubicación	Elige según tus necesidades (región, birregional, multirregional)
Ubicación	Selecciona la ubicación (por ejemplo, `us-central1`).
Clase de almacenamiento	Estándar (recomendado para los registros a los que se accede con frecuencia)
Control de acceso	Uniforme (recomendado)
Herramientas de protección	Opcional: Habilita el control de versiones de objetos o la política de retención

Haz clic en Crear.

Crea una cuenta de servicio para la Cloud Run Function

La Cloud Run Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y ser invocada por Pub/Sub.

Crear cuenta de servicio

En GCP Console, ve a IAM y administración > Cuentas de servicio.
Haz clic en Crear cuenta de servicio.
Proporciona los siguientes detalles de configuración:
- Nombre de la cuenta de servicio: Ingresa et-pro-ioc-fetcher-sa.
- Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect Proofpoint ET Pro IOC logs.
Haz clic en Crear y continuar.
En la sección Otorga a esta cuenta de servicio acceso al proyecto, agrega los siguientes roles:
1. Haz clic en Selecciona un rol.
2. Busca y selecciona Administrador de objetos de almacenamiento.
3. Haz clic en + Agregar otra función.
4. Busca y selecciona Invocador de Cloud Run.
5. Haz clic en + Agregar otra función.
6. Busca y selecciona Cloud Functions Invoker.
Haz clic en Continuar.
Haz clic en Listo.

Estos roles son necesarios para las siguientes acciones:

Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
Invocador de Cloud Run: Permite que Pub/Sub invoque la función
Cloud Functions Invoker: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

Ve a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket.
Ve a la pestaña Permisos.
Haz clic en Otorgar acceso.
Proporciona los siguientes detalles de configuración:
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, et-pro-ioc-fetcher-sa@PROJECT_ID.iam.gserviceaccount.com).
- Asignar roles: Selecciona Administrador de objetos de Storage.
Haz clic en Guardar.

Crear tema de Pub/Sub

Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.

En GCP Console, ve a Pub/Sub > Temas.
Haz clic en Crear un tema.
Proporciona los siguientes detalles de configuración:
- ID del tema: Ingresa et-pro-ioc-trigger.
- Deja el resto de la configuración con sus valores predeterminados.
Haz clic en Crear.

Crea una función de Cloud Run para recopilar registros

La función de Cloud Run se activa con los mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de Proofpoint ET Intelligence y escribirlos en GCS.

En GCP Console, ve a Cloud Run.
Haz clic en Crear servicio.
Selecciona Función (usa un editor intercalado para crear una función).

En la sección Configurar, proporciona los siguientes detalles de configuración:

Configuración	Valor
Nombre del servicio	`et-pro-ioc-fetcher`
Región	Selecciona la región que coincida con tu bucket de GCS (por ejemplo, `us-central1`).
Tiempo de ejecución	Selecciona Python 3.12 o una versión posterior.

En la sección Activador (opcional), haz lo siguiente:
1. Haz clic en + Agregar activador.
2. Selecciona Cloud Pub/Sub.
3. En Selecciona un tema de Cloud Pub/Sub, elige et-pro-ioc-trigger.
4. Haz clic en Guardar.
En la sección Autenticación, haz lo siguiente:
1. Selecciona Solicitar autenticación.
2. Verifica Identity and Access Management (IAM).
Nota: Pub/Sub controla automáticamente la autenticación cuando invoca la función.
Desplázate hacia abajo y expande Contenedores, redes y seguridad.
Ve a la pestaña Seguridad:
- Cuenta de servicio: Selecciona et-pro-ioc-fetcher-sa.

Ve a la pestaña Contenedores:

Haz clic en Variables y secretos.
Haz clic en + Agregar variable para cada variable de entorno:

Nombre de la variable	Valor de ejemplo	Descripción
`GCS_BUCKET`	`et-pro-ioc-bucket`	Nombre del bucket de GCS
`GCS_PREFIX`	`et-pro-ioc`	Prefijo para los archivos de registro
`STATE_KEY`	`et-pro-ioc/state.json`	Ruta de acceso al archivo de estado
`ET_API_KEY`	`your-et-api-key`	Clave de API de ET Intelligence
`ET_IP_LIST_URL`	`https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-iprepdata.txt`	URL de la lista detallada de reputación de IP
`ET_DOMAIN_LIST_URL`	`https://rules.emergingthreatspro.com/[your-code]/reputation/detailed-domainrepdata.txt`	URL de la lista detallada de reputación del dominio
`TIMEOUT`	`120`	Tiempo de espera de la solicitud HTTP en segundos

En la pestaña Variables y Secrets, desplázate hacia abajo hasta Requests:
- Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).
Ve a la pestaña Configuración en Contenedores:
- En la sección Recursos, haz lo siguiente:
  - Memoria: Selecciona 512 MiB o más.
  - CPU: Selecciona 1.
- Haz clic en Listo.
Desplázate hasta Entorno de ejecución:
- Selecciona Predeterminado (recomendado).
En la sección Ajuste de escala de revisión, haz lo siguiente:
- Cantidad mínima de instancias: Ingresa 0.
- Cantidad máxima de instancias: Ingresa 100 (o ajusta según la carga esperada).
Haz clic en Crear.
Espera a que se cree el servicio (de 1 a 2 minutos).
Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agregar el código de función

Ingresa main en Punto de entrada de la función.

En el editor de código intercalado, crea dos archivos:

Primer archivo: main.py:

import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch ET Pro IOC reputation lists and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    # Get environment variables
    bucket_name = os.environ.get('GCS_BUCKET')
    prefix = os.environ.get('GCS_PREFIX', 'et-pro-ioc').strip('/')
    state_key = os.environ.get('STATE_KEY', f'{prefix}/state.json')
    et_api_key = os.environ.get('ET_API_KEY')
    et_ip_list_url = os.environ.get('ET_IP_LIST_URL')
    et_domain_list_url = os.environ.get('ET_DOMAIN_LIST_URL')
    timeout = int(os.environ.get('TIMEOUT', '120'))

    if not all([bucket_name, et_api_key, et_ip_list_url, et_domain_list_url]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(bucket_name)

        # Generate timestamp for file naming
        now = datetime.now(timezone.utc)
        timestamp = now.strftime('%Y/%m/%d/%H%M%S')

        results = []
        errors = []

        # Fetch IP reputation list
        try:
            print('Fetching IP reputation list...')
            ip_data = fetch_with_retry(et_ip_list_url, et_api_key, timeout)
            ip_key = f'{prefix}/ip/{timestamp}.csv'
            save_to_gcs(bucket, ip_key, ip_data)
            results.append({'type': 'ip', 'key': ip_key, 'size': len(ip_data)})
            print(f'Successfully fetched IP list: {len(ip_data)} bytes')
        except Exception as e:
            error_msg = f'Failed to fetch IP list: {str(e)}'
            print(error_msg)
            errors.append(error_msg)

        # Fetch Domain reputation list
        try:
            print('Fetching Domain reputation list...')
            domain_data = fetch_with_retry(et_domain_list_url, et_api_key, timeout)
            domain_key = f'{prefix}/domain/{timestamp}.csv'
            save_to_gcs(bucket, domain_key, domain_data)
            results.append({'type': 'domain', 'key': domain_key, 'size': len(domain_data)})
            print(f'Successfully fetched Domain list: {len(domain_data)} bytes')
        except Exception as e:
            error_msg = f'Failed to fetch Domain list: {str(e)}'
            print(error_msg)
            errors.append(error_msg)

        # Save state
        state = {
            'last_fetch': now.isoformat(),
            'results': results,
            'errors': errors
        }
        save_state(bucket, state_key, state)

        if errors:
            print(f'Completed with {len(errors)} error(s)')
        else:
            print('Successfully completed all fetches')

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def fetch_with_retry(url, api_key, timeout, max_retries=3):
    """Fetch URL with retry logic for rate limits."""
    if not url.lower().startswith('https://'):
        raise ValueError('Only HTTPS URLs are allowed')

    headers = {'Authorization': api_key}

    for attempt in range(max_retries):
        try:
            response = http.request('GET', url, headers=headers, timeout=timeout)

            if response.status == 200:
                return response.data
            elif response.status == 429:
                # Rate limited, wait and retry
                wait_time = min(30 * (2 ** attempt), 300)
                print(f'Rate limited, waiting {wait_time}s...')
                time.sleep(wait_time)
            else:
                raise Exception(f'HTTP {response.status}: {response.reason}')
        except Exception as e:
            if attempt == max_retries - 1:
                raise
            time.sleep(5 * (attempt + 1))

    raise Exception(f'Failed to fetch {url} after {max_retries} attempts')

def save_to_gcs(bucket, key, content):
    """Save content to GCS with appropriate content type."""
    blob = bucket.blob(key)
    blob.upload_from_string(content, content_type='text/csv')
    print(f'Saved {len(content)} bytes to gs://{bucket.name}/{key}')

def save_state(bucket, key, state):
    """Save state to GCS."""
    try:
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
        )
    except Exception as e:
        print(f'Warning: Could not save state: {str(e)}')

Segundo archivo: requirements.txt:

functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

Haz clic en Implementar para guardar y, luego, implementar la función.
Espera a que se complete la implementación (de 2 a 3 minutos).

Nota: La configuración del activador de Pub/Sub crea automáticamente las suscripciones y los permisos necesarios.

Crea un trabajo de Cloud Scheduler

Cloud Scheduler publica mensajes en el tema de Pub/Sub a intervalos regulares, lo que activa la función de Cloud Run.

En GCP Console, ve a Cloud Scheduler.
Haz clic en Crear trabajo.

Proporciona los siguientes detalles de configuración:

Configuración	Valor
Nombre	`et-pro-ioc-fetcher-hourly`
Región	Selecciona la misma región que la función de Cloud Run
Frecuencia	`0 * * * *` (cada hora, en punto)
Zona horaria	Selecciona la zona horaria (se recomienda UTC)
Tipo de orientación	Pub/Sub
Tema	Seleccionar `et-pro-ioc-trigger`
Cuerpo del mensaje	`{}` (objeto JSON vacío)

Haz clic en Crear.

Opciones de frecuencia de programación

Elige la frecuencia según los requisitos de latencia y volumen de registros:

Frecuencia	Expresión cron	Caso de uso
Cada 1 hora	`0 * * * *`	Estándar (recomendado para el COI de ET Pro)
Cada 2 horas	`0 /2 * *`	Menor frecuencia
Cada 6 horas	`0 /6 * *`	Actualizaciones mínimas

Prueba la integración

En la consola de Cloud Scheduler, busca tu trabajo.
Haz clic en Forzar ejecución para activar el trabajo de forma manual.
Espera unos segundos.
Ve a Cloud Run > Servicios.
Haz clic en el nombre de la función (et-pro-ioc-fetcher).
Haz clic en la pestaña Registros.

Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:

Fetching IP reputation list...
Successfully fetched IP list: X bytes
Fetching Domain reputation list...
Successfully fetched Domain list: X bytes
Successfully completed all fetches

Ve a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket.
Navega a las carpetas de prefijo (et-pro-ioc/ip/ y et-pro-ioc/domain/).
Verifica que se hayan creado archivos .csv nuevos con la marca de tiempo actual.

Si ves errores en los registros, haz lo siguiente:

HTTP 401: Verifica ET_API_KEY en las variables de entorno
HTTP 403: Verifica que la clave de API tenga los permisos necesarios
HTTP 429: Limitación de frecuencia. La función volverá a intentarlo automáticamente con una espera exponencial.
Faltan variables de entorno: Verifica que estén configuradas todas las variables requeridas.

Recupera la cuenta de servicio de Google SecOps

Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.

Obtén el correo electrónico de la cuenta de servicio

Ve a Configuración de SIEM > Feeds.
Haz clic en Agregar feed nuevo.
Haz clic en Configura un feed único.
En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, ET Pro IOC - IP Reputation).
Selecciona Google Cloud Storage V2 como el Tipo de fuente.
Selecciona Emerging Threats Pro como el Tipo de registro.
Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio, por ejemplo:
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
Copia esta dirección de correo electrónico para usarla en el siguiente paso.

Nota: Cada instancia de Google SecOps tiene una cuenta de servicio única. No uses cuentas de servicio de otros ejemplos o documentación.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.

Ve a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket.
Ve a la pestaña Permisos.
Haz clic en Otorgar acceso.
Proporciona los siguientes detalles de configuración:
- Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
- Asignar roles: Selecciona Visualizador de objetos de Storage.
Haz clic en Guardar.

Nota: Si planeas usar la opción de eliminación "Borrar archivos transferidos" o "Borrar archivos transferidos y directorios vacíos", otorga el rol de Administrador de objetos de Storage en lugar del rol de Visualizador de objetos de Storage.

Configura feeds en Google SecOps para transferir registros de IOC de Proofpoint Emerging Threats Pro

Debes crear dos feeds independientes: uno para la reputación de la IP y otro para la reputación del dominio.

Crea un feed de reputación de IP

Ve a Configuración de SIEM > Feeds.
Haz clic en Agregar feed nuevo.
Haz clic en Configura un feed único.
En el campo Nombre del feed, ingresa ET Pro IOC - IP Reputation.
Selecciona Google Cloud Storage V2 como el Tipo de fuente.
Selecciona Emerging Threats Pro como el Tipo de registro.
Haz clic en Siguiente.
Especifica valores para los siguientes parámetros de entrada:
- URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:
```
gs://et-pro-ioc-bucket/et-pro-ioc/ip/
```
  - Reemplaza et-pro-ioc-bucket por el nombre real de tu bucket de GCS.
  Nota: Siempre incluye la barra diagonal final (/) al final del URI.
- Opción de borrado de la fuente: Selecciona la opción de borrado según tu preferencia:
  - Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
  - Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.
  - Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.
    
    Nota: Si seleccionas una opción de eliminación, la cuenta de servicio debe tener el rol de administrador de objetos de Storage en lugar del rol de visualizador de objetos de Storage. Actualiza los permisos de IAM según corresponda.
- Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
- Espacio de nombres del recurso: Es el espacio de nombres del recurso.
- Etiquetas de transmisión: Es la etiqueta que se aplica a los eventos de este feed.
Haz clic en Siguiente.
Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

Crea un feed de reputación del dominio

Repite el proceso de creación del feed:

Ve a Configuración de SIEM > Feeds.
Haz clic en Agregar feed nuevo.
Haz clic en Configura un feed único.
En el campo Nombre del feed, ingresa ET Pro IOC - Domain Reputation.
Selecciona Google Cloud Storage V2 como el Tipo de fuente.
Selecciona Emerging Threats Pro como el Tipo de registro.
Haz clic en Siguiente.
Especifica valores para los siguientes parámetros de entrada:
- URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:
```
gs://et-pro-ioc-bucket/et-pro-ioc/domain/
```
Reemplaza et-pro-ioc-bucket por el nombre real de tu bucket de GCS.

Nota: Siempre incluye la barra diagonal final (/) al final del URI.
- Opción de borrado de la fuente: Selecciona la opción que prefieras.
- Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
- Espacio de nombres del recurso: Es el espacio de nombres del recurso.
- Etiquetas de transmisión: Es la etiqueta que se aplica a los eventos de este feed.
Haz clic en Siguiente.
Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

Tabla de asignación de UDM

Campo de registro	Asignación de UDM	Lógica
categoría	Este campo se usa en la lógica del analizador, pero no se asigna directamente al UDM.	Determina el valor de event.ioc.categorization a través de una tabla de búsqueda.
collection_time.nanos	event.idm.entity.metadata.collected_timestamp.nanos	Se asigna directamente desde el registro sin procesar.
collection_time.seconds	event.idm.entity.metadata.collected_timestamp.seconds	Se asigna directamente desde el registro sin procesar.
datos	Este campo se analiza en varios campos del UDM según su contenido.
first_seen	event.idm.entity.metadata.interval.start_time	Se analizó como una fecha y se asignó al UDM.
first_seen	event.ioc.active_timerange.start	Se analizó como una fecha y se asignó al UDM.
ip_or_domain	event.idm.entity.entity.hostname	Se asigna al UDM si el patrón de grok extrae un host del campo.
ip_or_domain	event.idm.entity.entity.ip	Se asigna al UDM si el patrón de Grok no extrae un host del campo.
ip_or_domain	event.ioc.domain_and_ports.domain	Se asigna al UDM si el patrón de grok extrae un host del campo.
ip_or_domain	event.ioc.ip_and_ports.ip_address	Se asigna al UDM si el patrón de Grok no extrae un host del campo.
last_seen	event.idm.entity.metadata.interval.end_time	Se analizó como una fecha y se asignó al UDM.
last_seen	event.ioc.active_timerange.end	Se analizó como una fecha y se asignó al UDM.
ports	event.idm.entity.entity.labels.value	Se analiza, se une con un delimitador de comas y se asigna al UDM si hay varios puertos.
ports	event.idm.entity.entity.port	Se analiza y se asigna al UDM si solo hay un puerto.
ports	event.ioc.domain_and_ports.ports	Se analiza y se asigna al UDM si el patrón de grok extrae un host del campo.
ports	event.ioc.ip_and_ports.ports	Se analiza y se asigna al UDM si el patrón de Grok no extrae un host del campo.
puntuación	event.ioc.confidence_score	Se asigna directamente desde el registro sin procesar.
	event.idm.entity.entity.labels.key	Se establece en "ports" si hay varios puertos.
	event.idm.entity.metadata.entity_type	Se establece en "DOMAIN_NAME" si el patrón de Grok extrae un host del campo ip_or_domain; de lo contrario, se establece en "IP_ADDRESS".
	event.idm.entity.metadata.threat.category	Se establece en "SOFTWARE_MALICIOUS".
	event.idm.entity.metadata.threat.category_details	Se deriva del campo de categoría con una tabla de búsqueda.
	event.idm.entity.metadata.threat.threat_name	Se debe establecer en "ET Intelligence Rep List".
	event.idm.entity.metadata.vendor_name	Se debe establecer en "ET_PRO_IOC".
	event.ioc.feed_name	Se debe establecer en "ET Intelligence Rep List".
	event.ioc.raw_severity	Se estableció como "Malicioso".
	timestamp.nanos	Se copió de collection_time.nanos.
	timestamp.seconds	Se copió de collection_time.seconds.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.