Recopila archivos de IOC personalizados en formato CSV

Versión del analizador: 4.0

Compatible con:

En este documento, se explica cómo transferir archivos de IOC personalizados en formato CSV a Google Security Operations con Google Cloud Storage. Luego, se asignan estos campos al UDM, se controlan varios tipos de datos, como IPs, dominios y hashes, y se enriquece el resultado con detalles de amenazas, información de entidades y niveles de gravedad.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

  • Una instancia de Google SecOps
  • Un proyecto de GCP con la API de Cloud Storage habilitada
  • Permisos para crear y administrar buckets de GCS
  • Permisos para administrar políticas de IAM en buckets de GCS
  • Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
  • Acceso a una o más URLs de feeds de IOC en formato CSV (HTTPS) o a un extremo interno que entregue archivos CSV

Crea un bucket de Google Cloud Storage

  1. Ve a la consola de Google Cloud.
  2. Selecciona tu proyecto o crea uno nuevo.
  3. En el menú de navegación, ve a Cloud Storage > Buckets.
  4. Haz clic en Crear bucket.
  5. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Asigna un nombre a tu bucket Ingresa un nombre único a nivel global (por ejemplo, csv-ioc-logs).
    Tipo de ubicación Elige una en función de tus necesidades (región, birregional o multirregional).
    Ubicación Selecciona la ubicación (por ejemplo, us-central1).
    Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia)
    Control de acceso Uniforme (recomendado)
    Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención
  6. Haz clic en Crear.

Crea una cuenta de servicio para la función de Cloud Run

La función de Cloud Run necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y que Pub/Sub la invoque.

Crear cuenta de servicio

  1. En Google Cloud Console, ve a IAM y administración > Cuentas de servicio.
  2. Haz clic en Crear cuenta de servicio.
  3. Proporciona los siguientes detalles de configuración:
    • Nombre de la cuenta de servicio: Ingresa csv-ioc-collector-sa.
    • Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect CSV IOC files.
  4. Haz clic en Crear y continuar.
  5. En la sección Otorga acceso al proyecto a esta cuenta de servicio, agrega los siguientes roles:
    1. Haz clic en Selecciona un rol.
    2. Busca y selecciona Administrador de objetos de Storage.
    3. Haz clic en + Agregar otro rol.
    4. Busca y selecciona Invocador de Cloud Run.
    5. Haz clic en + Agregar otro rol.
    6. Busca y selecciona Invocador de Cloud Functions.
  6. Haz clic en Continuar.
  7. Haz clic en Listo.

Estos roles son necesarios para lo siguiente:

  • Administrador de objetos de Storage: Escribe registros en el bucket de GCS
  • Invocador de Cloud Run: Permite que Pub/Sub invoque la función
  • Invocador de Cloud Functions: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en el nombre del bucket.
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar entidades: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, csv-ioc-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Asignar roles: Selecciona Administrador de objetos de Storage.
  6. Haz clic en Guardar.

Crea un tema de Pub/Sub

Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.

  1. En Google Cloud Console, ve a Pub/Sub > Temas.
  2. Haz clic en Crear tema.
  3. Proporciona los siguientes detalles de configuración:
    • ID del tema: Ingresa csv-ioc-trigger.
    • Deja el resto de la configuración con sus valores predeterminados.
  4. Haz clic en Crear.

Crea una función de Cloud Run para recopilar archivos de IOC en formato CSV

La función de Cloud Run se activa con mensajes de Pub/Sub de Cloud Scheduler para recuperar archivos CSV de IOC de extremos HTTPS y los escribe en GCS.

  1. En Google Cloud Console, ve a Cloud Run.
  2. Haz clic en Crear servicio.
  3. Selecciona Función (usa un editor directo para crear una función).
  4. En la sección Configurar, proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre del servicio csv-ioc-collector
    Región Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).
    Tiempo de ejecución Selecciona Python 3.12 o una versión posterior.
  5. En la sección Activador (opcional), haz lo siguiente:

    1. Haz clic en + Agregar activador.
    2. Selecciona Cloud Pub/Sub.
    3. En Selecciona un tema de Cloud Pub/Sub, elige el tema de Pub/Sub (csv-ioc-trigger).
    4. Haz clic en Guardar.
  6. En la sección Autenticación, haz lo siguiente:

    1. Selecciona Necesita autenticación.
    2. Verifica la Administración de identidades y accesos (IAM).
  7. Desplázate hacia abajo y expande Contenedores, redes y seguridad.

  8. Ve a la pestaña Seguridad:

    • Cuenta de servicio: Selecciona la cuenta de servicio (csv-ioc-collector-sa).
  9. Ve a la pestaña Contenedores:

    1. Haz clic en Variables y secretos.
    2. Haz clic en + Agregar variable para cada variable de entorno:
    Nombre de la variable Valor de ejemplo Descripción
    GCS_BUCKET csv-ioc-logs Nombre del bucket de GCS
    GCS_PREFIX csv-ioc Prefijo para los archivos de registro
    IOC_URLS https://ioc.example.com/feed.csv,https://another.example.org/iocs.csv URLs HTTPS separadas por comas
    AUTH_HEADER Authorization: Bearer <token> Encabezado de autenticación opcional
    TIMEOUT 60 Tiempo de espera de la solicitud en segundos
  10. En la sección Variables y Secrets, desplázate hacia abajo hasta Solicitudes:

    • Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).
  11. Ve a la pestaña Configuración:

    • En la sección Recursos, haz lo siguiente:
      • Memoria: Selecciona 512 MiB o más.
      • CPU: Selecciona 1.
    • Haz clic en Listo.
  12. En la sección Escalamiento de revisión, haz lo siguiente:

    • Cantidad mínima de instancias: Ingresa 0.
    • Cantidad máxima de instancias: Ingresa 100 (o ajusta según la carga esperada).
  13. Haz clic en Crear.

  14. Espera a que se cree el servicio (de 1 a 2 minutos).

  15. Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agrega el código de función

  1. Ingresa main en Punto de entrada de la función.
  2. En el editor de código intercalado, crea dos archivos:

    • Primer archivo: main.py:
    import functions_framework
    from google.cloud import storage
    import json
    import os
    import urllib3
    from datetime import datetime, timezone
    import time
    
    # Initialize HTTP client with timeouts
    http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
    )
    
    # Initialize Storage client
    storage_client = storage.Client()
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch CSV IOC feeds over HTTPS and write to GCS.
    
        Args:
            cloud_event: CloudEvent object containing Pub/Sub message
        """
    
        # Get environment variables
        bucket_name = os.environ.get('GCS_BUCKET')
        prefix = os.environ.get('GCS_PREFIX', 'csv-ioc').strip('/')
        ioc_urls_str = os.environ.get('IOC_URLS', '')
        auth_header = os.environ.get('AUTH_HEADER', '')
        timeout = int(os.environ.get('TIMEOUT', '60'))
    
        ioc_urls = [u.strip() for u in ioc_urls_str.split(',') if u.strip()]
    
        if not bucket_name:
            print('Error: GCS_BUCKET environment variable is required')
            return
    
        if not ioc_urls:
            print('Error: IOC_URLS must contain at least one HTTPS URL')
            return
    
        try:
            # Get GCS bucket
            bucket = storage_client.bucket(bucket_name)
    
            run_ts = int(time.time())
            written = []
    
            for i, url in enumerate(ioc_urls):
                print(f'Processing URL {i+1}/{len(ioc_urls)}: {url}')
    
                # Build request
                req_headers = {'Accept': 'text/csv, */*'}
    
                # Add authentication header if provided
                if auth_header:
                    if ':' in auth_header:
                        k, v = auth_header.split(':', 1)
                        req_headers[k.strip()] = v.strip()
                    else:
                        req_headers['Authorization'] = auth_header.strip()
    
                # Fetch data with retries
                data = fetch_with_retries(url, req_headers, timeout)
    
                if data:
                    # Write to GCS
                    key = generate_blob_name(prefix, url, run_ts, i)
                    blob = bucket.blob(key)
                    blob.upload_from_string(data, content_type='text/csv')
    
                    written.append({
                        'url': url,
                        'gcs_key': key,
                        'bytes': len(data)
                    })
    
                    print(f'Wrote {len(data)} bytes to gs://{bucket_name}/{key}')
                else:
                    print(f'Warning: No data retrieved from {url}')
    
            print(f'Successfully processed {len(written)} URLs')
            print(json.dumps({'ok': True, 'written': written}, indent=2))
    
        except Exception as e:
            print(f'Error processing CSV IOC feeds: {str(e)}')
            raise
    
    def fetch_with_retries(url, headers, timeout, max_retries=5):
        """Fetch data from URL with retry logic for 429/5xx errors."""
        if not url.lower().startswith('https://'):
            raise ValueError('Only HTTPS URLs are allowed in IOC_URLS')
    
        attempt = 0
        backoff = 1.0
    
        while attempt < max_retries:
            try:
                response = http.request('GET', url, headers=headers, timeout=timeout)
    
                if response.status == 200:
                    return response.data.decode('utf-8')
                elif response.status == 429 or (500 <= response.status < 600):
                    print(f'Received status {response.status}, retrying in {backoff}s (attempt {attempt+1}/{max_retries})')
                    time.sleep(backoff)
                    attempt += 1
                    backoff *= 2
                else:
                    print(f'Error: Received unexpected status {response.status} from {url}')
                    return None
    
            except Exception as e:
                if attempt < max_retries - 1:
                    print(f'Request failed: {str(e)}, retrying in {backoff}s (attempt {attempt+1}/{max_retries})')
                    time.sleep(backoff)
                    attempt += 1
                    backoff *= 2
                else:
                    raise
    
        print(f'Max retries exceeded for {url}')
        return None
    
    def generate_blob_name(prefix, url, run_ts, idx):
        """Generate a unique blob name for the CSV file."""
        # Create a short, filesystem-safe token for the URL
        safe_url = url.replace('://', '_').replace('/', '_').replace('?', '_').replace('&', '_')[:100]
    
        # Generate timestamp-based path
        timestamp_path = time.strftime('%Y/%m/%d/%H%M%S', time.gmtime(run_ts))
    
        return f"{prefix}/{timestamp_path}-url{idx:03d}-{safe_url}.csv"
    
    • Segundo archivo: requirements.txt:
    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3>=2.0.0
    
  3. Haz clic en Implementar para guardar y, luego, implementar la función.

  4. Espera a que se complete la implementación (de 2 a 3 minutos).

Crea un trabajo de Cloud Scheduler

Cloud Scheduler publicará mensajes en el tema de Pub/Sub a intervalos regulares, lo que activará la función de Cloud Run.

  1. En Google Cloud Console, ve a Cloud Scheduler.
  2. Haz clic en Crear trabajo.
  3. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre csv-ioc-collector-hourly
    Región Selecciona la misma región que la función de Cloud Run
    Frecuencia 0 * * * * (cada hora, en punto)
    Zona horaria Selecciona la zona horaria (se recomienda UTC)
    Tipo de objetivo Pub/Sub
    Tema Selecciona el tema de Pub/Sub (csv-ioc-trigger).
    Cuerpo del mensaje {} (objeto JSON vacío)
  4. Haz clic en Crear.

Opciones de frecuencia de programación

  • Elige la frecuencia según el volumen de registros y los requisitos de latencia:

    Frecuencia Expresión cron Caso de uso
    Cada 5 minutos */5 * * * * Alto volumen y baja latencia
    Cada 15 minutos */15 * * * * Volumen medio
    Cada 1 hora 0 * * * * Estándar (recomendado)
    Cada 6 horas 0 */6 * * * Procesamiento por lotes de bajo volumen
    Diario 0 0 * * * Recopilación de datos históricos

Prueba la integración

  1. En la consola de Cloud Scheduler, busca tu trabajo (csv-ioc-collector-hourly).
  2. Haz clic en Forzar ejecución para activar el trabajo de forma manual.
  3. Espera unos segundos.
  4. Ve a Cloud Run > Servicios.
  5. Haz clic en el nombre de tu función (csv-ioc-collector).
  6. Haz clic en la pestaña Registros.
  7. Verifica que la función se haya ejecutado correctamente. Busca los elementos que se indican a continuación:

    Processing URL 1/X: https://...
    Wrote X bytes to gs://csv-ioc-logs/csv-ioc/YYYY/MM/DD/HHMMSS-url000-...csv
    Successfully processed X URLs
    
  8. Ve a Cloud Storage > Buckets.

  9. Haz clic en el nombre de tu bucket (csv-ioc-logs).

  10. Navega a la carpeta de prefijo (csv-ioc/).

  11. Verifica que se hayan creado archivos .csv nuevos con la marca de tiempo actual.

Si ves errores en los registros, haz lo siguiente:

  • HTTP 401/403: Verifica la variable de entorno AUTH_HEADER
  • HTTP 429: Límite de frecuencia: La función volverá a intentarlo automáticamente con retirada
  • Faltan variables de entorno: Verifica que todas las variables requeridas estén configuradas.
  • Solo se permiten URLs HTTPS: Verifica que IOC_URLS solo contenga URLs HTTPS.

Recupera la cuenta de servicio de Google SecOps

Google SecOps usa una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.

Obtén el correo electrónico de la cuenta de servicio

  1. Ve a Configuración > Administración de datos > Feeds. Si estás en una plataforma solo de SIEM, ve a Configuración > Feeds.
  2. Haz clic en Agregar feed nuevo.
  3. Haz clic en Configura un feed único.
  4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, CSV Custom IOC).
  5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
  6. Selecciona CSV Custom IOC como el Tipo de registro.
  7. Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico de cuenta de servicio único, por ejemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Copia esta dirección de correo electrónico para usarla en el siguiente paso.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de Storage en tu bucket de GCS.

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en el nombre de tu bucket (csv-ioc-logs).
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar entidades: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
    • Asigna roles: Selecciona Visualizador de objetos de Storage.
  6. Haz clic en Guardar.

Configura un feed en Google SecOps para transferir archivos de IOC personalizados en formato CSV

  1. Ve a Configuración > Administración de datos > Feeds. Si estás en una plataforma solo de SIEM, ve a Configuración > Feeds.
  2. Haz clic en Agregar feed nuevo.
  3. Haz clic en Configura un feed único.
  4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, CSV Custom IOC).
  5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
  6. Selecciona CSV Custom IOC como el Tipo de registro.
  7. Haz clic en Siguiente.
  8. Especifica valores para los siguientes parámetros de entrada:

    • URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:

      gs://csv-ioc-logs/csv-ioc/
      
      • Reemplaza lo siguiente:

        • csv-ioc-logs: Es el nombre de tu bucket de GCS.
        • csv-ioc: Es la ruta de acceso opcional del prefijo o la carpeta en la que se almacenan los registros.
      • Ejemplos:

        • Bucket raíz: gs://csv-ioc-logs/
        • Con el prefijo: gs://csv-ioc-logs/csv-ioc/
        • Con la subcarpeta: gs://csv-ioc-logs/ioc-feeds/
    • Opción de eliminación del código fuente: Selecciona la opción de eliminación según tu preferencia:

      • Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
      • Borrar archivos transferidos: Borra los archivos después de que se transfirieron correctamente.
      • Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de que se transfirieron correctamente.

    • Antigüedad máxima del archivo: Incluye los archivos modificados en la última cantidad de días. El valor predeterminado es 180 días.

    • Espacio de nombres del recurso: Es el espacio de nombres del recurso.

    • Etiquetas de transferencia: Es la etiqueta que se aplicará a los eventos de este feed.

  9. Haz clic en Siguiente.

  10. Revisa la configuración de tu feed de noticias nuevo en la pantalla Finalizar y, luego, haz clic en Enviar.

Tabla de asignación de UDM

Campo de registro Asignación de UDM Lógica
asn entity.metadata.threat.detection_fields.asn_label.value Se asigna directamente desde el campo "asn".
categoría entity.metadata.threat.category_details Se asigna directamente desde el campo "category".
clasificación entity.metadata.threat.category_details Se agrega a "classification - " y se asigna al campo "entity.metadata.threat.category_details".
column2 entity.entity.hostname Se asigna a "entity.entity.hostname" si [category] coincide con ". ?ip" o ". ?proxy" y [not_ip] es verdadero.
column2 entity.entity.ip Se combina en "entity.entity.ip" si [category] coincide con ". ?ip" o ". ?proxy" y [not_ip] es falso.
confidence entity.metadata.threat.confidence_score Se convierte en un valor de punto flotante y se asigna al campo "entity.metadata.threat.confidence_score".
País entity.entity.location.country_or_region Se asigna directamente desde el campo "country".
date_first entity.metadata.threat.first_discovered_time Se analiza como ISO8601 y se asigna al campo "entity.metadata.threat.first_discovered_time".
date_last entity.metadata.threat.last_updated_time Se analiza como ISO8601 y se asigna al campo "entity.metadata.threat.last_updated_time".
detalle entity.metadata.threat.summary Se asigna directamente desde el campo "detail".
detail2 entity.metadata.threat.description Se asigna directamente desde el campo "detail2".
dominio entity.entity.hostname Se asigna directamente desde el campo "domain".
correo electrónico entity.entity.user.email_addresses Se combinó con el campo "entity.entity.user.email_addresses".
id entity.metadata.product_entity_id Se agrega a "id - " y se asigna al campo "entity.metadata.product_entity_id".
import_session_id entity.metadata.threat.detection_fields.import_session_id_label.value Se asigna directamente desde el campo "import_session_id".
itype entity.metadata.threat.detection_fields.itype_label.value Se asigna directamente desde el campo "itype".
lat entity.entity.location.region_latitude Se convierte en un número de punto flotante y se asigna al campo "entity.entity.location.region_latitude".
lon entity.entity.location.region_longitude Se convierte en un número de punto flotante y se asigna al campo "entity.entity.location.region_longitude".
maltype entity.metadata.threat.detection_fields.maltype_label.value Se asigna directamente desde el campo "maltype".
md5 entity.entity.file.md5 Se asigna directamente desde el campo "md5".
media entity.metadata.threat.detection_fields.media_label.value Se asigna directamente desde el campo "media".
media_type entity.metadata.threat.detection_fields.media_type_label.value Se asigna directamente desde el campo "media_type".
org entity.metadata.threat.detection_fields.org_label.value Se asigna directamente desde el campo "org".
resource_uri entity.entity.url Se asigna a "entity.entity.url" si [itype] no coincide con "(ip
resource_uri entity.metadata.threat.url_back_to_product Se asigna a "entity.metadata.threat.url_back_to_product" si [itype] coincide con "(ip
puntuación entity.metadata.threat.confidence_details Se asigna directamente desde el campo "score".
gravedad, entity.metadata.threat.severity Se convierte a mayúsculas y se asigna al campo "entity.metadata.threat.severity" si coincide con "LOW", "MEDIUM", "HIGH" o "CRITICAL".
source entity.metadata.threat.detection_fields.source_label.value Se asigna directamente desde el campo "source".
source_feed_id entity.metadata.threat.detection_fields.source_feed_id_label.value Se asigna directamente desde el campo "source_feed_id".
srcip entity.entity.ip Se combina en "entity.entity.ip" si [srcip] no está vacío y no es igual a [value].
state entity.metadata.threat.detection_fields.state_label.value Se asigna directamente desde el campo "state".
trusted_circle_ids entity.metadata.threat.detection_fields.trusted_circle_ids_label.value Se asigna directamente desde el campo "trusted_circle_ids".
update_id entity.metadata.threat.detection_fields.update_id_label.value Se asigna directamente desde el campo "update_id".
valor entity.entity.file.full_path Se asigna a "entity.entity.file.full_path" si [category] coincide con ".*?file".
valor entity.entity.file.md5 Se asigna a "entity.entity.file.md5" si [category] coincide con ".*?md5" y [value] es una cadena hexadecimal de 32 caracteres.
valor entity.entity.file.sha1 Se asigna a "entity.entity.file.sha1" si ([category] coincide con ". ?md5" y [value] es una cadena hexadecimal de 40 caracteres) o ([category] coincide con ". ?sha1" y [value] es una cadena hexadecimal de 40 caracteres).
valor entity.entity.file.sha256 Se asigna a "entity.entity.file.sha256" si ([category] coincide con ". ?md5" y [value] es una cadena hexadecimal y [file_type] no es "md5") o ([category] coincide con ". ?sha256" y [value] es una cadena hexadecimal).
valor entity.entity.hostname Se asigna a "entity.entity.hostname" si ([category] coincide con ". ?domain") o ([category] coincide con ". ?ip" o ".*?proxy" y [not_ip] es verdadero).
valor entity.entity.url Se asigna a "entity.entity.url" si ([category] coincide con ".*?url") o ([category] coincide con "url" y [resource_uri] no está vacío).
N/A entity.metadata.collected_timestamp Se propaga con la marca de tiempo del evento.
N/A entity.metadata.interval.end_time Se establece en un valor constante de 253402300799 segundos.
N/A entity.metadata.interval.start_time Se propaga con la marca de tiempo del evento.
N/A entity.metadata.vendor_name Se establece en un valor constante de "IOC personalizado".
asn", "import_session_id", "itype", "maltype", "media", "media_type", "org", "source", "source_feed_id", "state", "trusted_circle_ids" and "update_id threat.detection_fields Asignado desde el registro de cambios

Registro de cambios

Consulta el registro de cambios de este analizador

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.