Recopila registros de SpyCloud

Se admite en los siguientes sistemas operativos:

En este documento, se explica cómo transferir registros de SpyCloud a Google Security Operations con Google Cloud Storage V2.

SpyCloud es una plataforma de prevención de apropiación de cuentas que proporciona inteligencia sobre filtraciones y credenciales robadas. Proporciona registros de incumplimientos, alertas de la lista de vigilancia e informes de credenciales vulneradas a través de una API de REST.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

  • Una instancia de Google SecOps
  • Un proyecto de GCP con la API de Cloud Storage habilitada
  • Permisos para crear y administrar buckets de GCS
  • Permisos para administrar políticas de IAM en buckets de GCS
  • Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
  • Una cuenta de SpyCloud con acceso a la API y una clave de API válida

Crea un bucket de Google Cloud Storage

  1. Ve a la consola de Google Cloud.
  2. Selecciona tu proyecto o crea uno nuevo.
  3. En el menú de navegación, ve a Cloud Storage > Buckets.
  4. Haz clic en Crear bucket.

  5. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Asigna un nombre a tu bucket Ingresa un nombre global único (por ejemplo, spycloud-logs).
    Tipo de ubicación Elige según tus necesidades (regional, birregional o multirregional)
    Ubicación Selecciona la ubicación (por ejemplo, us-central1).
    Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia)
    Control de acceso Uniforme (recomendado)
    Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención

  6. Haz clic en Crear.

Recopila credenciales de la API de SpyCloud

Cómo obtener una clave de API

  1. Accede al portal de Spycloud como administrador.
  2. Ve a Configuración > API.
  3. Copia y guarda la clave de API en una ubicación segura.

Verifica los permisos

Para verificar que tu clave de API tenga el acceso requerido, sigue estos pasos:

  1. Accede al portal de SpyCloud.
  2. Ve a Configuración > API.
  3. Verifica que la clave de API esté activa y tenga acceso a los extremos requeridos (datos de incumplimiento, lista de vigilancia y brújula).
  4. Si el acceso está restringido, comunícate con tu administrador de SpyCloud.

Prueba el acceso a la API

  • Prueba tus credenciales antes de continuar con la integración:

    # Replace with your actual API key
API_KEY="your-api-key"

# Test API access - fetch watchlist data
curl -v -H "X-API-Key: ${API_KEY}" \
  "https://api.spycloud.io/enterprise-v2/breach/data/watchlist?since=2024-01-01&until=2024-01-02"

Crea una cuenta de servicio para la función de Cloud Run

La función de Cloud Run necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y para que Pub/Sub la invoque.

Crear cuenta de servicio

  1. En Google Cloud Console, ve a IAM y administración > Cuentas de servicio.
  2. Haz clic en Crear cuenta de servicio.
  3. Proporciona los siguientes detalles de configuración:
    • Nombre de la cuenta de servicio: Ingresa spycloud-collector-sa.
    • Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect SpyCloud logs.
  4. Haz clic en Crear y continuar.
  5. En la sección Otorga acceso al proyecto a esta cuenta de servicio, agrega los siguientes roles:
    1. Haz clic en Selecciona un rol.
    2. Busca y selecciona Administrador de objetos de Storage.
    3. Haz clic en + Agregar otro rol.
    4. Busca y selecciona Invocador de Cloud Run.
    5. Haz clic en + Agregar otro rol.
    6. Busca y selecciona Invocador de Cloud Functions.
  6. Haz clic en Continuar.
  7. Haz clic en Listo.

Estos roles son necesarios para lo siguiente:

  • Administrador de objetos de Storage: Escribe registros en el bucket de GCS y administra archivos de estado
  • Invocador de Cloud Run: Permite que Pub/Sub invoque la función
  • Invocador de Cloud Functions: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en el nombre de tu bucket (por ejemplo, spycloud-logs).
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar entidades: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, spycloud-collector-sa@your-project.iam.gserviceaccount.com).
    • Asignar roles: Selecciona Administrador de objetos de Storage.
  6. Haz clic en Guardar.

Crea un tema de Pub/Sub

Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.

  1. En Google Cloud Console, ve a Pub/Sub > Temas.
  2. Haz clic en Crear tema.
  3. Proporciona los siguientes detalles de configuración:
    • ID del tema: Ingresa spycloud-trigger.
    • Deja el resto de la configuración con sus valores predeterminados.
  4. Haz clic en Crear.

Crea una función de Cloud Run para recopilar registros

La función de Cloud Run se activará con mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de SpyCloud y escribirlos en GCS.

  1. En Google Cloud Console, ve a Cloud Run.
  2. Haz clic en Crear servicio.
  3. Selecciona Función (usa un editor intercalado para crear una función).

  4. En la sección Configurar, proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre del servicio spycloud-collector
    Región Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).
    Tiempo de ejecución Selecciona Python 3.12 o una versión posterior.

  5. En la sección Activador (opcional), haz lo siguiente:

    1. Haz clic en + Agregar activador.
    2. Selecciona Cloud Pub/Sub.
    3. En Selecciona un tema de Cloud Pub/Sub, elige el tema spycloud-trigger.
    4. Haz clic en Guardar.

  6. En la sección Autenticación, haz lo siguiente:

    1. Selecciona Necesita autenticación.
    2. Verifica Identity and Access Management (IAM).

  7. Desplázate hacia abajo y expande Contenedores, redes y seguridad.

  8. Ve a la pestaña Seguridad:

    • Cuenta de servicio: Selecciona la cuenta de servicio spycloud-collector-sa.

  9. Ve a la pestaña Contenedores:

    1. Haz clic en Variables y secretos.
    2. Haz clic en + Agregar variable para cada variable de entorno:
    Nombre de la variable Valor de ejemplo Descripción
    GCS_BUCKET spycloud-logs Nombre del bucket de GCS
    GCS_PREFIX spycloud Prefijo para los archivos de registro
    STATE_KEY spycloud/state.json Ruta de acceso al archivo de estado
    API_KEY your-api-key Clave de API de SpyCloud
    API_BASE https://api.spycloud.io URL base de la API
    MAX_RECORDS 10000 Cantidad máxima de registros por ejecución
    LOOKBACK_DAYS 7 Período de visualización inicial en días
    STREAMS watchlist,catalog Transmisiones de datos separadas por comas

  10. En la pestaña Variables y secretos, desplázate hacia abajo hasta Solicitudes:

    • Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).

  11. Ve a la pestaña Configuración en Contenedores:

    • En la sección Recursos, haz lo siguiente:
      • Memoria: Selecciona 512 MiB o más.
      • CPU: Selecciona 1.

  12. En la sección Escalamiento de revisión, haz lo siguiente:

    • Cantidad mínima de instancias: Ingresa 0.
    • Cantidad máxima de instancias: Ingresa 100 (o ajusta según la carga esperada).

  13. Haz clic en Crear.

  14. Espera a que se cree el servicio (de 1 a 2 minutos).

  15. Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agregar el código de función

  1. Ingresa main en Punto de entrada de la función.

  2. En el editor de código intercalado, crea dos archivos:

    • Primer archivo: main.py:

      import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
  timeout=urllib3.Timeout(connect=5.0, read=30.0),
  retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'spycloud')
STATE_KEY = os.environ.get('STATE_KEY', 'spycloud/state.json')
API_KEY = os.environ.get('API_KEY', '')
API_BASE = os.environ.get('API_BASE', 'https://api.spycloud.io').rstrip('/')
MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '10000'))
LOOKBACK_DAYS = int(os.environ.get('LOOKBACK_DAYS', '7'))
STREAMS = [s.strip() for s in os.environ.get('STREAMS', 'watchlist').split(',') if s.strip()]

def parse_datetime(value: str) -> datetime:
  """Parse ISO datetime string to datetime object."""
  if value.endswith("Z"):
    value = value[:-1] + "+00:00"
  return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function triggered by Pub/Sub to fetch SpyCloud logs and write to GCS.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """

  if not all([GCS_BUCKET, API_KEY]):
    print('Error: Missing required environment variables')
    return

  try:
    bucket = storage_client.bucket(GCS_BUCKET)

    # Load state
    state = load_state(bucket, STATE_KEY)

    now = datetime.now(timezone.utc)

    # Determine date range
    if isinstance(state, dict) and state.get("last_date"):
      since_date = state["last_date"]
    else:
      since_date = (now - timedelta(days=LOOKBACK_DAYS)).strftime('%Y-%m-%d')

    until_date = now.strftime('%Y-%m-%d')

    print(f"Fetching data from {since_date} to {until_date}")

    report = {}

    if 'watchlist' in STREAMS:
      print("Fetching watchlist breach data...")
      count = pull_watchlist(bucket, since_date, until_date)
      report['watchlist_records'] = count

    if 'catalog' in STREAMS:
      print("Fetching breach catalog...")
      count = pull_catalog(bucket, since_date, until_date)
      report['catalog_records'] = count

    if 'compass' in STREAMS:
      print("Fetching compass data...")
      count = pull_compass(bucket, since_date, until_date)
      report['compass_records'] = count

    # Update state
    save_state(bucket, STATE_KEY, until_date)
    print(f"Successfully processed: {json.dumps(report)}")

  except Exception as e:
    print(f'Error processing logs: {str(e)}')
    raise

def load_state(bucket, key):
  """Load state from GCS."""
  try:
    blob = bucket.blob(key)
    if blob.exists():
      state_data = blob.download_as_text()
      return json.loads(state_data)
  except Exception as e:
    print(f"Warning: Could not load state: {e}")

  return {}

def save_state(bucket, key, last_date: str):
  """Save the last query date to GCS state file."""
  try:
    state = {'last_date': last_date, 'last_event_time': datetime.now(timezone.utc).isoformat()}
    blob = bucket.blob(key)
    blob.upload_from_string(
      json.dumps(state, indent=2),
      content_type='application/json'
    )
    print(f"Saved state: last_date={last_date}")
  except Exception as e:
    print(f"Warning: Could not save state: {e}")

def api_get(endpoint: str, params: dict = None):
  """Make authenticated GET request to SpyCloud API with rate limiting."""
  url = f"{API_BASE}{endpoint}"
  if params:
    query = '&'.join([f"{k}={v}" for k, v in params.items()])
    url = f"{url}?{query}"

  headers = {
    'X-API-Key': API_KEY,
    'Accept': 'application/json',
    'User-Agent': 'GoogleSecOps-SpyCloudCollector/1.0'
  }

  backoff = 1.0
  max_retries = 3

  for attempt in range(max_retries):
    response = http.request('GET', url, headers=headers)

    if response.status == 429:
      retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
      print(f"Rate limited (429). Retrying after {retry_after}s...")
      time.sleep(retry_after)
      backoff = min(backoff * 2, 30.0)
      continue

    if response.status != 200:
      print(f"HTTP Error: {response.status} - {response.data.decode('utf-8')}")
      return None

    return json.loads(response.data.decode('utf-8'))

  print(f"Failed after {max_retries} retries due to rate limiting")
  return None

def write_ndjson(bucket, prefix: str, stream_name: str, records: list):
  """Write records to GCS as NDJSON."""
  if not records:
    return 0

  now = datetime.now(timezone.utc)
  timestamp = now.strftime('%Y%m%d_%H%M%S')
  object_key = f"{GCS_PREFIX}/{stream_name}/logs_{timestamp}.ndjson"
  blob = bucket.blob(object_key)

  ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
  blob.upload_from_string(ndjson, content_type='application/x-ndjson')

  print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
  return len(records)

def pull_watchlist(bucket, since_date: str, until_date: str):
  """Fetch watchlist breach data."""
  cursor = None
  all_records = []

  while True:
    params = {'since': since_date, 'until': until_date}
    if cursor:
      params['cursor'] = cursor

    data = api_get('/enterprise-v2/breach/data/watchlist', params)
    if not data:
      break

    results = data.get('results', [])
    if not results:
      break

    all_records.extend(results)

    if len(all_records) >= MAX_RECORDS:
      print(f"Reached max_records limit ({MAX_RECORDS})")
      break

    cursor = data.get('cursor')
    if not cursor:
      break

  return write_ndjson(bucket, GCS_PREFIX, 'watchlist', all_records)

def pull_catalog(bucket, since_date: str, until_date: str):
  """Fetch breach catalog."""
  params = {'since': since_date, 'until': until_date}
  data = api_get('/enterprise-v2/breach/catalog', params)
  if not data:
    return 0

  results = data.get('results', [])
  return write_ndjson(bucket, GCS_PREFIX, 'catalog', results)

def pull_compass(bucket, since_date: str, until_date: str):
  """Fetch compass findings."""
  cursor = None
  all_records = []

  while True:
    params = {'since': since_date, 'until': until_date}
    if cursor:
      params['cursor'] = cursor

    data = api_get('/enterprise-v2/compass/data', params)
    if not data:
      break

    results = data.get('results', [])
    if not results:
      break

    all_records.extend(results)

    if len(all_records) >= MAX_RECORDS:
      print(f"Reached max_records limit ({MAX_RECORDS})")
      break

    cursor = data.get('cursor')
    if not cursor:
      break

  return write_ndjson(bucket, GCS_PREFIX, 'compass', all_records)

    • Segundo archivo: requirements.txt:

      functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. Haz clic en Implementar para guardar y, luego, implementar la función.

  4. Espera a que se complete la implementación (de 2 a 3 minutos).

Crea un trabajo de Cloud Scheduler

Cloud Scheduler publicará mensajes en el tema de Pub/Sub a intervalos regulares, lo que activará la función de Cloud Run.

  1. En Google Cloud Console, ve a Cloud Scheduler.
  2. Haz clic en Crear trabajo.

  3. Proporciona los siguientes detalles de configuración:

    Parámetro de configuración Valor
    Nombre spycloud-collector-daily
    Región Selecciona la misma región que la función de Cloud Run
    Frecuencia 0 0 * * * (diariamente a la medianoche)
    Zona horaria Selecciona la zona horaria (se recomienda UTC)
    Tipo de objetivo Pub/Sub
    Tema Selecciona el tema spycloud-trigger.
    Cuerpo del mensaje {} (objeto JSON vacío)

  4. Haz clic en Crear.

Opciones de frecuencia de programación

Elige la frecuencia según los requisitos de volumen y latencia de los registros:

Frecuencia Expresión cron Caso de uso
Cada 5 minutos */5 * * * * Alto volumen y baja latencia
Cada 15 minutos */15 * * * * Volumen medio
Cada 1 hora 0 * * * * Estándar
Cada 6 horas 0 */6 * * * Procesamiento por lotes de bajo volumen
Diario 0 0 * * * Recopilación de datos históricos (recomendada para los datos de incumplimiento)

Prueba la integración

  1. En la consola de Cloud Scheduler, busca tu trabajo (spycloud-collector-daily).
  2. Haz clic en Forzar ejecución para activar el DAG de forma manual.
  3. Espera unos segundos y ve a Cloud Run > Servicios > spycloud-collector > Registros.

  4. Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:

    Fetching data from YYYY-MM-DD to YYYY-MM-DD
Fetching watchlist breach data...
Wrote X records to gs://spycloud-logs/spycloud/watchlist/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed: {"watchlist_records": X, "catalog_records": Y}

  5. Verifica el bucket de GCS (spycloud-logs) para confirmar que se escribieron los registros.

Si ves errores en los registros, haz lo siguiente:

  • HTTP 401: Verifica la clave de API en las variables de entorno
  • HTTP 403: Verifica que la clave de API tenga acceso a los endpoints requeridos
  • HTTP 429: Limitación de frecuencia. La función volverá a intentarlo automáticamente con una espera exponencial.
  • Faltan variables de entorno: Verifica que estén configuradas todas las variables obligatorias.

Configura un feed en Google SecOps para transferir registros de SpyCloud

  1. Ve a Configuración de SIEM > Feeds.
  2. Haz clic en Add New Feed.
  3. Haz clic en Configura un feed único.
  4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, SpyCloud Logs).
  5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
  6. Selecciona SpyCloud como el Tipo de registro.

  7. Haz clic en Obtener cuenta de servicio. Se mostrará un correo electrónico único de la cuenta de servicio, por ejemplo:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. Copia esta dirección de correo electrónico. la usarás en el próximo paso.

  9. Haz clic en Siguiente.

  10. Especifica valores para los siguientes parámetros de entrada:

    • URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:

      gs://spycloud-logs/spycloud/
      • Reemplaza:
        • spycloud-logs: Es el nombre de tu bucket de GCS.
        • spycloud: Es el prefijo o la ruta de carpeta opcional en la que se almacenan los registros (déjalo vacío para la raíz).

    • Opción de eliminación del código fuente: Selecciona la opción de eliminación según tu preferencia:

      • Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
      • Borrar archivos transferidos: Borra los archivos después de que se transfirieron correctamente.

      • Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de que se transfirieron correctamente.

    • Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada (el valor predeterminado es de 180 días).

    • Espacio de nombres del recurso: Es el espacio de nombres del recurso.

    • Etiquetas de transferencia: Es la etiqueta que se aplicará a los eventos de este feed.

  11. Haz clic en Siguiente.

  12. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de Storage en tu bucket de GCS.

  1. Ve a Cloud Storage > Buckets.
  2. Haz clic en el nombre de tu bucket (spycloud-logs).
  3. Ve a la pestaña Permisos.
  4. Haz clic en Otorgar acceso.
  5. Proporciona los siguientes detalles de configuración:
    • Agregar entidades: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
    • Asignar roles: Selecciona Visualizador de objetos de Storage.

  6. Haz clic en Guardar.

Tabla de asignación de UDM

Campo de registro Asignación de UDM Lógica
av_softwares, assets.av_softwares, assets.country, assets.country_code, assets.display_resolution, assets.email, assets.full_name, assets.infected_machine_id, assets.infected_path, assets.infected_time, assets.ip_addresses, assets.keyboard_languages, assets.password, assets.target_url, assets.username, assets.user_browser, assets.user_hostname, assets.user_os, assets.user_sys_registered_owner additional.fields Se combinaron etiquetas creadas a partir de estos campos y av_software_list
contraseña extensions.auth.auth_details El valor se copió directamente.
cuando metadata.event_timestamp Se analiza como una marca de tiempo ISO8601.
metadata.event_type Se establece según las condiciones: NETWORK_CONNECTION si tiene principal, tiene destino y tiene red; USER_UNCATEGORIZED si tiene principal y tiene principal_userid; STATUS_UPDATE si tiene principal y no tiene principal_ip; de lo contrario, GENERIC_EVENT; o USER_UNCATEGORIZED si están presentes user_hostname, ip o infected_machine_id
infected_time metadata.ingested_timestamp Se analiza como marca de tiempo con los formatos aaaa-MM-ddTHH:mm:ssZ, RFC 3339 e ISO8601.
log_id, assets.log_id, uuid metadata.product_log_id Valor de log_id si no está vacío; de lo contrario, assets.log_id o uuid
user_os network.http.parsed_user_agent Se convirtió en usuario-agente analizado
user_os network.http.user_agent El valor se copió directamente.
cookie_domain principal.administrative_domain El valor se copió directamente.
País principal.asset.location.country_or_region El valor se copió directamente.
infected_machine_id principal.asset_id Se concatenan como "id: " + infected_machine_id
infected_path principal.file.full_path El valor se copió directamente.
user_hostname, domain principal.hostname Se establece en user_hostname si no está vacío y, luego, en domain si no está vacío.
ip, ip_addresses principal.ip Se fusionó del array ip y ip_addresses.
country_code principal.resource.attribute.labels Se combinó desde country_code_label creado a partir de country_code
id principal.resource.id Valor copiado directamente (convertido en cadena)
homepage principal.url El valor se copió directamente.
correo electrónico principal.user.email_addresses El valor se copió directamente.
full_name principal.user.user_display_name El valor se copió directamente.
user_sys_registered_owner, email_username principal.user.userid Se establece en user_sys_registered_owner y, luego, en email_username si no está vacío.
confianza security_result.confidence_details Se convirtió en cadena
descripción security_result.description El valor se copió directamente.
cookie_expiration, cookie_name, cookie_subdomain, cookie_value, day, document_id, locality_zone, source_id, spycloud_publishdate, spycloud_publish_date, user_browser, infected_time, timezone, password_type, password_plaintext, email_domain, api_token, account_status, breach_category, breach_main_category, consumer_category, malware_family, num_records, premium_flag, sensitive_source, short_title, site_description, title, tlp, type, display_resolution, keyboard_languages security_result.detection_fields Se combinaron a partir de etiquetas creadas a partir de estos campos
gravedad, security_result.severity Se establece en LOW si es "2", INFORMATIONAL si es "5", HIGH si es "20" y CRITICAL si es "25" o "26".
gravedad, security_result.severity_details El valor se copió directamente.
target_subdomain target.administrative_domain El valor se copió directamente.
target_domain target.asset.hostname El valor se copió directamente.
target_domain target.hostname El valor se copió directamente.
target_url target.url El valor se copió directamente.
nombre de usuario target.user.userid El valor se copió directamente.
metadata.product_name Se estableció en "SPYCLOUD".
metadata.vendor_name Se estableció en "SpyCloud".
spycloud_publish_date", "infected_time", and "timezone security_result.detection_fields Se asignó desde el registro de cambios

Registro de cambios

Consulta el registro de cambios de este analizador

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.