Recopila registros de URLScan IO

Se admite en los siguientes sistemas operativos:

Google SecOps SIEM

Nota: Esta función está sujeta a las Condiciones de las Ofertas de Fase Previa a la DG de las Condiciones Específicas del Servicio de Operaciones de Seguridad de Google. Las características de la fase previa a la DG pueden tener asistencia limitada, y es posible que los cambios en las características de la fase previa a la DG no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta los Lineamientos de los Servicios de Asistencia Técnica de Google SecOps y las Condiciones Específicas del Servicio de Google SecOps.

En este documento, se explica cómo transferir registros de URLScan IO a Google Security Operations con Amazon S3.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

• Una instancia de Google SecOps
• Acceso con privilegios al arrendatario de URLScan IO
• Acceso con privilegios a AWS (S3, IAM, Lambda, EventBridge)

Obtén los requisitos previos de URLScan IO

1. Accede a URLScan IO.
2. Haz clic en tu ícono de perfil.
3. Selecciona Clave de API en el menú.
4. Si aún no tienes una clave de API, sigue estos pasos:
   • Haz clic en el botón Crear clave de API.
   • Ingresa una descripción para la clave de API (por ejemplo, Google SecOps Integration).
   • Selecciona los permisos para la clave (para el acceso de solo lectura, selecciona los permisos de Lectura).
   • Haz clic en Generar clave de API.
5. Copia y guarda en una ubicación segura los siguientes detalles:
   • API_KEY: Es la cadena de la clave de API generada (formato: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx).
   • URL base de la API: https://urlscan.io/api/v1 (es constante para todos los usuarios)
6. Ten en cuenta los límites de cuota de la API:
   • Cuentas gratuitas: Se limitan a 1, 000 llamadas a la API por día y 60 por minuto.
   • Cuentas Pro: Límites más altos según el nivel de suscripción
7. Si necesitas restringir las búsquedas solo a los análisis de tu organización, ten en cuenta lo siguiente:
   • Identificador del usuario: Tu nombre de usuario o correo electrónico (para usar con el filtro de búsqueda user:)
   • Identificador del equipo: Si se usa la función de equipos (para usar con el filtro de búsqueda team:)

Configura el bucket de AWS S3 y el IAM para Google SecOps

1. Crea un bucket de Amazon S3 siguiendo esta guía del usuario: Cómo crear un bucket.
2. Guarda el Nombre y la Región del bucket para futuras referencias (por ejemplo, urlscan-logs-bucket).
3. Crea un usuario siguiendo esta guía del usuario: Cómo crear un usuario de IAM.
4. Selecciona el usuario creado.
5. Selecciona la pestaña Credenciales de seguridad.
6. Haz clic en Crear clave de acceso en la sección Claves de acceso.
7. Selecciona Servicio de terceros como Caso de uso.
8. Haz clic en Siguiente.
9. Opcional: Agrega una etiqueta de descripción.
10. Haz clic en Crear clave de acceso.
11. Haz clic en Descargar archivo CSV para guardar la clave de acceso y la clave de acceso secreta para consultarlas en el futuro.
12. Haz clic en Listo.
13. Selecciona la pestaña Permisos.
14. Haz clic en Agregar permisos en la sección Políticas de permisos.
15. Selecciona Agregar permisos.
16. Selecciona Adjuntar políticas directamente.
17. Busca la política AmazonS3FullAccess.
18. Selecciona la política.
19. Haz clic en Siguiente.
20. Haz clic en Agregar permisos.

Configura la política y el rol de IAM para las cargas de S3

1. En la consola de AWS, ve a IAM > Políticas.
2. Haz clic en Crear política > pestaña JSON.

3. Ingresa la siguiente política:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "AllowPutObjects",
         "Effect": "Allow",
         "Action": "s3:PutObject",
         "Resource": "arn:aws:s3:::urlscan-logs-bucket/*"
       },
       {
         "Sid": "AllowGetStateObject",
         "Effect": "Allow",
         "Action": "s3:GetObject",
         "Resource": "arn:aws:s3:::urlscan-logs-bucket/urlscan/state.json"
       }
     ]
   }
   

   • Reemplaza urlscan-logs-bucket si ingresaste un nombre de bucket diferente.

4. Haz clic en Siguiente > Crear política.

5. Ve a IAM > Roles > Crear rol > Servicio de AWS > Lambda.

6. Adjunta la política recién creada.

7. Nombra el rol urlscan-lambda-role y haz clic en Crear rol.

Crea la función Lambda

1. En la consola de AWS, ve a Lambda > Functions > Create function.
2. Haz clic en Crear desde cero.

3. Proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Nombre	urlscan-collector
   Tiempo de ejecución	Python 3.13
   Arquitectura	x86_64
   Rol de ejecución	urlscan-lambda-role

4. Después de crear la función, abre la pestaña Code, borra el código auxiliar y, luego, ingresa el siguiente código (urlscan-collector.py):

   import json
   import os
   import boto3
   from datetime import datetime, timedelta
   import urllib3
   import base64
   
   s3 = boto3.client('s3')
   http = urllib3.PoolManager()
   
   def lambda_handler(event, context):
       # Environment variables
       bucket = os.environ['S3_BUCKET']
       prefix = os.environ['S3_PREFIX']
       state_key = os.environ['STATE_KEY']
       api_key = os.environ['API_KEY']
       api_base = os.environ['API_BASE']
       search_query = os.environ.get('SEARCH_QUERY', 'date:>now-1h')
       page_size = int(os.environ.get('PAGE_SIZE', '100'))
       max_pages = int(os.environ.get('MAX_PAGES', '10'))
   
       # Load state
       state = load_state(bucket, state_key)
       last_run = state.get('last_run')
   
       # Prepare search query
       if last_run:
           # Adjust search query based on last run
           search_time = datetime.fromisoformat(last_run)
           time_diff = datetime.utcnow() - search_time
           hours = int(time_diff.total_seconds() / 3600) + 1
           search_query = f'date:>now-{hours}h'
   
       # Search for scans
       headers = {'API-Key': api_key}
       all_results = []
   
       for page in range(max_pages):
           search_url = f"{api_base}/search/"
           params = {
               'q': search_query,
               'size': page_size,
               'offset': page * page_size
           }
   
           # Make search request
           response = http.request(
               'GET',
               search_url,
               fields=params,
               headers=headers
           )
   
           if response.status != 200:
               print(f"Search failed: {response.status}")
               break
   
           search_data = json.loads(response.data.decode('utf-8'))
           results = search_data.get('results', [])
   
           if not results:
               break
   
           # Fetch full result for each scan
           for result in results:
               uuid = result.get('task', {}).get('uuid')
               if uuid:
                   result_url = f"{api_base}/result/{uuid}/"
                   result_response = http.request(
                       'GET',
                       result_url,
                       headers=headers
                   )
   
                   if result_response.status == 200:
                       full_result = json.loads(result_response.data.decode('utf-8'))
                       all_results.append(full_result)
                   else:
                       print(f"Failed to fetch result for {uuid}: {result_response.status}")
   
           # Check if we have more pages
           if len(results) < page_size:
               break
   
       # Write results to S3
       if all_results:
           now = datetime.utcnow()
           file_key = f"{prefix}year={now.year}/month={now.month:02d}/day={now.day:02d}/hour={now.hour:02d}/urlscan_{now.strftime('%Y%m%d_%H%M%S')}.json"
   
           # Create NDJSON content
           ndjson_content = '\n'.join([json.dumps(r, separators=(',', ':')) for r in all_results])
   
           # Upload to S3
           s3.put_object(
               Bucket=bucket,
               Key=file_key,
               Body=ndjson_content.encode('utf-8'),
               ContentType='application/x-ndjson'
           )
   
           print(f"Uploaded {len(all_results)} results to s3://{bucket}/{file_key}")
   
       # Update state
       state['last_run'] = datetime.utcnow().isoformat()
       save_state(bucket, state_key, state)
   
       return {
           'statusCode': 200,
           'body': json.dumps({
               'message': f'Processed {len(all_results)} scan results',
               'location': f"s3://{bucket}/{prefix}"
           })
       }
   
   def load_state(bucket, key):
       try:
           response = s3.get_object(Bucket=bucket, Key=key)
           return json.loads(response['Body'].read())
       except s3.exceptions.NoSuchKey:
           return {}
       except Exception as e:
           print(f"Error loading state: {e}")
           return {}
   
   def save_state(bucket, key, state):
       try:
           s3.put_object(
               Bucket=bucket,
               Key=key,
               Body=json.dumps(state),
               ContentType='application/json'
           )
       except Exception as e:
           print(f"Error saving state: {e}")
   

5. Ve a Configuration > Environment variables.

6. Haz clic en Editar > Agregar nueva variable de entorno.

7. Ingresa las siguientes variables de entorno y reemplaza los valores por los tuyos:

   Clave	Valor de ejemplo
   S3_BUCKET	urlscan-logs-bucket
   S3_PREFIX	urlscan/
   STATE_KEY	urlscan/state.json
   API_KEY	<your-api-key>
   API_BASE	https://urlscan.io/api/v1
   SEARCH_QUERY	date:>now-1h
   PAGE_SIZE	100
   MAX_PAGES	10

8. Después de crear la función, permanece en su página (o abre Lambda > Functions > tu-función).

9. Selecciona la pestaña Configuración.

10. En el panel Configuración general, haz clic en Editar.

11. Cambia Tiempo de espera a 5 minutos (300 segundos) y haz clic en Guardar.

    Nota: El tiempo de espera es un límite superior estricto, lo que significa que, si la función sigue en ejecución cuando el temporizador llega a los 5 minutos, AWS Lambda la finalizará. Cualquier ejecución más corta simplemente finaliza de forma normal, y solo se te factura el tiempo de ejecución real.

Crea una programación de EventBridge

1. Ve a Amazon EventBridge > Scheduler > Create schedule.
2. Proporciona los siguientes detalles de configuración:
   • Programación recurrente: Frecuencia (1 hour).
   • Destino: Tu función Lambda urlscan-collector.
   • Nombre: urlscan-collector-1h.
3. Haz clic en Crear programación.

Opcional: Crea un usuario y claves de IAM de solo lectura para Google SecOps

1. Ve a Consola de AWS > IAM > Usuarios.
2. Haz clic en Agregar usuarios.
3. Proporciona los siguientes detalles de configuración:
   • Usuario: Ingresa secops-reader.
   • Tipo de acceso: Selecciona Clave de acceso: Acceso programático.
4. Haz clic en Crear usuario.
5. Adjunta una política de lectura mínima (personalizada): Usuarios > secops-reader > Permisos > Agregar permisos > Adjuntar políticas directamente > Crear política.

6. En el editor de JSON, ingresa la siguiente política:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": ["s3:GetObject"],
         "Resource": "arn:aws:s3:::urlscan-logs-bucket/*"
       },
       {
         "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::urlscan-logs-bucket"
       }
     ]
   }
   

7. Configura el nombre como secops-reader-policy.

8. Ve a Crear política > busca o selecciona > Siguiente > Agregar permisos.

9. Ve a Credenciales de seguridad > Claves de acceso > Crear clave de acceso.

10. Descarga el archivo CSV (estos valores se ingresan en el feed).

Configura un feed en Google SecOps para transferir registros de URLScan IO

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Agregar feed nuevo.
3. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, URLScan IO logs).
4. Selecciona Amazon S3 V2 como el Tipo de fuente.
5. Selecciona URLScan IO como el Tipo de registro.
6. Haz clic en Siguiente.
7. Especifica valores para los siguientes parámetros de entrada:
   • URI de S3: s3://urlscan-logs-bucket/urlscan/
   • Opciones de borrado de la fuente: Selecciona la opción de borrado según tu preferencia.
   • Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
   • ID de clave de acceso: Clave de acceso del usuario con acceso al bucket de S3.
   • Clave de acceso secreta: Clave secreta del usuario con acceso al bucket de S3.
   • Espacio de nombres del recurso: Es el espacio de nombres del recurso.
   • Etiquetas de transmisión: Es la etiqueta que se aplica a los eventos de este feed.
8. Haz clic en Siguiente.
9. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.