Cómo usar la eliminación de duplicados en la Búsqueda y los paneles
En Google Security Operations, los resultados de la búsqueda pueden incluir duplicados cuando varios sistemas registran el mismo evento (por ejemplo, un sistema de autenticación y un firewall que registran un solo acceso).
Para mostrar solo resultados únicos, usa la sección dedup en tu sintaxis de YARA-L. Si agregas campos de UDM a esta sección, te aseguras de que la consulta muestre un solo resultado para cada combinación distinta de valores.
Lineamientos de rendimiento
El operador dedup procesa todos los datos dentro de un período como una sola unidad para mantener la exactitud.
- Rangos óptimos: El rendimiento es mejor para los rangos de 1 día o menos.
- Latencia: Los períodos de entre 7 y 30 días aumentan significativamente la latencia y pueden provocar que se agote el tiempo de espera de las consultas.
Te recomendamos que siempre uses el período más corto posible que sea adecuado para tu investigación cuando apliques el operador dedup.
Anulación de duplicación por tipo de búsqueda
El comportamiento de la eliminación de duplicados depende de si tu búsqueda usa agregaciones y se aplica a los siguientes tipos de búsquedas y consultas de paneles.
Consultas de búsqueda agregadas
Las búsquedas agregadas incluyen las secciones match, match y outcome, o aggregated outcome. La deduplicación se produce después de que se determinan los resultados.
Para estas búsquedas, agrega los siguientes campos a la sección dedup:
- Campos de la sección
match - *Campos de la sección
outcome
Consultas de búsqueda de UDM
Las búsquedas de UDM excluyen las secciones match, outcome o outcome agregadas. Nota: Las búsquedas de UDM pueden incluir una sección outcome siempre que no haya agregaciones y no haya una sección match.
Para quitar los duplicados de las búsquedas de UDM, agrega estos campos a la sección dedup:
- Cualquier campo de evento que no sea repetido, de array ni agrupado.
- Campos de marcador de posición de la sección
events - Son las variables de resultado de la sección
outcome(si no hay agregados).
Ejemplos de anulación de duplicación en la Búsqueda
En esta sección, se muestra la sintaxis de YARA-L, que se puede ejecutar en Search.
Ejemplo: Búsqueda de direcciones IP únicas
La siguiente consulta de ejemplo identifica las conexiones de red entre IPs internas y externas, y las deduplica por la IP interna (principal.ip):
events:
metadata.event_type = "NETWORK_CONNECTION"
target.ip != ""
principal.ip != ""
match:
target.ip, principal.ip
dedup:
principal.ip
Ejemplo: Direcciones IP únicas con volumen de tráfico
Al igual que en el ejemplo anterior, la siguiente búsqueda de ejemplo muestra eventos de conexión de red con direcciones IP únicas. Aplicar dedup a principal.ip reduce los resultados a los eventos asociados con IPs únicas. En la sección outcome, se muestran los bytes totales enviados entre principal.ip y target.ip, y se ordenan los resultados de mayor a menor volumen de tráfico.
events:
metadata.event_type = "NETWORK_CONNECTION"
target.ip != ""
principal.ip != ""
match:
target.ip, principal.ip
outcome:
$total_bytes = sum(network.sent_bytes)
dedup:
principal.ip
order:
$total_bytes desc
Ejemplo: Deduplicación básica del UDM
En el siguiente ejemplo, se busca una vista de alto nivel de los nombres de host únicos a los que se accedió en todos los tipos de registros. Aplicar dedup a target.hostname reduce los resultados a eventos asociados con nombres de host externos únicos. Nota: Este formato es eficaz para las búsquedas que no requieren agregaciones.
metadata.log_type != ""
dedup:
target.hostname
A continuación, se muestra un ejemplo equivalente sin la opción dedup. Por lo general, devuelve muchos más eventos.
metadata.log_type != "" AND target.hostname != ""
Ejemplo: Nombres de host únicos
Al igual que en el ejemplo anterior, esta búsqueda muestra eventos de conexión de red con nombres de host únicos. Aplicar la opción dedup a principal.hostname reduce los resultados a los eventos asociados con hosts únicos:
events:
metadata.event_type = "NETWORK_CONNECTION"
target.hostname != ""
principal.hostname != ""
match:
target.hostname, principal.hostname
outcome:
$total_bytes = sum(network.sent_bytes)
dedup:
principal.hostname
order:
$total_bytes desc
¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.