Información sobre la disponibilidad de los datos de búsqueda
En este documento se detalla el ciclo de vida de la ingestión de datos, incluido el flujo de datos y la latencia de extremo a extremo, así como el impacto de estos factores en la disponibilidad de los datos ingeridos recientemente para realizar consultas y análisis.
Ingerir y procesar datos en Google Security Operations
En esta sección se describe cómo ingiere, procesa y analiza los datos de seguridad Google SecOps.
Ingestión de datos
La canalización de ingestión de datos empieza recogiendo tus datos de seguridad sin procesar de fuentes como las siguientes:
- Registros de seguridad de tus sistemas internos
- Datos almacenados en Cloud Storage
- Tu centro de operaciones de seguridad (SOC) y otros sistemas internos
Google SecOps lleva estos datos a la plataforma mediante uno de sus métodos de ingestión seguros.
Los métodos de ingesta principales son los siguientes:
Ingestión Google Cloud directa
Google SecOps usa la ingestión directa Google Cloud para extraer automáticamente los registros y los datos de telemetría de tu organización Google Cloud, incluidos Cloud Logging, los metadatos de Cloud Asset Inventory y las detecciones de Security Command Center Premium.
APIs de ingestión
Envía datos directamente a Google SecOps mediante sus APIs de ingestión REST públicas. Este método se usa para integraciones personalizadas o para enviar datos como registros no estructurados o eventos del modelo de datos unificado (UDM) preformateados.
Agente de Bindplane
Puedes implementar el versátil agente Bindplane en tu entorno (local u otras nubes) para recoger registros de una amplia variedad de fuentes y reenviarlos a Google SecOps.
Feeds de datos
En Google SecOps, se configuran feeds de datos para extraer registros de fuentes de terceros, como determinados segmentos de almacenamiento en la nube de terceros (por ejemplo, Amazon S3) o APIs de terceros (como Okta o Microsoft 365).
Normalización y enriquecimiento de datos
Una vez que los datos llegan a Google SecOps, la plataforma los procesa en las siguientes fases:
Análisis y normalización
Un analizador procesa primero los datos de registro sin procesar para validar, extraer y transformar los datos de su formato original al UDM estandarizado. El análisis y la normalización te permiten analizar fuentes de datos dispares (por ejemplo, registros de firewall, datos de endpoints y registros de la nube) mediante un esquema único y coherente. El registro sin procesar original se almacena junto al evento de UDM.
Indexación
Después de la normalización, Google SecOps indexa los datos de UDM para ofrecer velocidades de consulta rápidas en conjuntos de datos de gran tamaño, lo que permite buscar los eventos de UDM. También indexa los registros sin procesar originales para las búsquedas de registros sin procesar.
Enriquecimiento de datos
Google SecOps enriquece tus datos con contexto valioso de la siguiente manera:
- Contexto de entidad (creación de alias): la creación de alias enriquece los registros de registro del UDM identificando y añadiendo datos de contexto e indicadores de las entidades de registro. Por ejemplo, conecta el nombre de inicio de sesión de un usuario con sus distintas direcciones IP, nombres de host y direcciones MAC, lo que crea un "gráfico de entidades" consolidado.
- Inteligencia contra amenazas: los datos se comparan automáticamente con la amplia inteligencia contra amenazas de Google, que incluye fuentes como VirusTotal y Navegación segura, para identificar dominios, IPs, hashes de archivos y otros elementos maliciosos conocidos.
- Geolocalización: las direcciones IP se enriquecen con datos de geolocalización.
- WHOIS: los nombres de dominio se enriquecen con su información de registro público WHOIS.
Disponibilidad de los datos para el análisis
Una vez procesados y enriquecidos, los datos de UDM están disponibles inmediatamente para el análisis:
Detección en tiempo real
El motor de detección ejecuta automáticamente reglas personalizadas y creadas por Google con la regla activa habilitada en los datos entrantes en tiempo real para identificar amenazas y generar alertas.
Búsqueda e investigación
Un analista puede usar los métodos de búsqueda para buscar en todos estos datos normalizados y enriquecidos. Por ejemplo, usar la búsqueda de UDM para pasar de una entidad relacionada a otra (como un
user, a suassety a undomainmalicioso) e investigar alertas.
Métodos de búsqueda
Google SecOps ofrece varios métodos distintos para buscar en tus datos, cada uno con un propósito diferente.
Búsqueda de UDM
La búsqueda de UDM es el método de búsqueda principal y más rápido, que se usa en la mayoría de las investigaciones.
- Qué busca: consulta los eventos de UDM normalizados e indexados. Como todos los datos se analizan en este formato estándar, puedes escribir una consulta para encontrar la misma actividad (como un inicio de sesión) en todos tus productos (por ejemplo, Windows, Okta y Linux).
- Cómo funciona: usas una sintaxis específica para consultar campos, operadores y valores.
- Ejemplo:
principal.hostname = "win-server" AND target.ip = "10.1.2.3"
Búsqueda de registros sin procesar
Usa la búsqueda en el registro sin procesar para encontrar algo en el mensaje de registro original sin analizar que puede que no se haya asignado a un campo de UDM.
- Qué busca: analiza el texto original sin procesar de los registros antes de que se analicen y normalicen. Esto es útil para encontrar cadenas específicas, argumentos de línea de comandos u otros artefactos que no sean campos de UDM indexados.
- Cómo funciona: usa el prefijo
raw =. Puede ser más lento que la búsqueda de UDM porque no busca en campos indexados. - Ejemplo (cadena):
raw = "PsExec.exe" - Ejemplo (regex):
raw = /admin\$/
Búsqueda en lenguaje natural (Gemini)
La búsqueda con lenguaje natural (Gemini) te permite hacer preguntas en inglés sencillo, que Gemini traduce a una consulta formal de UDM.
- Qué busca: proporciona una interfaz conversacional para consultar datos de UDM.
- Cómo funciona: escribes una pregunta y Gemini genera la consulta de búsqueda de UDM subyacente, que puedes ejecutar o refinar.
- Ejemplo: "Muéstrame todos los inicios de sesión fallidos del usuario 'bob' en las últimas 24 horas"
Búsqueda de SOAR
La búsqueda de SOAR es específica de los componentes de SOAR. Se usa para gestionar incidentes de seguridad, no para buscar en los registros.
- Qué busca: busca casos y entidades (como usuarios, recursos e IPs) en la plataforma SOAR.
- Cómo funciona: puedes usar filtros de texto libre o basados en campos para buscar casos por su ID, nombre de alerta, estado y usuario asignado, entre otros.
- Ejemplo: busca
CaseIds:180oAlertName:Brute Force.
Flujo de procesamiento de ingestión de datos para buscar disponibilidad
El sistema procesa los datos recién insertados en varios pasos. La duración de estos pasos determina cuándo estarán disponibles para las consultas y el análisis los datos recién ingeridos.
En la siguiente tabla se desglosan los pasos de tratamiento de los datos recién insertados por método de búsqueda. Los datos recién ingeridos se pueden buscar una vez que se hayan completado estos pasos.
| Método de búsqueda | Datos que se están buscando | Pasos de procesamiento que influyen en el tiempo de disponibilidad |
|---|---|---|
| Eventos de UDM normalizados y enriquecidos |
|
|
| Búsqueda de registros sin procesar | Texto de registro original sin analizar |
|
| Búsqueda de SOAR | Casos y entidades |
Este es un ciclo de vida diferente, ya que busca alertas y casos, no registros. La hora se basa en:
|
Ejemplo de flujo de datos
En el siguiente ejemplo se muestra cómo Google SecOps ingiere, procesa, mejora y analiza tus datos de seguridad, y cómo los pone a tu disposición para que puedas realizar búsquedas y análisis más detallados.
Ejemplo de pasos de tratamiento de datos
- Obtiene datos de seguridad de servicios en la nube, como Amazon S3, o de la Google Cloud. Google SecOps cifra estos datos en tránsito.
- Separa y almacena tus datos de seguridad cifrados en tu cuenta. El acceso está limitado a ti y a un pequeño número de empleados de Google para ofrecer asistencia, desarrollo y mantenimiento del producto.
- Analiza y valida datos de seguridad sin procesar, lo que facilita su procesamiento y visualización.
- Normaliza e indexa los datos para realizar búsquedas rápidas.
- Almacena los datos analizados e indexados de tu cuenta.
- Enriquece con datos de contexto.
- Ofrece a los usuarios un acceso seguro para buscar y revisar sus datos de seguridad.
- Compara tus datos de seguridad con la base de datos de malware de VirusTotal para identificar coincidencias. En una vista de eventos de Google SecOps, como la vista de recursos, haz clic en Contexto de VT para ver la información de VirusTotal. Google SecOps no comparte tus datos de seguridad con VirusTotal.
Ejemplos del tiempo estimado hasta que esté disponible la Búsqueda
El tiempo estimado hasta que los datos recién insertados estén disponibles para la Búsqueda es la suma de las duraciones del flujo a lo largo del flujo de datos.
Por ejemplo, el tiempo medio habitual para que los datos estén disponibles en la búsqueda de UDM es de aproximadamente 5 minutos y 30 segundos desde que se envían al servicio de ingesta de Google SecOps.
| Paso de flujo de datos | Descripción | Duración del flujo |
|---|---|---|
| Cloud Storage a Registros sin procesar | Ingiere registros sin procesar de Cloud Storage. | Menos de 30 segundos |
| Registros de seguridad al servicio de reenvío de datos | Transmite registros de seguridad de sistemas internos a la plataforma. | N/A |
| Servicio de reenvío de datos a Registros sin procesar | Envía datos de seguridad sin procesar recibidos de varias fuentes a la canalización de ingestión. | Menos de 30 segundos |
| Registros sin procesar a Analizar y validar | Analiza y valida los registros sin procesar en formato UDM. | Menos de 3 minutos |
| Analizar y validar a Index | Indexa los datos de UDM analizados para que las búsquedas sean rápidas. | N/A |
| Índice de datos de clientes analizados | Hace que los datos indexados estén disponibles como datos de clientes analizados para su análisis. | Menos de 2 minutos |
¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.