Descripción general de la extracción automática

Compatible con:

En este documento, se proporciona una descripción general de cómo se extraen los datos automáticamente para mejorar la capacidad de transferir, procesar y analizar datos.

Google Security Operations usa analizadores integrados para extraer y estructurar datos de registro con el esquema del modelo de datos unificado (UDM). Administrar y mantener estos analizadores puede ser difícil debido a varias limitaciones: extracción de datos incompleta, la creciente cantidad de analizadores que se deben administrar y el requisito de actualizaciones frecuentes a medida que evolucionan los formatos de registro.

Para abordar estos desafíos, puedes usar la función de extracción automática. Esta función extrae automáticamente pares clave-valor de los registros con formato JSON y XML que se transfieren a Google SecOps. También admite registros con formato Syslog que incluyen un mensaje JSON. Estos datos extraídos se almacenan en un campo de tipo mapa de UDM llamado extracted. Luego, puedes usar estos datos en las consultas de búsqueda de UDM, los paneles nativos y las reglas de YARA-L.

Como práctica recomendada, las búsquedas de UDM que usan campos extraídos deben incluir metadata.log_type en su consulta para mejorar el rendimiento de la consulta de búsqueda.

El beneficio de la extracción automática es la menor dependencia de los analizadores, lo que garantiza que los datos permanezcan disponibles, incluso cuando no hay un analizador o no se puede analizar un registro.

Analiza y extrae datos del registro sin procesar

  1. Análisis: Google SecOps intenta analizar los registros con un analizador específico para el tipo de registro, si está disponible. Si no existe un analizador específico o si falla el análisis, Google SecOps usa un analizador general para extraer información básica, como la marca de tiempo transferida, el tipo de registro y las etiquetas de metadatos.

  2. Extracción de datos: La extracción automática no está habilitada de forma predeterminada. Habilita la opción y selecciona los campos específicos (puntos de datos) que deseas extraer de los registros.

  3. Enriquecimiento de eventos: Google SecOps combina los datos analizados y los campos con formato personalizado para crear eventos enriquecidos, lo que proporciona más contexto y detalles.

  4. Transferencia de datos descendente: Luego, estos eventos enriquecidos se envían a otros sistemas para su análisis y procesamiento adicionales.

  • Cuando hay un analizador: No se produce la extracción automática predeterminada. Debes habilitar explícitamente los campos específicos necesarios, como se explica en la sección Trabaja con extractores.
  • Cuando no hay un analizador: La extracción automática se activa automáticamente y extrae los primeros 100 campos.

Trabaja con extractores

Los extractores te permiten extraer campos de todas las fuentes de registro compatibles y están diseñados para optimizar la administración de registros. Si usas extractores, puedes reducir el tamaño de los eventos, mejorar la eficiencia del análisis y obtener un mejor control sobre la extracción de datos. Esto es especialmente útil para administrar nuevos tipos de registros o minimizar el tiempo de procesamiento.

Puedes crear extractores con el menú Configuración de SIEM o realizando una búsqueda de registros sin procesar.

Crea extractores

  1. Ve al panel Extraer campos adicionales con uno de los siguientes métodos:

    • Haz clic en Configuración de SIEM > Analizadores y haz lo siguiente:
      1. En la tabla ANALIZADORES que aparece, identifica un analizador (fuente del archivo de registro) y haz clic en Menú > Extender analizador > Extraer campos adicionales.
    • Usa el análisis de registros sin procesar y haz lo siguiente:
      1. Selecciona las fuentes de registro (analizadores) necesarias en el menú Fuentes de registro.
      2. En los resultados de los registros sin procesar, selecciona una fuente del archivo de registro para abrir el panel DATOS DEL EVENTO.
      3. En el panel DATOS DEL EVENTO, haz clic en Administrar analizador > Extender analizador > Extraer campos adicionales.
    • Usa la búsqueda de UDM y haz lo siguiente:
      1. En la pestaña EVENTOS de los resultados de la búsqueda de UDM, selecciona una fuente del archivo de registro para ver el panel Visor de eventos.
      2. En la pestaña Registro sin procesar, haz clic en Administrar analizador > Extender analizador > Extraer campos adicionales.

  2. En la pestaña Seleccionar extractores del panel Extraer campos adicionales , selecciona los campos de registro sin procesar necesarios. De forma predeterminada, puedes seleccionar hasta 100 campos. Si no hay campos adicionales disponibles para la extracción, se muestra una advertencia.

    Haz clic en la pestaña Registro sin procesar de referencia para ver los datos de registro sin procesar y obtener una vista previa de el resultado de UDM.

  3. Haz clic en Guardar.

El extractor recién creado se etiqueta como EXTRACTOR. Los campos extraídos se muestran en el resultado de UDM comoextracted.field{"fieldName"}.

Consulta los detalles del extractor

  1. Ve a la fila del extractor en la tabla ANALIZADORES y haz clic en Menú > Extender analizador > Ver extensión.
  2. En la página VER ANALIZADORES PERSONALIZADOS, haz clic en la pestaña Extensiones y campos extraídos.

En esta pestaña, se muestra información sobre las extensiones del analizador y los campos del extractor. Puedes modificar o quitar campos y obtener una vista previa del resultado del analizador desde la página VER ANALIZADORES PERSONALIZADOS.

Limitaciones

  • Si el tamaño de un evento de UDM por lotes supera los 8.2 MB, se descartan los registros sin procesar y todos los campos extraídos.
  • Si un solo evento de UDM supera los 500 KB, se descartan los campos extraídos.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.