Usar el panel de control de monitorización del estado de los datos"

Disponible en:

En este documento se describe el panel de control Monitorización del estado de los datos, la ubicación central de Google Security Operations donde puede monitorizar el estado de todas las fuentes de datos configuradas. El panel de control proporciona información crítica sobre fuentes y tipos de registros anómalos, así como el contexto necesario para diagnosticar y solucionar problemas de la canalización de datos.

El panel de control Monitorización del estado de los datos incluye información sobre lo siguiente:

  • Volúmenes y estado de la ingestión.
  • Volúmenes de análisis de registros sin procesar a eventos de modelo de datos unificado (UDM).
  • Contexto y enlaces a interfaces con información y funciones relevantes adicionales.

  • Fuentes y tipos de registro irregulares y fallidos. El panel de control Monitorización del estado de los datos detecta irregularidades por cliente. Utiliza métodos estadísticos con un periodo retrospectivo de 30 días para analizar los datos de ingesta. Los elementos marcados como irregulares identifican aumentos o descensos en los datos que ingiere y procesa Google SecOps.

Principales ventajas

Puede usar el panel de control Monitorización del estado de los datos para hacer lo siguiente:

  • Supervisa el estado general de los datos de un vistazo. Consulte el estado de salud principal y las métricas asociadas de cada feed, fuente de datos, tipo de registro y fuente (es decir, el ID del feed).

  • Monitoriza las métricas de estado de los datos agregados de lo siguiente:

    • Ingestión y análisis a lo largo del tiempo con eventos destacados (no necesariamente irregularidades) que enlazan con paneles filtrados.
    • Irregularidades, tanto actuales como a lo largo del tiempo.

  • Acceder a los paneles relacionados, filtrados por intervalos de tiempo, tipo de registro o feed.

  • Acceda a la configuración del feed para editarlo y solucionar o corregir un problema.

  • Accede a la configuración del analizador para editar y corregir o solucionar un problema.

  • Haz clic en el enlace Configurar alertas para abrir la interfaz de Cloud Monitoring y, desde ahí, configura alertas personalizadas basadas en APIs mediante las métricas Estado y de volumen de registros.

Preguntas clave

En esta sección se hace referencia a los componentes y parámetros del panel de control Monitorización del estado de los datos, que se describen en la sección Interfaz.

Puede usar el panel de control Monitorización del estado de los datos para responder a las siguientes preguntas clave habituales sobre su canalización de datos:

  • ¿Mis registros llegan a Google SecOps?

    Para comprobar si los registros llegan a Google SecOps, puedes usar las métricas Última ingestión y Última normalización. Estas métricas confirman la última vez que se enviaron los datos correctamente. Además, las métricas de volumen de ingesta (por fuente y por tipo de registro) muestran la cantidad de datos que se está ingiriendo.

  • ¿Se están analizando mis registros correctamente?

    Para confirmar que el análisis es correcto, consulta la métrica Última normalización. Esta métrica indica cuándo se produjo la última transformación correcta de un registro sin procesar en un evento de UDM.

  • ¿Por qué no se produce la ingestión o el análisis?

    El texto de la columna Detalles del problema identifica problemas específicos, lo que te ayuda a determinar si la acción es aplicable (tú la solucionas) o no aplicable (requiere asistencia). El texto Forbidden 403: Permission denied (Prohibido 403: permiso denegado) es un ejemplo de error que requiere una acción, en el que la cuenta de autenticación proporcionada en la configuración del feed no tiene los permisos necesarios. El texto Internal_error es un ejemplo de error no procesable, en el que la acción recomendada es abrir un caso de asistencia con Google SecOps.

  • ¿Hay cambios significativos en el número de registros ingeridos y analizados?

    El campo Estado muestra el estado de los datos (de Correcto a Error) en función del volumen de datos. También puedes identificar aumentos o descensos repentinos o sostenidos consultando el gráfico Registros ingeridos y analizados totales.

  • ¿Cómo puedo recibir alertas si mis fuentes fallan?

    El panel de control Monitorización del estado de los datos envía las métricas Estado y de volumen de registros a Cloud Monitoring. En una de las tablas del panel de control Monitorización del estado de los datos, haga clic en el enlace Alertas correspondiente para abrir la interfaz Cloud Monitoring. En esa sección, puede configurar alertas personalizadas basadas en APIs mediante las métricas Estado y volumen de registros.

  • ¿Cómo puedo inferir un retraso en la ingestión de un tipo de registro?

    Se indica un retraso cuando la hora del último evento está significativamente por detrás de la marca de tiempo Última ingestión. El panel de control Monitorización del estado de los datos muestra el percentil 95th de la diferencia entre Última ingestión y Hora del último evento por tipo de registro. Un valor alto sugiere que hay un problema de latencia en la canalización de Google SecOps, mientras que un valor normal puede indicar que la fuente está enviando datos antiguos.

  • ¿Los cambios recientes en mi configuración han provocado errores en el feed?

    Si la marca de tiempo Config Last Updated es similar a la marca de tiempo Last Ingested, significa que una actualización de configuración reciente puede ser la causa del fallo. Esta correlación ayuda a analizar las causas principales.

  • ¿Cómo ha evolucionado el estado de la ingestión y el análisis a lo largo del tiempo?

    El gráfico Registros totales ingeridos y analizados muestra la tendencia histórica del estado de tus datos, lo que te permite observar patrones e irregularidades a largo plazo.

Interfaz

El panel de control Monitorización del estado de los datos muestra los siguientes widgets:

  • Widgets de número grande:

    • Correcto: número de fuentes de datos y analizadores que funcionan sin irregularidades.
    • Fallidas: el número de fuentes de datos que requieren atención inmediata.
    • Irregular: el número de fuentes de datos y analizadores irregulares.

  • Registros ingeridos y analizados totales: un gráfico de líneas que muestra las curvas de registros analizados y registros ingeridos por día a lo largo del tiempo.

  • Tabla Estado de salud por fuente de datos: incluye las siguientes columnas:

    • Estado: el estado acumulativo del feed (Correcto, Incorrecto o Irregular), derivado del volumen de datos, los errores de configuración y los errores de la API.
    • Tipo de fuente: el tipo de fuente (mecanismo de ingestión). Por ejemplo, API Ingestion, Feeds, Native Workspace Ingestion o Azure Event Hub Feeds.
    • Nombre: el nombre del feed.
    • Tipo de registro: el tipo de registro (por ejemplo, CS_EDR, UDM, GCP_CLOUDAUDIT o WINEVTLOG).
    • Detalles del problema: si hay algún problema, en esta columna se muestran los detalles. Por ejemplo, Error al analizar los registros, Problema con las credenciales de configuración o Problema de normalización. El problema indicado puede ser procesable (por ejemplo, Incorrect Auth) o no procesable (por ejemplo, Internal_error). Si no se puede tomar ninguna medida, la acción recomendada es abrir un caso de asistencia con Google SecOps. Si el estado es Correcto, el valor está vacío.
    • Duración del problema: número de días que la fuente de datos ha estado en un estado irregular o fallido. Si el estado es Correcto, el valor está vacío.
    • Última recogida: marca de tiempo de la última recogida de datos.
    • Última ingestión: marca de tiempo de la última ingestión correcta. Usa esta métrica para identificar si tus registros llegan a Google SecOps.
    • Última actualización de la configuración: marca de tiempo del último cambio realizado en la métrica. Use este valor para asociar las actualizaciones de configuración con las irregularidades observadas, lo que le ayudará a determinar la causa raíz de los problemas de ingesta o de análisis.
    • Ver detalles de la ingesta: enlace que abre una nueva pestaña con otro panel de control, que contiene información histórica adicional para realizar un análisis más detallado.
    • Editar fuente de datos: enlace que abre una nueva pestaña con la configuración del feed correspondiente, donde puede corregir las irregularidades relacionadas con la configuración.
    • Configurar alertas: enlace que abre una nueva pestaña con la interfaz de Cloud Monitoring correspondiente.

  • Tabla Estado de salud por analizador: incluye las siguientes columnas:

    • Estado: el estado acumulativo del tipo de registro (Correcto, Error o Irregular), derivado de la relación de normalización.
    • Nombre: el tipo de registro. Por ejemplo, DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT o WEBPROXY.
    • Detalles del problema: si hay algún problema, en esta columna se muestran detalles sobre el problema o los problemas de análisis. Por ejemplo, Error al analizar los registros, Problema con las credenciales de configuración o Problema de normalización. El problema indicado puede ser procesable (por ejemplo, Incorrect Auth) o no procesable (por ejemplo, Internal_error). Si no se puede tomar ninguna medida, la acción recomendada es abrir un caso de asistencia con Google SecOps. Si el Estado es Correcto, el valor está vacío.
    • Duración del problema: número de días que la fuente de datos ha estado en un estado irregular o fallido. Si el estado es Correcto, el valor está vacío.
    • Última ingestión: marca de tiempo de la última ingestión correcta. Puede usar esta métrica para determinar si los registros llegan a Google SecOps.

    • Hora del último evento: marca de tiempo del último registro normalizado.

    • Última normalización: marca de tiempo de la última acción de análisis y normalización del tipo de registro. Puede usar esta métrica para determinar si los registros sin procesar se han transformado correctamente en eventos de UDM.

    • Última actualización de la configuración: marca de tiempo del último cambio realizado en la métrica. Use este valor para asociar las actualizaciones de configuración con las irregularidades observadas, lo que le ayudará a determinar la causa raíz de los problemas de ingesta o de análisis.

    • Ver detalles del análisis: enlace que abre una pestaña nueva con otro panel de control que contiene información histórica adicional para realizar un análisis más detallado.

    • Editar analizador: enlace que abre una pestaña nueva con la configuración del analizador correspondiente, donde puede corregir las irregularidades relacionadas con la configuración.

    • Configurar alerta: enlace que abre una nueva pestaña con la interfaz de Cloud Monitoring correspondiente.

Motor de detección de irregularidades

El panel de control Monitorización del estado de los datos usa el motor de detección de irregularidades de Google SecOps para identificar automáticamente los cambios significativos en sus datos, lo que le permite detectar y solucionar rápidamente los posibles problemas.

Detección de irregularidades en la ingestión de datos

Google SecOps analiza los cambios de volumen diarios y tiene en cuenta los patrones semanales normales.

El motor de detección de irregularidades usa los siguientes cálculos para detectar aumentos o descensos inusuales en la ingesta de datos:

  • Comparaciones diarias y semanales: Google SecOps calcula la diferencia en el volumen de ingesta entre el día actual y el anterior, así como la diferencia entre el día actual y el volumen medio de la semana anterior.

  • Estandarización: para comprender la importancia de estos cambios, Google SecOps los estandariza mediante la siguiente fórmula de puntuación Z:

    z = (xi − x_bar) / stdev

    donde

    • z es la puntuación estandarizada (o puntuación Z) de una diferencia individual.
    • xi es un valor de diferencia individual
    • x_bar es la media de las diferencias
    • stdev es la desviación estándar de las diferencias

  • Detección de irregularidades: Google SecOps detecta una irregularidad si los cambios estandarizados diarios y semanales son estadísticamente significativos. En concreto, Google SecOps busca lo siguiente:

    • Descensos: tanto la diferencia estandarizada diaria como la semanal son inferiores a -1,645.
    • Picos: tanto la diferencia estandarizada diaria como la semanal son superiores a 1,645.

Ratio de normalización

Al calcular la proporción de eventos ingeridos con respecto a los eventos normalizados, el motor de detección de irregularidades usa un enfoque combinado para asegurarse de que solo se marquen las caídas significativas en las tasas de normalización. El motor de detección de irregularidades genera una alerta solo cuando se cumplen las dos condiciones siguientes:

  • Se ha producido un descenso estadísticamente significativo en la proporción de normalización en comparación con el día anterior.
  • La bajada también es significativa en términos absolutos, con una magnitud de 0,05 o más.

Detección de irregularidades en errores de análisis

En el caso de los errores que se producen durante el análisis de datos, el motor de detección de irregularidades usa un método basado en ratios. El motor de detección de irregularidades activa una alerta si la proporción de errores del analizador en relación con el número total de eventos ingeridos aumenta en 5 puntos porcentuales o más en comparación con el día anterior.

Siguientes pasos

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.