Descripción general de las métricas de transferencia

Compatible con:

Google SecOps proporciona métricas de transferencia detalladas para ofrecer visibilidad del estado, el volumen y el estado de procesamiento de tu canalización de datos de seguridad. Supervisar estas métricas es fundamental para garantizar que los datos fluyan correctamente, identificar posibles problemas y optimizar tu implementación de Google SecOps.

Por qué son importantes las métricas de transferencia

  • Supervisión del estado: Haz un seguimiento del estado de tus feeds de datos y agentes de recopilación.
  • Solución de problemas: Diagnostica rápidamente problemas como pérdidas de datos, errores de análisis o problemas de conectividad.
  • Seguimiento del volumen: Comprende la cantidad de datos que se transfieren desde varias fuentes, lo que es útil para la planificación de la capacidad y la administración de costos.
  • Estadísticas de normalización: Supervisa la tasa de éxito de los registros que se analizan en el modelo de datos unificado (UDM).
  • Alertas: Configura notificaciones para las anomalías en el flujo de datos, los errores o los cambios de volumen.

Dónde acceder a las métricas de transferencia

  • Google Cloud Monitoring:

    • Integra las métricas de Google SecOps en Cloud Monitoring, lo que te permite crear paneles y configurar políticas de alertas basadas en umbrales para métricas como los recuentos de registros transferidos, los tamaños y los eventos de normalización.
    • Las métricas están disponibles con prefijos como Chronicle Collector y Chronicle Log Type.
    • Referencia: Usa Cloud Monitoring para obtener estadísticas de transferencia
  • Health Hub de Google SecOps:

    • Health Hub proporciona una vista centralizada dentro de la plataforma de Google SecOps para supervisar el estado de la fuente de datos, los volúmenes de transferencia y el estado del análisis. Destaca los errores y proporciona vínculos para profundizar en ellos.
    • Referencia: Usa Health Hub
  • BigQuery Export:

Categorías y campos de métricas clave

Las métricas de transferencia se desglosan por diferentes componentes de la canalización de transferencia (por ejemplo, Forwarder, API de Ingestion, Normalizer, Feeds). Estos son algunos campos clave que encontrarás:

  • Métricas de volumen:

    • log_count: Cantidad de entradas de registro sin procesar recibidas o procesadas.
    • log_volume: Tamaño total de los registros recibidos o procesados (en bytes).
    • event_count: Cantidad de eventos de UDM generados después del análisis.
  • Métricas de normalización:

    • state: El resultado del proceso de normalización de los registros (por ejemplo, parsed, failed_parsing, failed_validation).
    • total_events: Recuento de eventos de UDM validados correctamente.
    • total_error_events: Recuento de eventos que no se pudieron analizar o validar.
    • drop_reason_code: Motivo por el que se descartó un registro o evento.
  • Estado y rendimiento:

    • last_heartbeat_time: Indica la última vez que estuvo activo un recopilador o un feed.
    • drop_count: Cantidad de registros descartados por un componente.
    • cpu_used, memory_used, disk_used: Uso de recursos para componentes locales, como el agente de Bindplane o el Forwarder heredado.
    • latency_count: Métricas relacionadas con el tiempo transcurrido entre la transferencia y la normalización.
  • Métricas de cuota (API de Ingestion):

    • quota_rejected_long_term_log_volume: Volumen de registros rechazados debido a que se excedieron los límites de cuota.

Comprende las dimensiones

Por lo general, las métricas se desglosan por dimensiones, lo que te permite filtrar y agrupar datos:

  • component: La parte de la canalización de transferencia a la que se refiere la métrica (por ejemplo, Forwarder, Ingestion API, Normalizer, Out-of-Band Processor).
  • log_type: El tipo de fuente de registro (por ejemplo, WINDOWS_DNS, CS_EDR).
  • collector_id / feed_id: Identificador único para la instancia de recopilador o el feed de datos específicos.
  • namespace: Para organizar registros, se usa con frecuencia en la transferencia de API.

Nota: Como se indica en el esquema de métricas de transferencia, las métricas de transferencia agregadas deben tratarse como indicadores de volumen aproximado en lugar de recuentos exactos para un período determinado.

Discrepancias entre el volumen de registros sin procesar y el volumen de registros del panel

El ingestion.log_volume total que se informa en los paneles de Google SecOps (por ejemplo, cuando se consulta ingestion.component = "Ingestion API") puede diferir significativamente del volumen total de registros sin procesar almacenados en tu instancia. La interfaz de Google SecOps no muestra un contador de transferencia acumulativo de todos los tiempos desde que se aprovisionó tu instancia. Debido a que cada herramienta de informes aplica una ventana de visualización máxima, no puedes calcular un total acumulativo de todos los tiempos una vez que tu instancia sea más antigua que el límite de retención de la herramienta.

Estas diferencias se producen por los siguientes motivos:

  • Diferentes períodos y límites de visualización:

    • Almacenamiento de registros sin procesar: Conserva los datos según la política de retención de instancias configurada. Es posible que tu instancia haya transferido registros durante varios años desde el aprovisionamiento.
    • Paneles de Google SecOps: Calcula ingestion.log_volume solo para el período seleccionado, hasta un límite máximo de visualización de 365 días (o hasta 24 meses en Cloud Monitoring para instancias de Bring Your Own Project [BYOP]). Si tu instancia transfirió datos durante más de 365 días, las consultas del panel informan un total más bajo que tu volumen de transferencia histórico acumulativo.
  • Diferentes fuentes de datos y canalizaciones de recopilación:

    • Almacenamiento de registros sin procesar: Registra el tamaño directo en bytes de los lotes de registros sin procesar transferidos almacenados en Google SecOps.
    • Paneles de Google SecOps: Consulta ingestion.log_volume de la tabla ingestion_metrics, que recopila telemetría de forma asíncrona en intervalos de aproximadamente 5 minutos. Debido a que esta canalización de telemetría puede experimentar latencia de recopilación, muestreo o pérdidas de métricas transitorias, las consultas del panel proporcionan un volumen aproximado en lugar de un recuento exacto de bytes.

Dónde calcular el volumen de transferencia y cómo difieren los valores

Debido a que la interfaz de Google SecOps no muestra un contador de transferencia acumulativo de todos los tiempos desde la hora de inicio de la instancia, usa las siguientes ubicaciones para calcular el volumen de transferencia según el período que necesites:

  • Paneles de Google SecOps (hasta 365 días):

    • Dónde calcular: Abre Paneles y informes > Paneles y, luego, consulta el widget Rendimiento en el panel Principal o Transferencia y estado de los datos (incluido el gráfico Transferencia: Rendimiento (todos los tiempos)). También puedes ejecutar una consulta de panel personalizada para sum($event.ingestion.log_volume) filtrada por $event.ingestion.component = "Ingestion API".
    • Período máximo: Las consultas se limitan a un máximo de 365 días, incluso en el gráfico seleccionado Transferencia: Rendimiento (todos los tiempos).
    • Cómo difieren los valores: Los paneles consultan la tabla asíncrona ingestion_metrics, que recopila telemetría en intervalos de aproximadamente 5 minutos y puede experimentar latencia de recopilación o pérdidas de métricas transitorias. Los valores son aproximados y reflejan solo los registros transferidos a través de la API de Ingestion durante el período seleccionado, en lugar de los bytes de registro sin procesar de todos los tiempos o el volumen facturado final.
  • Explorador de métricas de Cloud Monitoring (hasta 24 meses para instancias de BYOP):

    • Dónde calcular: Abre Monitoring > Explorador de métricas en la Google Cloud consola y, luego, ejecuta una consulta para chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"} (para obtener instrucciones paso a paso, consulta Visualiza el volumen de transferencia facturado).
    • Período máximo: Las consultas se limitan a un máximo de 24 meses, según la retención de métricas de Cloud Monitoring.
    • Cómo difieren los valores: Cloud Monitoring consulta los recuentos de bytes de transferencia a nivel del recopilador durante el período seleccionado. Los valores abarcan un período de visualización más largo que los paneles de Google SecOps (hasta 24 meses en lugar de 365 días), pero no reflejan un total de todos los tiempos si tu instancia tiene más de 24 meses.
  • BigQuery Export (más de 365 días, según la retención de tu conjunto de datos):

    • Dónde calcular: Abre tu proyecto de BigQuery después de exportar la tabla ingestion_metrics y, luego, ejecuta una consulta para SUM(log_volume) (o total_size_bytes en Looker y BigQuery) filtrada por component = "Ingestion API".
    • Período máximo: Las consultas se limitan al período de retención configurado para tu tabla de BigQuery desde que habilitaste la exportación, en lugar del límite de 365 días del panel.
    • Cómo difieren los valores: BigQuery consulta la misma tabla asíncrona ingestion_metrics que los paneles de Google SecOps. Los valores coinciden con las consultas del panel para el mismo período, pero siguen siendo indicadores de telemetría aproximados en lugar de bytes de registro sin procesar de todos los tiempos o el volumen facturado final.

Usa las métricas de transferencia

  • Solución de problemas: Filtra por log_type y state (por ejemplo, failed_parsing) en las métricas de Normalizer para encontrar problemas de análisis. Verifica drop_count y drop_reason_code para detectar la pérdida de datos.
  • Alertas: Configura alertas en Cloud Monitoring para supervisar las pérdidas repentinas en log_count para fuentes de registro críticas o las tasas altas de total_error_events. Para supervisar tu volumen de transferencia diario en comparación con los límites contractuales, usa la métrica Tamaño total de registros transferidos (chronicle.googleapis.com/ingestion/log/bytes_count). No uses la métrica chronicle.googleapis.com/ingestion/quota_limit para las alertas de volumen diario por los siguientes motivos:

    • La métrica quota_limit mide la proximidad a los límites dinámicos del backend en lugar del volumen real de datos transferidos.
    • El uso de quota_limit para las alertas de volumen diario puede causar falsas alarmas cuando se ajustan los umbrales del backend.

    Para conocer los pasos para configurar una política de alertas de volumen diario, consulta Configura una política de muestra para supervisar el volumen de transferencia diario.

  • Planificación de la capacidad: Analiza las tendencias de log_volume en BigQuery para predecir las necesidades futuras.

  • Validación de la configuración: Después de configurar una fuente de datos nueva, verifica las métricas para confirmar que los datos fluyen y se analizan según lo previsto.

Si supervisas y comprendes estas métricas de transferencia con regularidad, puedes garantizar una canalización de datos confiable y eficiente para tu instancia de Google SecOps.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.