Usar Cloud Monitoring para obtener estadísticas de la ingesta

Disponible en:

SecOps de Google SIEM

En este documento se describe cómo usar Cloud Monitoring para recibir notificaciones de ingestión. Google SecOps usa Cloud Monitoring para enviar las notificaciones de ingesta. Usa esta función para recibir notificaciones de ingesta y ver el volumen de ingesta. Puedes integrar las notificaciones por correo en los flujos de trabajo que ya tengas. Las notificaciones se activan cuando los valores de ingesta alcanzan determinados niveles predefinidos. En la documentación de Cloud Monitoring, las notificaciones se denominan alertas.

Nota: Para monitorizar el estado operativo y el estado de todas tus fuentes de datos y analizadores, ve al panel de control Monitorización del estado de los datos. Incluye información sobre fuentes y tipos de registros anómalos, y proporciona contexto para diagnosticar y solucionar problemas.

Antes de empezar

• Familiarízate con Cloud Monitoring.

• Configura un proyecto para Google SecOps Google Cloud .

• Verifica que tu rol de Gestión de Identidades y Accesos incluya los permisos del rol roles/monitoring.alertPolicyEditor. Para obtener más información sobre los roles, consulta el artículo sobre cómo controlar el acceso con la gestión de identidades y accesos.

• Familiarízate con la creación de políticas de alertas en Cloud Monitoring. Para obtener información sobre estos pasos, consulta Crear políticas de alertas de umbral de métricas.

• Configura el canal de notificaciones para recibir notificaciones de ingestión por correo electrónico. Para obtener información sobre estos pasos, consulta el artículo Crear y gestionar canales de notificación.

Configurar notificaciones de ingesta de métricas de salud

Para configurar notificaciones que monitoricen las métricas de estado de la ingestión específicas de Google SecOps, haz lo siguiente:

1. En la Google Cloud consola, selecciona Monitorización.

2. En el panel de navegación, selecciona Alertas y, a continuación, haz clic en Crear política.

3. En la página Seleccionar una métrica, haga clic en Seleccionar una métrica.

4. En el menú Seleccionar una métrica, haga clic en una de las siguientes opciones:

   • Activo para filtrar y mostrar solo los recursos y las métricas con datos de las últimas 25 horas. Si no lo hace, se mostrarán todos los tipos de recursos y métricas.
   • Interruptor de nivel de organización o carpeta: para monitorizar recursos y métricas, como el uso de cuota de consumidor o la asignación de ranuras de BigQuery, en tu organización y tus carpetas.

5. Seleccione cualquiera de las siguientes métricas:

   • Selecciona Chronicle Collector > Ingestión y, a continuación, Número total de registros ingeridos o Tamaño total de registros ingeridos.

   • Seleccione Chronicle Collector > Normalizer y, a continuación, Total record count (Número total de registros) o Total event count (Número total de eventos).

   • Selecciona Tipo de registro de Chronicle > Fuera de banda y, a continuación, Número total de registros insertados (Feeds) o Tamaño total de registros insertados (Feeds).

6. Haz clic en Aplicar.

Añadir un filtro

1. En la página Seleccionar una métrica, haga clic en Añadir filtro.

   1. En el cuadro de diálogo del filtro, seleccione la etiqueta collector_id, un comparador y el valor del filtro.

   2. Selecciona uno o varios de los siguientes filtros:

      • project_id ID del Google Cloud proyecto asociado a este recurso.

      • location: ubicación física del clúster que contiene el objeto de recogida. Te recomendamos que no uses este campo. Si dejas este campo vacío, Google SecOps puede usar la información disponible para determinar automáticamente dónde almacenar los datos.

      • collector_id: ID del comercio.

      • log_type nombre del tipo de registro.

      • Etiqueta de métrica > namespace: espacio de nombres del registro.

      • feed_name nombre del feed.

      • LogType tipo de registro.

      • Etiqueta de métrica > event_type: el tipo de evento determina qué campos se incluyen en el evento. El tipo de evento incluye valores como PROCESS_OPEN, FILE_CREATION, USER_CREATION y NETWORK_DNS.

      • Etiqueta de métrica > state: estado final del evento o del registro. El estado es uno de los siguientes:

        • parsed: el registro se ha analizado correctamente.
        • validated. El registro se ha validado correctamente.
        • failed_parsing. El registro tiene errores de análisis.
        • failed_validation. El registro contiene errores de validación.
        • failed_indexing. El registro contiene errores de indexación por lotes.

      • Etiqueta de métrica > drop_reason_code: este campo se rellena si la fuente de ingestión es el reenviador de Google SecOps e indica el motivo por el que se ha descartado un registro durante la normalización.

      • Etiqueta de métrica > ingestion_source: la fuente de ingestión presente en la etiqueta de ingestión cuando los registros se ingieren mediante la API Ingestion.

   3. Selecciona un ID de recogida especial. El collector_id también puede ser un ID de reenvío o un ID especial basado en el método de ingestión:

      • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
        representa todos los feeds creados mediante la API o la página de gestión de feeds. Para obtener más información sobre la gestión de feeds, consulta Gestión de feeds y API Feed Management.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1111
        representa al agente de recogida, incluido Bindplane (edición de Google).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1112
        Bindplane Enterprise (Google Edition).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1113
        Bindplane Enterprise.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1114
        recopilador sin interfaz.

      • aaaa2222-aaaa-2222-aaaa-2222aaaa2222
        registros insertados mediante el método de inserción HTTPS, incluidos los webhooks, Amazon Kinesis Firehose y los feeds de tipo de fuente Pub/Sub. Google Cloud

      • aaaa3333-aaaa-3333-aaaa-3333aaaa3333
        registros de Cloud Storage e incluye los registros insertados a través de Detección de amenazas de eventos.

      • aaaa4444-aaaa-4444-aaaa-4444aaaa4444
        registros insertados mediante la integración de feeds de Azure Event Hub. Esto incluye los feeds de tipo de fuente de Microsoft Azure Event Hub.

      • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
        representa todas las fuentes de ingestión que usan el método unstructuredlogentries de la API Ingestion. Para obtener más información sobre las APIs de ingestión, consulta la API de ingestión de Google SecOps.

      • cccccccc-cccc-cccc-cccc-cccccccccccc
        representa todas las fuentes de ingestión que usan el método de la API Ingestionudmevents.

      • dddddddd-dddd-dddd-dddd-dddddddddddd
        representa cualquier registro insertado a través de la API interna, que no se inserta a través del procesador fuera de banda (OOB) ni a través de la inserción de registros de Google Cloud .

      • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee
        representa el collector_id usado para CreateEntities.

2. En la sección Transformar datos, haga lo siguiente:

   1. En el campo Agregación de serie temporal, elija suma.

   2. En el campo Agrupar por serie temporal, elija project_id.

      Advertencia: Si no completas este paso, pueden producirse alertas falsas. Esto es especialmente importante en las implementaciones de Google SecOps multirregión, donde los reenviadores pueden generar datos de seguridad engañosos.

3. Opcional: Configura una política de alertas con varias condiciones. Para crear notificaciones de ingesta con varias condiciones en una política de alertas, consulta Políticas con varias condiciones.

Métricas de reenvío de Google SecOps y filtros asociados

En la siguiente tabla se describen las métricas de reenvío de Google SecOps disponibles y los filtros asociados.

Métrica de reenvío de Google SecOps	Filtro
Memoria de contenedor usada	log_type, collector_id
Disco utilizado del contenedor	log_type, collector_id
cpu_used del contenedor	log_type, collector_id
Registra el número de descartes	log_type, collector_id, input_type, reason
buffer_used	log_type, collector_id, buffer_type, input_type
last_heartbeat	log_type, collector_id, input_type

Configurar una política de ejemplo para detectar reenviadores silenciosos de Google SecOps

La siguiente política de ejemplo detecta todos los reenviadores de Google SecOps y envía alertas si los reenviadores de Google SecOps no envían registros durante 60 minutos. Puede que esto no sea útil para todos los reenviadores de Google SecOps que quieras monitorizar. Por ejemplo, puede monitorizar una sola fuente de registro en uno o varios reenviadores de Google SecOps con un umbral diferente o excluir reenviadores de Google SecOps en función de la frecuencia con la que envían informes.

1. En la Google Cloud consola, selecciona Monitorización.
   Ve a Cloud Monitoring
   

2. Haz clic enCreate Policy (Crear política).

3. En la página Seleccionar una métrica, elija Chronicle Collector > Ingestión > Número total de registros ingeridos.

4. Haz clic en Aplicar.

5. En la sección Transformar datos, haga lo siguiente:

   1. Define el periodo en un máximo de 1 hora*.
   2. Define la función de ventana acumulativa como media.
   3. En Agregación de serie temporal, seleccione media.
   4. En Agrupar serie temporal por, seleccione collector_id. Si no se agrupa por collector_id, se activará una alerta por cada fuente de registro.

6. Haz clic en Siguiente.

7. Seleccione Falta de métricas y haga lo siguiente:

   1. En Alert trigger (Activador de alerta), selecciona Any time series violates (Cualquier serie temporal incumple).
   2. Define el Tiempo de activación de ausencia en un periodo de hasta 1 hora.
   3. Introduce un nombre para la condición y haz clic en Siguiente.

8. En la sección Notificaciones y nombre, haga lo siguiente:

   1. Selecciona un canal de notificaciones en el campo Usar canal de notificaciones. Te recomendamos que configures varios canales de notificación por si falla alguno.
   2. Configura las notificaciones de cierre de incidentes.
   3. Define las etiquetas de usuario de la política en un nivel adecuado. Utilice este ajuste para definir el nivel de gravedad de las alertas de una política.
   4. Introduce la documentación que quieras enviar como parte de la alerta.
   5. Da un nombre a la política de alertas.

Nota: Para activar una alerta en 60 minutos, define el tiempo combinado de Ventana de tiempo acumulada y Tiempo de ausencia para activar en 1 hora.

Añadir exclusiones a una política general

Puede que sea necesario excluir determinados reenviadores de Google SecOps de una política general porque tengan volúmenes de tráfico bajos o requieran una política de alertas más personalizada.

1. En la Google Cloud consola, selecciona Monitorización.

2. En la página de navegación, selecciona Alertas y, a continuación, en la sección Políticas, selecciona la política que quieras editar.

3. En la página Detalles de la política, haga clic en Editar.

4. En la página Editar política de alertas, en la sección Añadir filtros, selecciona Añadir un filtro y haz lo siguiente:

   1. Selecciona la etiqueta collector_id y el recolector que quieras excluir de la política.
   2. Define el comparador como != y el valor como el collector_id que quieras excluir. A continuación, haz clic en Hecho.

   3. Repite este proceso con cada recolector que quieras excluir. También puede usar una expresión regular para excluir varios colectores con un solo filtro si quiere usar el siguiente formato:

      (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

5. Haz clic en Save Policy.

Configurar una política de ejemplo para detectar agentes de recogida de Google SecOps silenciosos

La siguiente política de ejemplo detecta todos los agentes de recogida de Google SecOps y envía alertas si los agentes de recogida de Google SecOps no envían registros durante 60 minutos. Es posible que esta muestra no sea útil para todos los agentes de recogida de Google SecOps que quieras monitorizar. Por ejemplo, puedes monitorizar una sola fuente de registro en uno o varios agentes de recogida de Google SecOps con un umbral diferente o excluir agentes de recogida de Google SecOps en función de la frecuencia con la que envían informes.

1. En la Google Cloud consola, selecciona Monitorización.
   Ve a Cloud Monitoring
   

2. Haz clic enCreate Policy (Crear política).

3. En la página Seleccionar una métrica, elija Chronicle Collector > Agent > Exporter Accepted Spans Count.

4. Haz clic en Aplicar.

5. En la sección Transformar datos, haga lo siguiente:

   1. Define la ventana acumulativa en un máximo de 1 hora*.
   2. Define la función de ventana acumulativa como media.
   3. En Agregación de serie temporal, seleccione media.
   4. En Agrupar serie temporal por, seleccione collector_id. Si no se agrupa por collector_id, se activará una alerta por cada fuente de registro.

6. Haz clic en Siguiente.

7. Seleccione Falta de métricas y haga lo siguiente:

   1. En Alert trigger (Activador de alerta), selecciona Any time series violates (Cualquier serie temporal incumple).
   2. Define Tiempo de ausencia de activación en hasta 1 hora*.
   3. Introduce un nombre para la condición y haz clic en Siguiente.

8. En la sección Notificaciones y nombre, haga lo siguiente:

   1. Selecciona un canal de notificaciones en el campo Usar canal de notificaciones. Te recomendamos que configures varios canales de notificación por si falla alguno.
   2. Configura las notificaciones de cierre de incidentes.
   3. Define las etiquetas de usuario de la política en un nivel adecuado. Se usa para definir el nivel de gravedad de la alerta de una política.
   4. Introduce la documentación que quieras que se envíe como parte de la alerta.
   5. Da un nombre a la política de alertas.

Nota: Para activar una alerta en 60 minutos, el tiempo combinado de Ventana acumulativa y Tiempo de ausencia para activar debe ser de 1 hora.

Configurar una política de ejemplo para detectar fallos en un clúster de alta disponibilidad de servidores de cortafuegos

La siguiente política de ejemplo detecta cuándo dejan de enviar informes ambos miembros de un clúster de alta disponibilidad (HA) activo-pasivo de servidores de cortafuegos Linux, lo que indica un error.

En la siguiente política de ejemplo, los miembros del clúster de alta disponibilidad se denominan prod-linux-server-1 y prod-linux-server-2. Para configurar una política de ejemplo que detecte el fallo de un clúster de alta disponibilidad de servidores de cortafuegos, haz lo siguiente:

1. En la Google Cloud consola, selecciona Monitorización.
   Ve a Cloud Monitoring
   

2. Haz clic enCreate Policy (Crear política).

3. En Modo de configuración de la política, selecciona Creador.

4. En Seleccionar una métrica, elige Recogedor de Chronicle > Ingesta > Recuento total de registros ingeridos.

5. Haz clic en Aplicar.

6. En la sección Añadir filtros, introduzca lo siguiente:

   ingestion_source one_of prod-linux-server-1, prod-linux-server-2

7. En la sección Transformar datos, haga lo siguiente:

   1. En Ventana de acumulación, selecciona 5 min.
   2. Asigna a Función de ventana de tiempo el valor tasa.
   3. En Agregación de serie temporal, seleccione media.
   4. En Agrupar por serie temporal, seleccione ingestion_source.

8. Haz clic en Siguiente.

9. En las opciones de Tipos de condición, selecciona Ausencia de métrica y haz lo siguiente:

   1. En Activador de alerta, selecciona Todas las series temporales infringen.

      Nota: Si se selecciona Todas las series temporales infringen y un miembro del clúster deja de enviar datos, no ocurre nada. Una alerta solo se activa si ambos miembros del clúster dejan de enviar datos durante el periodo especificado, ya que se han incumplido todas las series temporales.

   2. Define Tiempo de ausencia del activador en 5 min.

   3. Asigna el valor Linux-Active-Passive-Firewall-Cluster al nombre de la condición.

10. Haz clic en Siguiente.

11. En la sección Notificaciones y nombre, haga lo siguiente:

    1. Selecciona un canal de notificaciones en el campo Usar canal de notificaciones. Te recomendamos que configures varios canales de notificación por si falla alguno.
    2. Configura las notificaciones de cierre de incidentes.
    3. Define las etiquetas de usuario de la política en un nivel adecuado. Se usa para definir el nivel de gravedad de la alerta de una política.
    4. Introduce la documentación que quieras que se envíe como parte de la alerta.
    5. Da un nombre a la política de alertas.

Nota: Aunque una política de alertas puede incluir varios clústeres de alta disponibilidad, te recomendamos que configures una política de alertas por clúster de alta disponibilidad.

Ver la ingestión total por tipo de registro

Para ver los volúmenes de ingesta por tipo de registro en Cloud Monitoring, haz lo siguiente:

1. En la página Configuración, selecciona Perfil.

2. Selecciona tu perfil de Cloud Monitoring.

3. En la página Perfil, escribe Integraciones en la barra de búsqueda.

4. Seleccione Explorador de métricas.

5. Haz clic en promQL para cambiar al modo de consulta de PromQL.

6. En el campo Consultas, copia lo siguiente:

   sum by (log_type) (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

7. Opcional: Filtra un tipo de registro específico e inclúyelo en la consulta.

   Por ejemplo, para ver la ingesta del tipo de registro GCP_CLOUDAUDIT, la consulta sería la siguiente:

   sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))

8. En la sección Resultados, selecciona la pestaña Tabla para ver los datos sumados.

9. Opcional: Ajusta el intervalo de tiempo según sea necesario.

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.