Exporta a un proyecto de BigQuery administrado por Google

Compatible con:

Google SecOps proporciona un data lake administrado de telemetría normalizada y enriquecida con inteligencia contra amenazas mediante la exportación de datos a BigQuery. Esto te permite hacer lo siguiente:

  • Ejecutar consultas ad hoc directamente en BigQuery
  • Usar tus propias herramientas de inteligencia empresarial, como Looker o Microsoft Power BI, para crear paneles, informes y estadísticas
  • Unir datos de Google SecOps con conjuntos de datos de terceros
  • Ejecutar estadísticas con herramientas de ciencia de datos o aprendizaje automático
  • Ejecutar informes con paneles predefinidos predeterminados y paneles personalizados

Google SecOps exporta las siguientes categorías de datos a BigQuery:

  • Registros de eventos de UDM: Registros de UDM creados a partir de datos de registro transferidos por los clientes. Estos registros se enriquecen con información de alias.
  • Coincidencias de reglas (detecciones): Instancias en las que una regla coincide con uno o más eventos.
  • Coincidencias de IoC: Artefactos (por ejemplo, dominios, direcciones IP) de eventos que coinciden con feeds de indicadores de compromiso (IoC). Esto incluye coincidencias con feeds globales y feeds específicos del cliente.
  • Métricas de transferencia: Incluyen estadísticas, como la cantidad de líneas de registro transferidas, la cantidad de eventos producidos a partir de registros, la cantidad de errores de registro que indican que no se pudieron analizar los registros y el estado de los reenviadores de Google SecOps. Para obtener más información, consulta el esquema de BigQuery de las métricas de transferencia.
  • Gráfico de entidades y relaciones de entidades: Almacena la descripción de las entidades y sus relaciones con otras entidades.

Descripción general de las tablas

Google SecOps crea el conjunto de datos datalake en BigQuery y las siguientes tablas:

  • entity_enum_value_to_name_mapping: Para los tipos enumerados en la tabla entity_graph, asigna los valores numéricos a los valores de cadena.
  • entity_graph: Almacena datos sobre las entidades de UDM.
  • events: Almacena datos sobre los eventos de UDM.
  • ingestion_metrics: Almacena estadísticas relacionadas con la transferencia y la normalización de datos de fuentes de transferencia específicas, como los reenviadores de Google SecOps, los feeds y la API de Ingestion.
  • ioc_matches: Almacena las coincidencias de IoC encontradas en los eventos de UDM.
  • job_metadata: Es una tabla interna que se usa para hacer un seguimiento de la exportación de datos a BigQuery.
  • rule_detections: Almacena las detecciones que muestran las reglas que se ejecutan en Google SecOps. Esta tabla solo incluye las detecciones de las reglas que estaban activas (por ejemplo, habilitadas y no borradas) en el momento en que se ejecutó el proceso de exportación. Las detecciones de las reglas que se inhabilitaron o borraron antes de que se ejecutara el trabajo de exportación no se incluirán en esta tabla, incluso si el tiempo de detección se encuentra dentro del rango de la consulta.
  • rulesets: Almacena información sobre las detecciones seleccionadas de Google SecOps, incluida la categoría a la que pertenece cada conjunto de reglas, si está habilitado y el estado actual de las alertas.
  • udm_enum_value_to_name_mapping: Para los tipos enumerados en la tabla de eventos, asigna los valores numéricos a los valores de cadena.
  • udm_events_aggregates: Almacena datos agregados resumidos por hora de eventos normalizados. Esta tabla se propaga de la mejor manera posible. Es posible que los datos de cada hora no estén disponibles de inmediato y que haya demoras en la propagación.

Actualización de datos y programación de exportación

Los datos de las tablas de BigQuery se actualizan en diferentes intervalos. Comprenderlos puede ayudar a establecer expectativas para la disponibilidad de los datos:

  • Eventos de UDM (tabla events): Por lo general, se actualizan con frecuencia y los datos suelen estar disponibles en un plazo de aproximadamente dos horas después de la transferencia.
  • Exportaciones de la mejor manera posible: Muchos otros conjuntos de datos se exportan de la mejor manera posible. Esto incluye, entre otros, lo siguiente:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

En el caso de las tablas exportadas de la mejor manera posible, si bien las actualizaciones son periódicas, no hay una latencia ni una sincronización estrictamente comprometidas. Pueden producirse demoras y, en el caso de las agregaciones por hora, como udm_events_aggregates, es posible que los datos de cada hora no estén disponibles de inmediato al final de la hora. Por lo general, se espera que los datos se actualicen en un día.

Accede a los datos en BigQuery

Puedes ejecutar consultas directamente en BigQuery o conectar tu propia herramienta de inteligencia empresarial, como Looker o Microsoft Power BI, a BigQuery.

Para habilitar el acceso a la instancia de BigQuery, usa la API de acceso a BigQuery de Google SecOps. Puedes proporcionar una dirección de correo electrónico para un usuario o un grupo que sea de tu propiedad. Si configuras el acceso a un grupo, úsalo para administrar qué miembros del equipo pueden acceder a la instancia de BigQuery.

Para conectar Looker o cualquier otra herramienta de inteligencia empresarial a BigQuery, comunícate con tu representante de Google SecOps para obtener las credenciales de la cuenta de servicio que te permitan conectar una aplicación al conjunto de datos de BigQuery de Google SecOps. La cuenta de servicio tendrá el rol de visualizador de datos de BigQuery de IAM (roles/bigquery.dataViewer) y el rol de usuario de trabajo de BigQuery (roles/bigquery.jobUser).

Retención de datos

Para los clientes de Google SecOps Enterprise Plus que usan BigQuery administrado por Google, se aplican los siguientes parámetros de configuración de retención:

  • Clientes heredados de Google SecOps Enterprise Plus (en la ruta de baja):

    • Tablas ioc_matches y rule_detections: No se establece ningún límite de retención debido al bajo volumen.
    • entity_graph, udm_events_aggregates y otras tablas particionadas, excepto la tabla events: 180 días.
    • Tabla events (eventos de UDM): Los datos se retienen según tu contrato de Google SecOps o el valor predeterminado de 366 días si no se especifica en el contrato.

  • Clientes nuevos: La duración de la retención se rige por el contrato de Google SecOps (coherente con la función de exportación avanzada de BigQuery).

¿Qué sigue?

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.