Exporta a un proyecto de BigQuery administrado por Google

Se admite en los siguientes sistemas operativos:

Google SecOps proporciona un data lake administrado de telemetría normalizada y enriquecida con inteligencia contra amenazas a través de la exportación de datos a BigQuery. Esto te permite hacer lo siguiente:

  • Ejecuta consultas ad hoc directamente en BigQuery.
  • Usa tus propias herramientas de inteligencia empresarial, como Looker o Microsoft Power BI, para crear informes, paneles y estadísticas.
  • Unir los datos de Google SecOps con conjuntos de datos de terceros
  • Ejecutar análisis con herramientas de ciencia de datos o aprendizaje automático
  • Ejecuta informes con paneles predeterminados y personalizados.

Google SecOps exporta las siguientes categorías de datos a BigQuery:

  • Registros de eventos del UDM: Son registros del UDM creados a partir de los datos de registro que los clientes transfieren. Estos registros se enriquecen con información de alias.
  • Coincidencias de reglas (detecciones): Son las instancias en las que una regla coincide con uno o más eventos.
  • Coincidencias de IoC: Son artefactos (por ejemplo, dominios o direcciones IP) de eventos que coinciden con los feeds de indicadores de compromiso (IoC). Esto incluye las coincidencias con los feeds globales y los feeds específicos del cliente.
  • Métricas de transferencia: Incluyen estadísticas, como la cantidad de líneas de registro transferidas, la cantidad de eventos producidos a partir de los registros, la cantidad de errores de registro que indican que no se pudieron analizar los registros y el estado de los reenvíos de Google SecOps. Para obtener más información, consulta Esquema de BigQuery de las métricas de transferencia.
  • Gráfico de entidades y relaciones entre entidades: Almacena la descripción de las entidades y sus relaciones con otras entidades.

Descripción general de las tablas

Google SecOps crea el conjunto de datos datalake en BigQuery y las siguientes tablas:

  • entity_enum_value_to_name_mapping: Para los tipos enumerados en la tabla entity_graph, asigna los valores numéricos a los valores de cadena.
  • entity_graph: Almacena datos sobre las entidades del UDM.
  • events: Almacena datos sobre los eventos del UDM.
  • ingestion_metrics: Almacena estadísticas relacionadas con la transferencia y la normalización de datos de fuentes de transferencia específicas, como los reenviadores de Google SecOps, los feeds y la API de Ingestion.
  • ioc_matches: Almacena las coincidencias de IOC que se encontraron en los eventos de UDM.
  • job_metadata: Es una tabla interna que se usa para hacer un seguimiento de la exportación de datos a BigQuery.
  • rule_detections: Almacena las detecciones que muestran las reglas que se ejecutan en Google SecOps. Esta tabla solo incluye las detecciones de las reglas que estaban activas (por ejemplo, habilitadas y no borradas) en el momento en que se ejecutó el proceso de exportación. Las detecciones de reglas que se inhabilitaron o borraron antes de que se ejecutara el trabajo de exportación no se incluirán en esta tabla, incluso si la hora de detección se encuentra dentro del período de la consulta.
  • rulesets: Almacena información sobre las detecciones seleccionadas de Google SecOps, incluida la categoría a la que pertenece cada conjunto de reglas, si está habilitado y el estado actual de las alertas.
  • udm_enum_value_to_name_mapping: Para los tipos enumerados en la tabla de eventos, asigna los valores numéricos a los valores de cadena.
  • udm_events_aggregates: Almacena datos agregados resumidos por hora de eventos normalizados. Esta tabla se completa de la mejor manera posible. Es posible que los datos de cada hora no estén disponibles de inmediato y que haya demoras en la población.

Actualidad de los datos y programa de exportación

Los datos de las tablas de BigQuery se actualizan en diferentes intervalos. Comprender estos factores puede ayudar a establecer expectativas sobre la disponibilidad de los datos:

  • Eventos del UDM (tabla events): Por lo general, se actualizan con frecuencia y los datos suelen estar disponibles aproximadamente dos horas después de la transferencia.
  • Exportaciones según el mejor esfuerzo: Muchos otros conjuntos de datos se exportan según el mejor esfuerzo. Esto incluye, sin limitaciones, lo siguiente:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

En el caso de las tablas exportadas con el mejor esfuerzo, si bien las actualizaciones son periódicas, no hay una latencia ni una sincronización estrictamente comprometidas. Pueden producirse retrasos y, en el caso de las agregaciones por hora, como udm_events_aggregates, es posible que los datos de cada hora no estén disponibles de inmediato al final de la hora. Por lo general, se espera que los datos se actualicen en un día.

Accede a los datos en BigQuery

Puedes ejecutar consultas directamente en BigQuery o conectar tu propia herramienta de inteligencia empresarial, como Looker o Microsoft Power BI, a BigQuery.

Para habilitar el acceso a la instancia de BigQuery, usa la API de acceso a BigQuery de Google SecOps. Puedes proporcionar una dirección de correo electrónico para un usuario o un grupo que te pertenezca. Si configuras el acceso a un grupo, usa el grupo para administrar qué miembros del equipo pueden acceder a la instancia de BigQuery.

Para conectar Looker o cualquier otra herramienta de inteligencia empresarial a BigQuery, comunícate con tu representante de Google SecOps para obtener las credenciales de la cuenta de servicio que te permitan conectar una aplicación al conjunto de datos de BigQuery de Google SecOps. La cuenta de servicio tendrá los roles de IAM de visualizador de datos de BigQuery (roles/bigquery.dataViewer) y visualizador de trabajos de BigQuery (roles/bigquery.jobUser).

Retención de datos

Para los clientes de Google SecOps Enterprise Plus que usan BigQuery administrado por Google, se aplican los siguientes parámetros de configuración de retención:

  • Clientes heredados de Google SecOps Enterprise Plus (en ruta de baja):

    • Tablas ioc_matches y rule_detections: No se establece un límite de retención debido al bajo volumen.
    • entity_graph, udm_events_aggregates y otras tablas particionadas, excepto la tabla events: 180 días
    • Tabla events (eventos del UDM): Los datos se conservan según tu contrato de Google SecOps o el valor predeterminado de 366 días si no se especifica en el contrato.

  • Clientes nuevos: La duración de la retención se rige por el contrato de SecOps de Google (de acuerdo con la función de exportación avanzada de BigQuery).

¿Qué sigue?

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.