Transmite datos con la exportación avanzada de BigQuery

Compatible con:

Google SecOps

Nota: Esta función está sujeta a las Condiciones de las Ofertas de Fase Previa a la DG de las Condiciones Específicas del Servicio de Google Security Operations. Las características de la fase previa a la DG pueden tener asistencia limitada, y es posible que los cambios en las características de la fase previa a la DG no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta los Lineamientos de los Servicios de Asistencia Técnica de Google SecOps y las Condiciones Específicas del Servicio de Google SecOps.
Si esta función no está visible en tu entorno, consulta Cómo administrar las funciones en versión preliminar o comunícate con tu administrador del sistema.

En este documento, se describe cómo acceder a tus datos de Google SecOps y usarlos en BigQuery con la función Exportación avanzada a BigQuery. Como cliente de Enterprise Plus, puedes usar la función para acceder a tus datos de seguridad casi en tiempo real a través de una canalización de datos de transmisión completamente administrada. Esta función puede ayudar a abordar el desafío crítico de la latencia de datos en las operaciones de seguridad y generar una detección y respuesta ante amenazas más oportunas y eficaces.

Antes de comenzar

Revisa los siguientes puntos que definen los requisitos de elegibilidad y las acciones necesarias:

• Solo para clientes de Enterprise Plus: Esta función solo está disponible para los clientes de Google SecOps Enterprise Plus. Para todos los demás clientes, consulta Exporta a un proyecto de BigQuery autoadministrado.
• Se requiere la activación de la función: Esta función se habilita a pedido y puede requerir una configuración inicial en la instancia de Google SecOps de tu organización. Si es necesario, comunícate con tu representante de Google SecOps para confirmar la habilitación de la función.
• Migración de datos: Cuando activas esta función, tus datos comienzan a exportarse a un nuevo proyecto de usuario de BigQuery para tu instancia de Google SecOps, además de las exportaciones existentes a tu proyecto de BigQuery administrado por Google, como se describe en Exporta a un proyecto de BigQuery administrado por Google. Esta operación dual admite tu transición a la nueva función sin interrupciones. Recibirás una notificación antes de que se inhabilite la canalización de exportación anterior para tu cuenta.
• Controles del servicio de VPC: La Exportación avanzada de BigQuery puede funcionar en un perímetro de Controles del servicio de VPC. Para obtener más información, consulta Configura los Controles del servicio de VPC.
• Claves de encriptación administradas por el cliente (CMEK): La exportación avanzada de BigQuery está disponible para los clientes que habilitaron las CMEK en su instancia de Google SecOps. Para obtener más información, consulta CMEK para Google SecOps. Si usas la CMEK con los Controles del servicio de VPC, consulta Configura los Controles del servicio de VPC para Google SecOps para obtener recomendaciones e instrucciones.

Descripción general de las funciones

La Exportación avanzada de BigQuery aprovisiona y administra automáticamente conjuntos de datos esenciales de Google SecOps, incluidos los eventos del Modelo de datos unificado (UDM), las detecciones de reglas, los gráficos de entidades y las coincidencias de Indicador de Compromiso (IoC), en un proyecto de BigQuery seguro y administrado por Google. Obtendrás acceso seguro y de solo lectura a estos datos a través de un conjunto de datos vinculado de BigQuery, que aparece directamente en tu propio proyecto de Google Cloud . Esta funcionalidad te permite consultar tus datos de seguridad como si estuvieran almacenados de forma local, pero sin la sobrecarga de administrar la canalización de datos o el almacenamiento.

Google SecOps exporta las siguientes categorías de datos de seguridad a BigQuery:

• Registros de eventos de UDM: Son los registros de UDM creados a partir de los datos de registro transferidos por los clientes. Estos registros se enriquecen con información de alias.
• Coincidencias de reglas (detecciones): Son instancias en las que una regla coincide con uno o más eventos.
• Coincidencias de IoC: Son artefactos (por ejemplo, dominios o direcciones IP) de eventos que coinciden con los feeds de IoC. Esto incluye las coincidencias con los feeds globales y los feeds específicos del cliente, y viceversa.
• Métricas de transferencia: Son estadísticas, como la cantidad de líneas de registro transferidas, la cantidad de eventos producidos a partir de los registros y la cantidad de errores de registro que indican que no se pudieron analizar los registros.
• Gráfico de entidades y relaciones entre entidades: Es la descripción de las entidades y sus relaciones con otras entidades.

Beneficios principales

Entre los beneficios principales de la exportación avanzada a BigQuery, se incluyen los siguientes:

• Actualidad de los datos casi en tiempo real: Una arquitectura de transmisión hace que tus datos de seguridad estén disponibles para consultas en cuestión de minutos después de la transferencia. Los eventos de UDM, las detecciones de reglas y las coincidencias de IoC están disponibles con una latencia esperada de 5 a 10 minutos.
• Modelo de costos simplificado y predecible: Google SecOps cubre todos los costos de transferencia y almacenamiento de datos dentro del proyecto de BigQuery administrado. Tu organización solo es responsable de los costos de análisis de BigQuery en los que incurras cuando ejecutes consultas.
• Acceso a los datos sin mantenimiento: Google administra por completo la infraestructura subyacente, lo que permite que tu equipo se enfoque en el análisis de datos en lugar de la ingeniería de datos.
• Integridad de los datos y anulación de duplicación: Los datos de seguridad se actualizan o vuelven a enriquecer con frecuencia después de la transferencia inicial. La función usa combinaciones detalladas del lenguaje de manipulación de datos (DML) para actualizar los registros in situ. Recibes datos limpios y sin duplicados sin escribir rutinas complejas de eliminación de duplicados en SQL.
• Asistencia fluida para MSSP (hub-and-spoke): Los proveedores de servicios de seguridad administrados (MSSP) pueden administrar de forma eficiente los análisis en varios usuarios de clientes suscribiéndose de forma programática a los conjuntos de datos vinculados de sus clientes desde un solo proyecto centralizado.
• Cumplimiento integrado: La función admite de forma nativa los Controles del servicio de VPC, las claves de encriptación administradas por el cliente (CMEK) y la residencia de datos (DRZ). Los registros de auditoría orientados al cliente (Transparencia de acceso) se entregan directamente en tu espacio de trabajo de Cloud Logging a través del Servicio de identificación de recursos federados (FRIS).

Casos de uso habituales

La exportación avanzada de BigQuery está diseñada para analistas de seguridad, cazadores de amenazas, científicos de datos e ingenieros de seguridad que requieren acceso directo y de alto rendimiento a datos de seguridad actualizados para investigaciones ad hoc, análisis personalizados y la integración en herramientas de inteligencia empresarial.

Estos son algunos casos de uso comunes de la Exportación avanzada a BigQuery:

• Ejecuta consultas ad hoc directamente en BigQuery.
• Usa tus propias herramientas de inteligencia empresarial, como Microsoft Power BI, para crear paneles, informes y estadísticas.
• Unir los datos de Google SecOps con conjuntos de datos de terceros

Arquitectura

La arquitectura de la exportación avanzada de BigQuery usa una canalización de transmisión continua. Los datos de tu instancia de Google SecOps se envían a un proyecto de usuario seguro administrado por Google con la API de BigQuery Storage Write (gRPC) de alta capacidad de procesamiento.

Google SecOps usa BigQuery sharing para crear una ficha de datos segura y brindarte acceso. En el panel Explorador de BigQuery, tu proyecto Google Cloud se suscribe automáticamente a esta lista, que se muestra como el conjunto de datos vinculadosecops_linked_datalake.

Este modelo admite un aislamiento de datos sólido y, al mismo tiempo, te brinda acceso de consulta de solo lectura sin interrupciones.

Terminología clave

A continuación, se presentan algunos términos y conceptos clave para la Exportación avanzada de BigQuery:

• Proyecto de usuario: Es un proyecto de Google Cloud Google SecOps que es de su propiedad y que administra. En este proyecto, se almacenan y administran físicamente los datos de seguridad exportados. No tienes acceso directo a este proyecto.
• BYOP (Bring Your Own Project): Es el proyecto de Google Cloud que tu organización posee y vincula a tu instancia de Google SecOps. Este es el proyecto en el que aparece el conjunto de datos vinculado y en el que ejecutas tus consultas y generas costos de análisis.
• ID del proyecto: Es el identificador único a nivel global de tu proyecto Google Cloud vinculado a tu instancia de Google SecOps.
• Conjunto de datos vinculado: Es un conjunto de datos de BigQuery de solo lectura que funciona como un vínculo simbólico o un puntero a un conjunto de datos compartido en otro proyecto. Te permite consultar datos sin copiarlos, lo que proporciona acceso seguro mientras el proveedor de datos administra el almacenamiento físico.
• DML detallado (FGDML): Es el proceso de backend automatizado que usa la exportación avanzada de BigQuery para realizar operaciones de actualización o inserción. Si un evento llega tarde o se vuelve a enriquecer, el sistema actualiza la fila existente en su lugar, según su identificador único (por ejemplo, metadata.id) en lugar de crear un duplicado.
• Modelo de datos unificado (UDM): Es el esquema estándar y extensible de Google para analizar y normalizar los datos de telemetría de seguridad de cientos de productos de proveedores en un formato coherente.
• Proveedores de servicios de seguridad administrados (MSSP): Google Cloud Los MSSP certificados ofrecen un conjunto integral de herramientas y experiencia para fortalecer tus defensas contra las amenazas de ciberseguridad en constante evolución.

Configura tu sistema

Para usar BigQuery Export avanzado, primero debes configurar tu sistema. Según tu entorno y tus requisitos, sigue las instrucciones de una de las siguientes secciones.

Configuración predeterminada

Sigue estos pasos para configurar tu sistema para usar la Exportación avanzada de BigQuery y comenzar a consultar tus datos:

1. Confirma tu licencia: Asegúrate de que tu organización tenga una licencia de Google SecOps Enterprise Plus.
2. Identifica tu proyecto: Accede a la consola de Google Cloud y selecciona el proyecto de Google Cloud que está vinculado a tu instancia de Google SecOps.
3. Ubica el conjunto de datos vinculado: En la consola de BigQuery, usa el panel Explorador para navegar a los recursos de tu proyecto. Verás un conjunto de datos vinculado llamado secops_linked_datalake. Este conjunto de datos es un puntero de solo lectura a los datos de seguridad activos que administra Google SecOps.

4. Verifica los permisos de Identity and Access Management (IAM): Para consultar los datos, tu cuenta de usuario o de servicio debe tener los siguientes roles de IAM otorgados en tu proyecto:

   • roles/bigquery.dataViewer: Es obligatorio para que los usuarios finales o las herramientas de IE de tu organización ejecuten consultas en SQL en las vistas de conjuntos de datos vinculados.
   • roles/bigquery.jobUser: Es obligatorio para que los usuarios finales o las herramientas de IE de tu organización ejecuten consultas en SQL en las vistas de conjuntos de datos vinculados.
   • Chronicle API Admin: Se requiere en Google SecOps para ejecutar las APIs de Dataplane (por ejemplo, ProvisionPartnerSubscription) y administrar las suscripciones de MSSP.

   Estos roles permiten a los usuarios (como los analistas de seguridad y los consumidores de datos) consultar datos en el conjunto de datos vinculado y ejecutar trabajos de BigQuery dentro de su proyecto.

5. Ejecuta una consulta de prueba: Abre el espacio de trabajo de SQL de BigQuery y ejecuta una consulta básica para verificar que tu acceso esté configurado correctamente. Puedes usar el siguiente fragmento de código:

   SELECT *
   FROM `PROJECT_ID.secops_linked_datalake.events`
   LIMIT 10;
   

   Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud real.

Configura la Exportación avanzada de BigQuery dentro de un perímetro de Controles del servicio de VPC

Para configurar la Exportación avanzada de BigQuery dentro del perímetro de los Controles del servicio de VPC, debes configurar una regla de entrada específica. Esta regla permite que las cuentas de servicio de Google SecOps necesarias interactúen con BigQuery y los servicios relacionados en los proyectos protegidos por el perímetro. Para obtener instrucciones detalladas y más información, consulta Configura los Controles del servicio de VPC para Google Security Operations.

• Para configurar la exportación avanzada de BigQuery dentro del perímetro de los Controles del servicio de VPC, configura la siguiente regla de entrada:

  - ingressFrom:
      identities:
      - serviceAccount:[e-mail]
      - serviceAccount:[e-mail]
      sources:
      - accessLevel: "*"
    ingressTo:
      operations:
      - serviceName: analyticshub.googleapis.com
        methodSelectors:
        - method: "*"
      - serviceName: bigquery.googleapis.com
        methodSelectors:
        - method: "*"
      resources:
      - projects/PROJECT_NUMBER
  

  Reemplaza PROJECT_NUMBER por el número de proyecto de Google Cloud vinculado a Google SecOps.

Para MSSP: Configura el acceso centralizado a los datos de BigQuery de tus subinquilinos

Si se te aprovisiona como MSSP, puedes aprovechar las APIs del plano de datos de Google SecOps para crear de forma programática conjuntos de datos vinculados de BigQuery en tu proyecto central de "concentrador". Estos conjuntos de datos vinculados apuntan a los datos de BigQuery de tus clientes (radios), lo que te permite realizar consultas en varios arrendatarios desde un solo panel. Este proceso requiere que tu cliente otorgue acceso a tu instancia de MSSP.

Estos son algunos de los beneficios clave:

• Visibilidad centralizada: Analiza los datos de seguridad de todos tus clientes en un solo lugar.
• Flujos de trabajo eficientes: Optimiza la búsqueda de amenazas y la generación de informes en toda tu base de clientes.
• Administración programática: Automatiza la configuración y la eliminación del acceso a los datos.

Requisitos previos

• MSSP

  • Un proyecto Google Cloud que sirva como tu "centro" central.
  • Es una instancia de Google SecOps.
  • Permisos de IAM adecuados para administrar conjuntos de datos de BigQuery en tu proyecto de centro

• Cliente (subinquilino)

  • Una licencia de Google SecOps Enterprise Plus
  • Un proyecto de Google Cloud (BYOP) vinculado a tu instancia de Google SecOps.
  • Permisos de IAM adecuados para administrar el acceso a la API de Google SecOps
  • La CLI de gcloud debe estar instalada y autenticada.

Paso 1: El cliente otorga acceso al MSSP

El cliente puede llamar a la API de ProvisionPartnerSubscription para otorgar permisos a la instancia de Google SecOps de su MSSP. Google SecOps aprovisiona automáticamente un conjunto de datos vinculado de BigQuery, con el formato secops_linked_datalake_<customer_id> dentro del proyecto de Google Cloud del MSSP vinculado a la instancia de Google SecOps del MSSP. Este conjunto de datos se vincula a los datos de Google SecOps del cliente.

Endpoint de API:

POST
https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription

Método

POST

Cuerpo de la solicitud

Objeto JSON vacío.

{}

Ejemplo de comando CURL (que debe ejecutar el cliente):

curl -X POST \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{}' \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription"

Reemplaza los marcadores de posición que se indican más abajo:

• CUSTOMER_PROJECT: Es el ID Google Cloud o número de proyecto del cliente. Consulta Crea y administra proyectos.
• REGION: Es la región Google Cloud en la que reside la instancia de Google SecOps del cliente (por ejemplo, us, europe-west2). Consulta la lista de regiones.
• CUSTOMER_INSTANCE_ID: Es el ID de la instancia de Google SecOps del cliente.

Cuerpo de la respuesta

Devuelve ProvisionPartnerSubscriptionResponse que contiene los detalles de la suscripción.

{
  "subscriptionDetails": {
    "subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
    "linkedDataset": "string"
  }
}

• SUBSCRIBER_PROJECT_ID: ID del proyecto Google Cloud del MSSP suscriptor.
• SUBSCRIBER_REGION: Es la región en la que se encuentra el Google Cloud proyecto del suscriptor.
• SUBSCRIPTION_ID: Es un identificador único para la suscripción existente.

Paso 2: El MSSP consulta los datos de todos los usuarios

Una vez que se aprovisionan los conjuntos de datos vinculados de varios clientes en tu proyecto de Google Cloud (MSSP), puedes usar consultas en SQL estándar de BigQuery para analizar los datos. Para realizar consultas en varios clientes, usa el operador UNION ALL.

Consulta de ejemplo (que el MSSP ejecutará en su proyecto de concentrador):

SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_1.events`
WHERE <your_conditions>

UNION ALL

SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_2.events`
WHERE <your_conditions>

-- Add more UNION ALL clauses for other customers

Paso 3: El cliente audita el acceso

El cliente puede llamar a la API de fetchSubscriptions para ver todas las suscripciones activas y las instancias de MSSP que acceden a sus datos.

Extremo de API

GET https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions

Método

GET

Ejemplo de comando CURL (que debe ejecutar el cliente):

curl -X GET \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions"

Reemplaza los marcadores de posición que se indican más abajo:

• CUSTOMER_PROJECT: Es el ID Google Cloud o número de proyecto del cliente. Consulta Crea y administra proyectos.
• REGION: Es la región de Google Cloud en la que reside la instancia de Google SecOps del cliente (p.ej., us, europe-west2). Consulta la lista de regiones.
• CUSTOMER_INSTANCE_ID: Es el ID de la instancia de Google SecOps del cliente.

Cuerpo de la respuesta

Devuelve FetchSubscriptionsResponse con una lista de suscripciones activas.

{
  "subscriptions": [
    {
      "subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
      "linkedDataset": "string"
    }
  ]
}

• SUBSCRIBER_PROJECT_ID: Es el Google Cloud ID del proyecto del suscriptor. El suscriptor puede referirse al cliente o a un MSSP.
• SUBSCRIBER_REGION: Es la región en la que se encuentra el proyecto de Google Cloud del suscriptor.
• SUBSCRIPTION_ID: Es un identificador único para la suscripción existente.

Paso 4: El cliente revoca el acceso (si es necesario)

Si un cliente necesita revocar el acceso de un MSSP, puede usar la API de revokePartnerSubscription. Esta acción revoca de inmediato el permiso para consultar el conjunto de datos vinculado con el proyecto de concentrador del MSSP. El ID de la suscripción revocada se inactiva.

Nota: Las suscripciones existentes no se revocan automáticamente si la instancia de un cliente se desvincula de una instancia de MSSP. La revocación se debe ejecutar de forma manual.

Extremo de API

POST https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription

Método

POST

Cuerpo de la solicitud

Requiere el URI de la suscripción que se revocará, que se obtuvo de la llamada a la API de fetchSubscriptions.

{
  "subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
}

Ejemplo de comando CURL (que debe ejecutar el cliente):

# Set subscription details obtained from Fetch Subscriptions
export SUBSCRIBER_PROJECT_ID="partner-byop-project-id"
export SUBSCRIBER_REGION="subscription-location"
export SUBSCRIPTION_ID="subscription-id"

curl -X POST \
  -H "Authorization: Bearer ${OAUTH_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{
    "subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
  }' \
  "https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription"

Reemplaza los marcadores de posición que se indican más abajo:

• SUBSCRIBER_PROJECT_ID: Es el Google Cloud ID del proyecto del suscriptor.
• SUBSCRIBER_REGION: Es la región en la que se encuentra el proyecto de Google Cloud del suscriptor.
• SUBSCRIPTION_ID: Es un identificador único para la suscripción existente.
• CUSTOMER_PROJECT: Es el ID Google Cloud o número de proyecto del cliente.
• REGION: Es la región de Google Cloud en la que reside la instancia de Google SecOps del cliente.
• CUSTOMER_INSTANCE_ID: Es el ID de la instancia de Google SecOps del cliente.

Cuerpo de la respuesta

Objeto JSON vacío.

{}

Nota: Las suscripciones de MSSP de centro y radios solo se admiten dentro de la misma región. No se admite la federación entre regiones (por ejemplo, de EE.UU. a Europa).

Consulta tus datos de BigQuery

Puedes ejecutar consultas directamente en BigQuery o conectar tu propia herramienta de inteligencia empresarial, como Microsoft Power BI, a BigQuery.

Consulta los siguientes vínculos para obtener más información sobre las búsquedas:

• Para obtener información sobre cómo acceder a las consultas y ejecutarlas en BigQuery, abre Ejecuta una consulta y obtén información para ejecutar una consulta interactiva y ejecutar una consulta por lotes.
• Para obtener información sobre cómo consultar tablas particionadas, consulta Consulta tablas particionadas.

Período de retención de datos en tu proyecto de usuario de BigQuery

El período de retención de tus datos en BigQuery es idéntico al período de retención de datos configurado para tu usuario de Google SecOps. No hay un parámetro de configuración independiente que se pueda configurar para personalizar la política de retención de datos en BigQuery. Los datos se borran automáticamente de las tablas de BigQuery a medida que superan el período de retención de tu usuario.

Conjuntos de datos vinculados

Los conjuntos de datos vinculados contienen tablas que corresponden a diferentes tipos de datos de seguridad.

Nota: Un conjunto de datos vinculado es estrictamente de solo lectura. Esta es una medida de seguridad fundamental para garantizar la integridad y la exactitud de los datos, que se administran exclusivamente a través de la canalización de la plataforma de Google SecOps.

En la siguiente tabla, se proporciona un resumen de los conjuntos de datos disponibles, la actualidad de los datos objetivo y los identificadores únicos que se usan para garantizar la integridad de los datos:

Nota: Algunos registros, como los eventos que llegan tarde o que se vuelven a enriquecer, se actualizan con combinaciones detalladas del lenguaje de manipulación de datos (DML). Por lo tanto, puede haber una demora de hasta 12 horas para que estos registros aparezcan en tu conjunto de datos de BigQuery.

Nombre del conjunto de datos	Descripción	Mejor actualidad esperada	Identificadores únicos para la deduplicación
events	Son eventos de seguridad normalizados en el esquema de UDM. Para obtener información sobre el esquema, consulta Esquema de eventos de Google SecOps.	< 5 minutos	id (representación de cadena)
rule_detections	Detecciones generadas por las reglas del motor de detección de Google SecOps.	< 5 minutos	detection.id
ioc_matches	Se encontraron coincidencias de indicadores de compromiso (IOC) con los eventos de UDM.	< 5 minutos	Clave compuesta de day_bucket_seconds, feed_log_type, ioc_type, ioc_value
entity_graph	Datos contextuales sobre entidades (usuarios y recursos) y sus relaciones.	~4 horas (por lotes)	Clave compuesta de partition_day, metadata.product_entity_id y metadata.event_metadata.id
ingestion_metrics	Estadísticas sobre el volumen de transferencia de registros y las fuentes de datos.	Aproximadamente 5 minutos	Ninguno (serie temporal de solo agregado)
entity_enum_value_to_name_mapping	Asigna valores numéricos a valores de cadena para los tipos enumerados del grafo de entidades.	N/A	Ninguno
udm_enum_value_to_name_mapping	Asigna valores numéricos a valores de cadena para los tipos enumerados de eventos del UDM.	N/A	Ninguno

Importante: Hasta que la exportación avanzada de BigQuery esté disponible de forma general, los datos de ingestion_metrics se seguirán exportando solo a tu proyecto de BigQuery administrado por Google existente.

Consultas de muestra

En los siguientes ejemplos, se muestra cómo consultar los conjuntos de datos para casos de uso de seguridad comunes.

Ejemplo: Busca todas las conexiones de red de una dirección IP específica en las últimas 24 horas

Esta consulta busca en la tabla de eventos la actividad de red reciente de una dirección IP sospechosa.

SELECT
  metadata.product_event_type,
  principal.ip,
  target.ip,
  network.application_protocol
FROM
  `PROJECT_ID.secops_linked_datalake.events`
WHERE
  principal.ip = '192.0.2.1'
  AND metadata.event_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR);

• Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud .

Ejemplo: Cuenta las 10 detecciones de reglas más frecuentes

Esta consulta en la tabla rule_detections ayuda a identificar las amenazas o los incumplimientos de política más comunes que se detectan en tu entorno.

SELECT
  rule_name,
  COUNT(*) AS detection_count
FROM
  `PROJECT_ID.secops_linked_datalake.rule_detections`
WHERE
  detection.id IS NOT NULL
GROUP BY
  1
ORDER BY
  2 DESC
LIMIT
  10;

• Reemplaza PROJECT_ID por el ID del proyecto de Google Cloud .

Prácticas recomendadas

A continuación, se incluyen algunas prácticas recomendadas para realizar consultas con la Exportación avanzada de BigQuery:

• Optimiza los costos de las consultas: Aunque el almacenamiento es gratuito, los costos de procesamiento se facturan a tu proyecto, por lo que debes hacer lo siguiente:

  • Evita usar SELECT *. En tu consulta, especifica solo las columnas que necesitas para reducir la cantidad de datos analizados y los costos de la consulta.
  • Asegúrate de que tus consultas aprovechen la partición de BigQuery (con la columna de tiempo de partición hour_time_bucket) y el agrupamiento en clústeres (hour_time_bucket, log_type, event_type, id) para analizar menos datos y reducir significativamente los costos de las consultas.

• Usa filtros de partición: La tabla de eventos se particiona por la columna hour_time_bucket. Incluye siempre un filtro de cláusula WHERE en esta columna para limitar las consultas al período más pequeño posible, lo que mejora significativamente el rendimiento y reduce los costos.

• Escribe consultas eficientes: El esquema del UDM es amplio y disperso. Para filtrar de manera eficiente tipos de eventos específicos, usa WHERE… IS NOT NULL en los campos pertinentes Por ejemplo, para encontrar solo consultas de DNS, filtra WHERE network.dns.questions.name IS NOT NULL.

• Valida las consultas: Usa el validador de consultas en la IU de BigQuery antes de ejecutar una consulta. El validador de consultas proporciona una estimación de los datos procesados, lo que te ayuda a evitar consultas inesperadamente grandes y costosas.

• Usa tablas de asignación de enumeraciones: La exportación avanzada de BigQuery incluye las tablas entity_enum_value_to_name_mapping y udm_enum_value_to_name_mapping. Úsalos para unir tus eventos y traducir los valores de enumeración numéricos en cadenas legibles sin escribir lógica de traducción manual en tus consultas.

• Integración de registros de auditoría: La exportación avanzada de BigQuery se integra en el servicio de identificación de recursos federados (FRIS). Los registros de auditoría orientados al cliente, que usan la función de Transparencia de acceso de Google, se entregan de forma nativa dentro de tu lugar de trabajo de Cloud Logging de BYOP si el personal de Google accede al proyecto de arrendatario administrado.

Limitaciones conocidas

A continuación, se indican las limitaciones conocidas de la función de exportación avanzada de BigQuery:

• Latencia del gráfico de entidades: El conjunto de datos entity_graph se exporta con un procesamiento por lotes y tiene una actualidad de los datos de aproximadamente cuatro horas.
• Límites de columnas del esquema de UDM: BigQuery tiene un límite flexible de 10,000 columnas por tabla. El esquema de UDM contiene más de 27,000 campos y está poco propagado. La canalización de exportación incluye de forma inteligente solo las columnas completadas para un evento determinado, lo que mantiene a la mayoría de los clientes muy por debajo del límite. Google SecOps supervisa el uso de columnas y solicita de forma proactiva un aumento del límite para tu proyecto de usuario si se acerca a este umbral.
• El período de retención no se puede configurar: El período de retención de datos para todos los datos de seguridad exportados a BigQuery se sincroniza automáticamente con el período de retención de datos de tu proyecto de Google SecOps y no se puede configurar por separado.
• No se admiten los datos de SOAR: Los datos de SOAR (search_everything_db) de Operaciones de seguridad de Google no se admiten en la Exportación avanzada de BigQuery.
• No se admite la federación entre regiones: Se admiten las suscripciones de MSSP de concentrador y radio dentro de la misma región. No se admite la federación entre regiones (por ejemplo, de EE.UU. a Europa).
• Es posible que haya eventos duplicados (probabilidad inferior al 1%): Si bien el sistema usa combinaciones de DML para controlar la anulación de duplicación automáticamente, debido a la naturaleza de la transmisión distribuida, existe una posibilidad remota (inferior al 1%) de que aparezcan eventos duplicados durante las ventanas de transferencia de casos extremos antes de que se complete la combinación en segundo plano.
• Se puede acceder a los datos históricos, pero se requieren métodos específicos: La exportación de datos comienza desde el momento en que se habilita la exportación avanzada a BigQuery, y se puede acceder a los datos más antiguos en tu proyecto existente. Para consultar los datos exportados antes de la activación de la Exportación avanzada a BigQuery, debes usar una sola consulta que una los datos de ambos proyectos o ejecutar dos consultas independientes en los proyectos respectivos (una para el conjunto de datos más antiguo y otra para el nuevo).

Solución de problemas y asistencia

En la siguiente tabla, se proporcionan soluciones para los problemas habituales que puedes encontrar:

Síntoma observado	Causa posible	Acción recomendada
Las consultas fallan con Access Denied: User does not have permission.	La cuenta de usuario o de servicio no tiene los roles de IAM de BigQuery necesarios en el proyecto de Google Cloud que está vinculado a tu instancia de Google SecOps.	Otorga los roles de Visualizador de datos de BigQuery y Usuario de trabajo de BigQuery a la principal. Verifica esto con gcloud projects get-iam-policy YOUR_PROJECT_ID --flatten="bindings.members" --format='table(bindings.role)' --filter="bindings.members:user:[e-mail]"
El conjunto de datos secops_linked_datalake no es visible en mi proyecto de BigQuery.	1. No estás en el proyecto de Google Cloud correcto. 2. Tu organización no tiene el nivel Enterprise Plus. 3. Tu organización se encuentra en el nivel Enterprise Plus, pero la exportación avanzada de BigQuery no está habilitada en tu instancia de Google SecOps.	1. En la consola de Google Cloud , verifica que hayas seleccionado el proyecto vinculado a tu instancia de Google SecOps. 2. Comunícate con tu representante de Google para confirmar el nivel de tu licencia de Google SecOps. 3. Comunícate con tu representante de Google SecOps y pídele que habilite la exportación avanzada de BigQuery en tu instancia de Google SecOps.
La llamada a la API falla con un error de permiso para ProvisionPartnerSubscription o FetchSubscriptions	La identidad de llamada no tiene los permisos necesarios.	Asegúrate de que la cuenta de servicio o el usuario que realiza la llamada tenga el rol de IAM de administrador de la API de Chronicle, que incluye permisos en el recurso de la instancia de centro.
Faltan columnas personalizadas o hay una discrepancia en el esquema	Se incorporó un nuevo tipo de registro o un campo de UDM profundamente anidado.	La exportación avanzada a BigQuery usa actualizaciones dinámicas del esquema. Cuando se propagan campos nuevos del UDM, el sistema detecta automáticamente la discrepancia de esquemas, se detiene brevemente, actualiza el esquema de BigQuery y vuelve a intentar la inserción. No se requiere ninguna acción.

Preguntas frecuentes

En las siguientes secciones, se incluyen algunas preguntas frecuentes.

¿Debo modificar mis consultas en SQL de BigQuery heredadas existentes para usar la exportación avanzada de Google SecOps?

No. Para mantener una retrocompatibilidad del 100%, Google SecOps expone vistas (por ejemplo, eventos, ioc_matches) en el conjunto de datos vinculado que coinciden perfectamente con el esquema de las tablas de la función de exportación heredada de Google SecOps.

¿Puedo ajustar el período de retención de datos de mi exportación avanzada de BigQuery?

No. El período de retención de datos en la exportación avanzada de BigQuery refleja directamente tu política de retención de datos de Google SecOps. Cuando los datos vencen en Google SecOps, vencen automáticamente y se borran del proyecto de usuario de BigQuery.

¿Se me cobrarán las actualizaciones de DML y la deduplicación del backend?

No. Google SecOps absorbe todos los costos de almacenamiento de backend, operaciones de inserción de transmisión y procesamiento de DML detallado. Solo pagas por las consultas que ejecutas de forma explícita en tu BYOP.

¿Esta función está disponible para los niveles Standard o Enterprise de Google SecOps?

No. La exportación avanzada de BigQuery (almacenamiento administrado y transmisión) es una función premium exclusiva de la edición Enterprise Plus de Google SecOps. Los clientes de las ediciones Standard y Enterprise pueden usar el modelo Bring Your Own BigQuery (BYOBQ), en el que proporcionan el proyecto de BigQuery y cubren los costos de almacenamiento y procesamiento.

¿Por qué podría ver diferencias temporales en los recuentos entre los datos de la exportación avanzada de BigQuery y las estadísticas que se muestran en la IU de Google Security Operations?

Pueden producirse discrepancias temporales debido a la naturaleza de transmisión casi en tiempo real de la canalización de BigQuery Export avanzada. Estos son los motivos principales:

• Datos que llegan tarde: La canalización de exportación está diseñada para una alta capacidad de procesamiento. La mayoría de los datos aparecen en BigQuery en un plazo de 5 a 10 minutos. Sin embargo, a veces, los eventos pueden llegar tarde a la canalización de procesamiento debido a retrasos en la red o problemas del sistema fuente. Si bien el sistema intenta combinar estos eventos tardíos, puede haber un breve período en el que las estadísticas de la IU en vivo, que reflejan el estado más reciente, difieran de los datos de BigQuery que se actualizan de forma continua.

• Reenriquecimiento de datos: Google SecOps enriquece continuamente los datos de eventos con la información contextual y la inteligencia contra amenazas más recientes. La función Advanced BigQuery Export exporta los eventos según su estado en el momento del enriquecimiento inicial. Si un evento se vuelve a enriquecer con información nueva después de que se transmitió a BigQuery, es posible que esta versión actualizada no se refleje de inmediato en BigQuery. Esto puede generar diferencias al comparar con elementos de la IU que siempre muestran los datos completamente enriquecidos.

• Latencia de combinación de DML: Para mantener actualizados los datos en BigQuery y controlar aspectos como los datos que llegan tarde o los posibles duplicados, la canalización usa operaciones MERGE del lenguaje de manipulación de datos (DML) en segundo plano. Estas operaciones, si bien son eficientes, no son instantáneas. Existe una latencia inherente a medida que se procesan estas combinaciones, en especial para las actualizaciones detalladas. Durante este intervalo de combinación, es posible que las consultas en BigQuery no capturen las microactualizaciones más recientes que ya se pueden ver en la IU de Google Security Operations.

Debido a los factores mencionados (datos tardíos, control de re-enriquecimiento y latencias de combinación), es posible que no siempre se produzca una coincidencia perfecta de 1:1 entre BigQuery y las estadísticas de la IU en tiempo real en un segundo preciso. La exportación avanzada de BigQuery proporciona datos casi en tiempo real, optimizados para casos de uso como la búsqueda de amenazas, las estadísticas personalizadas y los paneles, en los que la actualidad de los datos en cuestión de minutos es fundamental. Para fines de auditoría que requieren coherencia absoluta en un momento determinado, considere la posibilidad de que haya diferencias menores y transitorias.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.