Exporta resultados de forma masiva a BigQuery

En el documento, se describe cómo iniciar exportaciones masivas a pedido de los resultados de Security Command Center a BigQuery.

BigQuery es el almacén de datos de estadísticas rentable, a escala de petabytes y completamente administrado de Google Cloud que te permite ejecutar estadísticas en grandes cantidades de datos casi en tiempo real. Google CloudPara aprender más sobre BigQuery, consulta la documentación de BigQuery.

Descripción general

Esta función proporciona una instantánea de los resultados hasta un momento determinado. Esta función complementa la exportación continua de BigQuery para proporcionar estadísticas y generación de informes integrales.

Con las exportaciones masivas, puedes hacer lo siguiente:

Estructura del conjunto de datos

Los resultados se exportan a BigQuery como filas en la findings tabla, que se agrupa por source_id, finding_id, y event_time.

Cada conjunto de datos contiene una tabla de findings, que tiene los siguientes campos:

Campo Descripción
source_id

Un identificador único que Security Command Center asigna a la fuente de un hallazgo. Por ejemplo, todos los resultados de la fuente de detección de anomalías de Cloud tienen el mismo source_id valor.

Ejemplo: 1234567890
finding_id Identificador único que representa el hallazgo. Es único dentro de una fuente para la organización. Es alfanumérico y tiene 32 caracteres o menos.
event_time

La hora en que ocurrió el evento o la hora en que se produjo una actualización del hallazgo. Por ejemplo, si el hallazgo representa un firewall abierto, entonces event_time captura la hora en que el detector cree que se abrió el firewall. Si el hallazgo se resuelve después, esta hora refleja cuándo se resolvió ese hallazgo.

Ejemplo: 2019-09-26 12:48:00.985000 UTC
bulk_export_id

Para las exportaciones masivas, este es un UUID.

Para las exportaciones continuas, este campo está vacío.
finding

Un registro de los datos de evaluación, como seguridad, riesgo, estado o privacidad, que se transfieren a Security Command Center para fines de presentación, notificación, análisis, pruebas de políticas y aplicación. Por ejemplo, una vulnerabilidad de secuencia de comandos entre sitios (XSS) en una aplicación de App Engine aplicación es un hallazgo.

Si quieres obtener más información sobre los campos anidados, consulta la referencia de la API para el Finding objeto.

resource

Información relacionada con el Google Cloud recurso asociado a este resultado.

Si quieres obtener más información sobre los campos anidados, consulta la referencia de la API para el Resource objeto.

Costo

Se generarán cargos de BigQuery relacionados con esta función por almacenar datos en BigQuery. Para obtener más información, consulta los precios de almacenamiento de BigQuery.

Antes de comenzar

Debes completar estos pasos antes de habilitar esta función.

Configura los permisos

Para completar esta guía, debes tener las siguientes funciones de Identity and Access Management (IAM):

Crea un conjunto de datos de BigQuery

Para crear un conjunto de datos de BigQuery, sigue los pasos que se indican en Crea conjuntos de datos.

Habilita la API de Security Command Center.

Para exportar los resultados, debes habilitar la API de Security Command Center. Para ello, sigue estos pasos:

  1. Ve a la página Biblioteca de API en la Google Cloud consola de.

    Ir a la biblioteca de la API

  2. Selecciona el proyecto para el que deseas habilitar la API de Security Command Center.

  3. En el campo Buscar , ingresa Security Command Center y, luego, haz clic en Security Command Center en los resultados de la búsqueda.

  4. En la página de la API que aparece, haz clic en Habilitar.

La API de Security Command Center ahora está habilitada para tu proyecto.

Otorga acceso al perímetro en los Controles del servicio de VPC

Si usas los Controles del servicio de VPC, revisa Otorga acceso al perímetro en los Controles del servicio de VPC y sigue esos pasos, si es necesario.

Este paso debe repetirse para cada usuario que cree una exportación masiva para un perímetro de servicio determinado.

Crea una regla de entrada para la nueva exportación masiva de BigQuery

Si usas Controles del servicio de VPC, revisa Crea una regla de entrada para la nueva exportación a BigQuery y sigue esos pasos, si es necesario.

Limitaciones para las exportaciones masivas de BigQuery

Ten en cuenta las siguientes restricciones cuando crees exportaciones masivas de BigQuery:

  • Solo se permiten tres exportaciones masivas simultáneas en un momento determinado para una sola organización.
  • Si solicitas varias exportaciones masivas no simultáneas al mismo conjunto de datos de BigQuery, los resultados más recientes dentro de la exportación se anexan a la tabla findings de BigQuery. Los resultados no se sobrescriben.

Crea una exportación masiva de BigQuery

Se puede realizar una exportación masiva de resultados para una organización, un proyecto o una carpeta.

Para iniciar una exportación masiva de resultados a una instancia de BigQuery, usa gcloud CLI y sigue estos pasos:

  1. Accede a la Google Cloud consola de.

    Ir a la Google Cloud consola

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell.

  4. Para crear una configuración de exportación nueva, ejecuta el siguiente comando:

    gcloud scc findings export-to-bigquery PARENT \
    --dataset=DATASET_NAME \
    [--location=LOCATION; default="global"] \

    Reemplaza lo siguiente:

    • PARENT: Es el nombre relativo del alcance de la exportación: organización, proyecto o carpeta. Formatos de ejemplo: organizations/ORGANIZATION_ID, projects/PROJECT_ID, folders/FOLDER_ID
    • DATASET_NAME: Es el nombre del conjunto de datos de BigQuery. Formato de ejemplo: projects/PROJECT_ID/datasets/DATASET_ID

    • LOCATION: Es la ubicación de Security Command Center en la que se creará una configuración de exportación. Si la residencia de datos está habilitada, usa eu, sa, o us. De lo contrario, usa el valor global. Esta variable es opcional.

      Por ejemplo, para crear una exportación masiva de todos los resultados, ejecuta el siguiente comando:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET

      En términos de residencia de datos, el ejemplo anterior llama al extremo global.

      Para crear la misma exportación masiva para el extremo eu, ejecuta el siguiente comando:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
  --location=locations/eu

Este comando devuelve un objeto de operación de larga duración que contiene una cadena name que es necesaria cuando se hace un seguimiento del estado de la exportación. Para hacer un seguimiento del estado de esta exportación masiva de BigQuery, consulta Cómo ver el estado de una exportación masiva.

Para revisar tus resultados, consulta Revisa los resultados.

Consultas

Para obtener una variedad de consultas que puedes usar para analizar los datos de los resultados, consulta Consultas útiles.

Cómo ver el estado de una exportación masiva

Para ver el estado de una exportación masiva, necesitas la long running operation name cadena que se te devolvió cuando creaste la exportación masiva.

  1. Accede a la Google Cloud consola de.

    Ir a la Google Cloud consola

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell.

  4. Para verificar los detalles de la configuración de exportación masiva, ejecuta el siguiente comando:

    gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
    --organization=ORGANIZATION_ID

    Reemplaza lo siguiente:

    • LONG_RUNNING_OPERATION_NAME: Es la cadena name que se devolvió cuando creaste la exportación masiva.

    • ORGANIZATION_ID

      Por ejemplo, para ver el estado de una solicitud de exportación masiva, se devolvió name: "long-running-operation-name" de una organización con un ID de organización establecido en 123. Ejecuta el siguiente comando:

      gcloud scc operations describe long-running-operation-name \
  --organization=123
  • Si una exportación se realizó correctamente, la respuesta contiene done: true.
  • Si una exportación falló, la respuesta contiene un código de error.
  • Si una exportación aún está en curso, la respuesta no contiene done: true ni un código de error.

Exportaciones masivas y exportaciones continuas de BigQuery

Si deseas usar exportaciones masivas y continuas de BigQuery juntas en el mismo conjunto de datos de BigQuery, existen dos enfoques posibles:

  • Primero, crea una exportación continua y, luego, haz una carga inicial con una exportación masiva.

    1. Configura una exportación continua a un conjunto de datos de BigQuery. Una vez que se crea la exportación correctamente, comienzas a recibir resultados de Security Command Center en tiempo real.

    2. Crea una exportación masiva con el mismo conjunto de datos de BigQuery de destino. Se exporta una instantánea de todos los resultados de Security Command Center en el momento de la exportación al conjunto de datos seleccionado.

    Una exportación masiva tarda en ejecutarse. Por lo tanto, si la exportación continua se crea en T1, la exportación masiva se activa en T2 y la instantánea de los resultados para la exportación masiva se completa en T3, se podrían ver registros duplicados entre T1 y T3. Sin embargo, no hay brechas de hallazgos.

  • Primero, crea una exportación masiva y, luego, crea una exportación continua.

    1. Crea una exportación masiva. Se exporta una instantánea de todos los resultados de Security Command Center en el momento en que se ejecuta la exportación al conjunto de datos de BigQuery seleccionado.

    2. Configura una exportación continua al mismo conjunto de datos de BigQuery de destino. Una vez que se crea la exportación correctamente, comienzas a recibir resultados de Security Command Center en tiempo real.

    Si la exportación masiva se crea en T1, la instantánea de los resultados para la exportación masiva se completa en T2 y la exportación continua se activa en T3, es posible que falten resultados entre T2 y T3 en el conjunto de datos de BigQuery.

¿Qué sigue?