Exporta resultados de forma masiva a BigQuery

Las exportaciones masivas a pedido te permiten exportar instantáneas de los hallazgos de Security Command Center a BigQuery. Estas exportaciones admiten análisis de seguridad personalizados, auditorías de cumplimiento y generación de informes. Las exportaciones masivas complementan las exportaciones continuas, ya que capturan los estados históricos de los hallazgos en un momento específico.

Para aprender más sobre BigQuery, consulta la documentación de BigQuery.

Funciones compatibles para las exportaciones masivas

Con las exportaciones masivas, puedes hacer lo siguiente:

Estructura del conjunto de datos

Los hallazgos se exportan a BigQuery como filas en la tabla findings, que se agrupa por source_id, finding_id y event_time.

Cada conjunto de datos contiene una tabla de findings, que tiene los siguientes campos:

Campo Descripción
source_id

Es un identificador único que Security Command Center asigna a la fuente de un hallazgo. Por ejemplo, todos los hallazgos de la fuente de detección de anomalías de Cloud tienen el mismo valor de source_id.

Ejemplo: 1234567890
finding_id Identificador único que representa el resultado. Es único dentro de una fuente para una organización. Es alfanumérico y tiene 32 caracteres o menos.
event_time

La hora en que ocurrió el evento o la hora en que se produjo una actualización del resultado. Por ejemplo, si el hallazgo representa un firewall abierto, event_time captura la hora en que el detector cree que se abrió el firewall. Si el resultado se resuelve después, esta hora refleja cuándo se resolvió ese resultado.

Ejemplo: 2019-09-26 12:48:00.985000 UTC

Para obtener más información sobre los cambios que actualizan la hora del evento, consulta Descripción general del ciclo de vida de los hallazgos.

bulk_export_id

Para las exportaciones masivas, este es un UUID.

En el caso de las exportaciones continuas, este campo está vacío.
finding

Un registro de los datos de evaluación, como seguridad, riesgo, estado o privacidad, que se transfieren a Security Command Center para fines de presentación, notificación, análisis, pruebas de políticas y aplicación. Por ejemplo, una vulnerabilidad de secuencia de comandos entre sitios (XSS) en una aplicación de App Engine es un hallazgo.

Para obtener más información sobre los campos anidados, consulta la referencia de la API para el objeto Finding.

resource

Información relacionada con el recurso de Google Cloud asociado a este hallazgo.

Si quieres obtener más información sobre los campos anidados, consulta la referencia de la API para el objeto Resource.

Costo

Se generarán cargos de BigQuery relacionados con esta función por almacenar datos en BigQuery. Para obtener más información, consulta los precios de almacenamiento de BigQuery.

Antes de comenzar

Debes completar estos pasos antes de habilitar esta función.

Configura los permisos

Para completar esta guía, debes tener las siguientes funciones de Identity and Access Management (IAM):

Crea un conjunto de datos de BigQuery

Crea un conjunto de datos de BigQuery siguiendo los pasos que se indican en Crea conjuntos de datos.

Habilita la API de Security Command Center.

Para exportar los resultados, debes habilitar la API de Security Command Center siguiendo estos pasos:

  1. Ve a la página Biblioteca de API en la consola de Google Cloud .

    Ir a la biblioteca de la API

  2. Selecciona el proyecto para el que deseas habilitar la API de Security Command Center.

  3. En el campo de búsqueda Buscar, ingresa Security Command Center y, luego, haz clic en Security Command Center en los resultados de la búsqueda.

  4. En la página de la API que aparece, haz clic en Habilitar.

La API de Security Command Center ahora está habilitada para tu proyecto.

Otorga acceso al perímetro en los Controles del servicio de VPC

Si usas los Controles del servicio de VPC, revisa Otorga acceso al perímetro en los Controles del servicio de VPC y sigue esos pasos, si es necesario.

Este paso se debe repetir para cada usuario que cree una exportación masiva para un perímetro de servicio determinado.

Crea una regla de entrada para la nueva exportación masiva de BigQuery

Si usas los Controles del servicio de VPC, revisa Crea una regla de entrada para la nueva exportación a BigQuery y sigue esos pasos, si es necesario.

Limitaciones de las exportaciones masivas de BigQuery

Ten en cuenta las siguientes restricciones cuando crees exportaciones masivas de BigQuery:

  • Solo se permiten tres exportaciones masivas simultáneas en un momento dado para una sola organización.
  • Si solicitas varias exportaciones masivas no simultáneas al mismo conjunto de datos de BigQuery, los hallazgos más recientes de la exportación se agregan a la tabla de BigQuery findings. Los hallazgos no se reemplazan.

Crea una exportación masiva de BigQuery

Se puede realizar una exportación masiva de hallazgos para una organización, un proyecto o una carpeta.

Para iniciar una exportación masiva de hallazgos a una instancia de BigQuery, usa gcloud CLI y sigue estos pasos:

  1. Accede a la consola de Google Cloud .

    Ir a la consola de Google Cloud

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell (Activar Cloud Shell).

  4. Para crear una configuración de exportación nueva, ejecuta el siguiente comando:

    gcloud scc findings export-to-bigquery PARENT \
    --dataset=DATASET_NAME \
    [--location=LOCATION; default="global"] \

    Reemplaza lo siguiente:

    • PARENT: Es el nombre relativo del permiso de exportación: organización, proyecto o carpeta. Formatos de ejemplo: organizations/ORGANIZATION_ID, projects/PROJECT_ID, folders/FOLDER_ID
    • DATASET_NAME: Es el nombre del conjunto de datos de BigQuery. Formato de ejemplo: projects/PROJECT_ID/datasets/DATASET_ID

    • LOCATION: la ubicación de Security Command Center en la que se creará una configuración de exportación; si la residencia de datos está habilitada, usa eu, sa o us; de lo contrario, usa el valor global. Esta variable es opcional.

      Por ejemplo, para crear una exportación masiva de todos los hallazgos, ejecuta el siguiente comando:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET

      En términos de residencia de datos, el ejemplo anterior llama al extremo global.

      Para crear la misma exportación masiva para el extremo eu, ejecuta el siguiente comando:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
  --location=locations/eu

Este comando devuelve un objeto de operación de larga duración que contiene una cadena name que se requiere cuando se hace un seguimiento del estado de la exportación. Para hacer un seguimiento del estado de esta exportación masiva de BigQuery, consulta Cómo ver el estado de una exportación masiva.

Para revisar tus resultados, consulta Revisa los resultados.

Consultas

Para ver una variedad de consultas que puedes usar para analizar los datos de los hallazgos, consulta Consultas útiles.

Cómo ver el estado de una exportación masiva

Para ver el estado de una exportación masiva, necesitas la cadena long running operation name que se te devolvió cuando creaste la exportación masiva.

  1. Accede a la consola de Google Cloud .

    Ir a la consola de Google Cloud

  2. Selecciona el proyecto para el que habilitaste la API de Security Command Center.

  3. Haz clic en Activate Cloud Shell (Activar Cloud Shell).

  4. Para verificar los detalles de la configuración de exportación masiva, ejecuta el siguiente comando:

    gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
    --organization=ORGANIZATION_ID

    Reemplaza lo siguiente:

    • LONG_RUNNING_OPERATION_NAME: Es la cadena name que se muestra cuando creaste la exportación masiva.

    • ORGANIZATION_ID

      Por ejemplo, para ver el estado de una solicitud de exportación masiva que devolvió name: "long-running-operation-name" de una organización con un ID de organización configurado como 123, ejecuta el siguiente comando:

      gcloud scc operations describe long-running-operation-name \
  --organization=123
  • Si una exportación se realizó correctamente, la respuesta contiene done: true.
  • Si una exportación falla, la respuesta contiene un código de error.
  • Si una exportación aún está en curso, la respuesta no contiene done: true ni un código de error.

Exportaciones masivas y continuas de BigQuery

Si deseas usar las exportaciones masivas y continuas de BigQuery juntas en el mismo conjunto de datos de BigQuery, existen dos enfoques posibles:

  • Primero, crea una exportación continua y, luego, realiza un reabastecimiento con una exportación masiva.

    1. Configurar una exportación continua a un conjunto de datos de BigQuery Una vez que se crea la exportación de forma correcta, comienzas a recibir los resultados de Security Command Center en tiempo real.

    2. Crea una exportación masiva con el mismo conjunto de datos de BigQuery de destino. Se exporta una instantánea de todos los hallazgos de Security Command Center en el momento de la exportación al conjunto de datos seleccionado.

    Una exportación masiva tarda en ejecutarse. Por lo tanto, si la exportación continua se crea en T1, la exportación masiva se activa en T2 y la instantánea de los hallazgos para la exportación masiva se completa en T3, se podrían ver registros duplicados entre T1 y T3. Sin embargo, no hay brechas de hallazgos.

  • Primero, crea una exportación masiva y, luego, una continua.

    1. Crea una exportación masiva. Se exporta una instantánea de todos los hallazgos de Security Command Center en el momento en que se ejecutan las exportaciones al conjunto de datos de BigQuery seleccionado.

    2. Configura una exportación continua al mismo conjunto de datos de BigQuery de destino. Una vez que se crea la exportación de forma correcta, comienzas a recibir los resultados de Security Command Center en tiempo real.

    Si la exportación masiva se crea en T1, la instantánea de los hallazgos para la exportación masiva se completa en T2 y la exportación continua se activa en T3, es posible que falten los hallazgos entre T2 y T3 en el conjunto de datos de BigQuery.

¿Qué sigue?