Exporta registros sin procesar a un bucket de Google Cloud Storage autoadministrado

Se admite en los siguientes sistemas operativos:

La API de Data Export facilita la exportación masiva de tus datos de seguridad desde Google Security Operations a un bucket de Google Cloud Storage que controlas. Esta capacidad admite la retención de datos críticos a largo plazo, el análisis forense histórico y los requisitos de cumplimiento estrictos (como SOX, HIPAA y RGPD).

Importante: Después de habilitar la nueva API mejorada, no podrás usarla para acceder a tus trabajos existentes anteriores.

Para obtener más detalles sobre la API de Data Export, consulta API de Data Export (mejorada)

La API de Data Export proporciona una solución confiable y escalable para las exportaciones de datos en un momento determinado y controla solicitudes de hasta 100 TB.

Como canalización administrada, ofrece funciones esenciales de nivel empresarial, incluidas las siguientes:

  • Reintentos automáticos en caso de errores transitorios
  • Supervisión integral del estado del trabajo
  • Un registro de auditoría completo para cada trabajo de exportación

La API particiona lógicamente los datos exportados por fecha y hora dentro de tu bucket de Google Cloud Storage.

Esta función te permite crear flujos de trabajo de descarga de datos a gran escala. Google SecOps administra la complejidad del proceso de exportación para brindar estabilidad y rendimiento.

Ventajas clave

La API de Data Export proporciona una solución resistente y auditable para administrar el ciclo de vida de tus datos de seguridad.

  • Confiabilidad: El servicio controla transferencias de datos a gran escala. El sistema usa una estrategia de retirada exponencial para reintentar automáticamente los trabajos de exportación que encuentran problemas transitorios (por ejemplo, problemas de red temporales), lo que lo hace resiliente. Si tu trabajo de exportación falla debido a un error transitorio, se reintentará automáticamente varias veces. Si un trabajo falla de forma permanente después de todos los reintentos, el sistema actualiza su estado a FINISHED_FAILURE, y la respuesta de la API para ese trabajo contiene un mensaje de error detallado que explica la causa.
  • Capacidad de auditoría integral: Para cumplir con los estrictos estándares de cumplimiento y seguridad, el sistema captura cada acción relacionada con un trabajo de exportación en un registro de auditoría inmutable. Este registro incluye la creación, el inicio, el éxito o el error de cada trabajo, junto con el usuario que inició la acción, una marca de tiempo y los parámetros del trabajo.

  • Optimización para el rendimiento y la escala: La API usa un sistema sólido de administración de trabajos. Este sistema incluye la creación de filas y la priorización para proporcionar estabilidad a la plataforma y evitar que un solo arrendatario monopolice los recursos.

  • Mayor integridad y accesibilidad de los datos: El sistema organiza automáticamente los datos en una estructura de directorios lógica dentro de tu bucket de Google Cloud Storage, lo que te ayuda a ubicar y consultar períodos específicos para el análisis histórico.

Términos y conceptos clave

  • Trabajo de exportación: Es una sola operación asíncrona para exportar un período específico de datos de registro a un bucket de Google Cloud Storage. El sistema hace un seguimiento de cada trabajo con un dataExportId único.
  • Estado del trabajo: Es el estado actual de un trabajo de exportación en su ciclo de vida (por ejemplo, IN_QUEUE, PROCESSING, FINISHED_SUCCESS).
  • Bucket de Google Cloud Storage: Es un bucket de Google Cloud Storage propiedad del usuario que sirve como destino para los datos exportados.
  • Tipos de registros: Son las categorías específicas de registros que puedes exportar (por ejemplo, NIX_SYSTEM, WINDOWS_DNS, CB_EDR). Para obtener más detalles, consulta la lista de todos los tipos de registros admitidos.

Comprende la estructura de los datos exportados

Cuando un trabajo se completa correctamente, el sistema escribe los datos en tu bucket de Google Cloud Storage. Utiliza una estructura de directorios específica y particionada para simplificar el acceso a los datos y las consultas.

Estructura de la ruta de directorio: gs://<gcs-bucket-name>/<export-job-name>/<logtype>/<event-time-bucket>/<epoch_execution_time>/<file-shard-name>.csv

  • gcs-bucket-name: Es el nombre de tu bucket de Google Cloud Storage.
  • export-job-name: Es el nombre único de tu trabajo de exportación.
  • logtype: Es el nombre del tipo de registro de los datos exportados.
  • event-time-bucket: Es el rango de horas de las marcas de tiempo de los eventos de los registros exportados.

    El formato es una marca de tiempo UTC: year/month/day/UTC-timestamp (donde UTC-timestamp es hour/minute/second).
    Por ejemplo, 2025/08/25/01/00/00 hace referencia a UTC 01:00:00 AM, August 25, 2025.

  • epoch-execution-time: Es el valor de tiempo de época de Unix que indica cuándo comenzó el trabajo de exportación.

  • file-shard-name: Es el nombre de los archivos fragmentados que contienen registros sin procesar. Cada fragmento de archivo tiene un límite superior de tamaño de 100 MB.

Rendimiento y limitaciones

El servicio tiene límites específicos para garantizar la estabilidad de la plataforma y la asignación justa de recursos.

  • Volumen de datos máximo por trabajo: Cada trabajo de exportación individual puede solicitar hasta 100 TB de datos. En el caso de los conjuntos de datos más grandes, recomendamos dividir la exportación en varios trabajos con rangos de tiempo más pequeños.
  • Trabajos simultáneos: Cada arrendatario del cliente puede ejecutar o poner en cola un máximo de 3 trabajos de exportación de forma simultánea. El sistema rechaza cualquier solicitud de creación de trabajo nuevo que supere este límite.
  • Tiempos de finalización de trabajos: El volumen de datos exportados determina los tiempos de finalización de los trabajos. Un solo trabajo puede tardar hasta 18 horas.
  • Formato de exportación y alcance de los datos: Esta API admite exportaciones masivas y puntuales, con las siguientes limitaciones y funciones:

Requisitos previos y arquitectura

En esta sección, se describe la arquitectura del sistema y los requisitos necesarios para usar la API de Data Export, y se detalla la arquitectura del sistema. Usa esta información para verificar que tu entorno esté configurado correctamente.

Antes de comenzar

Antes de usar la API de Data Export, completa estos pasos previos para configurar tu destino de Google Cloud Storage y otorgar los permisos necesarios.

  1. Otorga permisos al usuario de la API: Para usar la API de Data Export, necesitas los siguientes roles de IAM.

    • Chronicle administrator (creating/managing jobs): Otorga permisos completos para crear, actualizar, cancelar y ver trabajos de exportación con la API.
    • Chronicle Viewer: Otorga acceso de solo lectura para ver la configuración y el historial de los trabajos con la API.
  2. Crea un bucket de Google Cloud Storage: En tu proyecto Google Cloud, crea un nuevo bucket de Google Cloud Storage (el destino de tus datos exportados) en la misma región que tu arrendatario de Google SecOps. Hazlo privado para evitar el acceso no autorizado. Para obtener más información, consulta Crea un bucket.

  3. Otorga permisos a la cuenta de servicio: Otorga a la cuenta de servicio de Google SecOps, que está vinculada a tu arrendatario de Google SecOps, los roles de IAM necesarios para escribir datos en tu bucket.

    1. Llama al extremo de la API de FetchServiceAccountForDataExport para identificar la cuenta de servicio única de tu instancia de Google SecOps. La API devuelve el correo electrónico de la cuenta de servicio.

      Solicitud de ejemplo:

      {
        "parent": "projects/myproject/locations/us/instances/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
      }
      

      Ejemplo de respuesta:

      {
        "service_account_email": "service-1234@gcp-sa-chronicle.iam.gserviceaccount.com"
      }
      
    2. Otorga al principal de la cuenta de servicio de Google SecOps el siguiente rol de IAM para el bucket de destino de Google Cloud Storage: Este rol permite que el servicio de Google SecOps escriba archivos de datos exportados en tu bucket de Google Cloud Storage.

      • Storage object administrator (roles/storage.objectAdmin)
      • Legacy bucket reader (roles/storage.legacyBucketReader)

      Para obtener más información, consulta Otorga acceso a la cuenta de servicio de Google SecOps.

  4. Completar la autenticación: La API de Data Export autentica tus llamadas. Para configurar esta autenticación, sigue las instrucciones de las siguientes secciones:

    1. Métodos de autenticación para servicios de Google Cloud
    2. Credenciales predeterminadas de la aplicación

Casos de uso clave

La API de Data Export proporciona un conjunto de endpoints para crear trabajos de exportación de datos y administrar todo el ciclo de vida de la exportación masiva de datos. Realizas todas las interacciones con llamadas a la API.

En los siguientes casos de uso, se describe cómo crear, supervisar y administrar trabajos de exportación de datos.

Flujo de trabajo principal

En esta sección, se explica cómo administrar el ciclo de vida de tus trabajos de exportación.

Crea un trabajo de exportación de datos nuevo

El sistema almacena las especificaciones del trabajo de exportación de datos en la instancia de Google SecOps del recurso principal. Esta instancia es la fuente de los datos de registro para el trabajo de exportación.

  • Identifica la cuenta de servicio única de tu instancia de Google SecOps. Para obtener más información, consulta FetchServiceAccountForDataExports.

  • Para iniciar una exportación nueva, envía una solicitud POST al extremo dataExports.create.
    Para obtener más información, consulta el extremo CreateDataExport.

Supervisa el estado del trabajo de exportación de datos

Consulta los detalles y el estado de un trabajo de exportación de datos específico, o bien establece un filtro para ver ciertos tipos de trabajos.

  • Para ver un trabajo de exportación específico, consulta GetDataExport.

  • Para enumerar ciertos tipos de trabajos de exportación de datos con un filtro, consulta ListDataExport.

Administra trabajos en cola

Puedes modificar o cancelar un trabajo cuando se encuentra en el estado IN_QUEUE.

  • Para cambiar los parámetros (como el período, la lista de tipos de registros o el bucket de destino), consulta UpdateDataExport.

  • Para cancelar un trabajo en cola, consulta CancelDataExport.

Soluciona los problemas habituales

La API proporciona mensajes de error detallados para ayudar a diagnosticar problemas.

Código canónico Mensaje de error
INVALID_ARGUMENT INVALID_REQUEST: El parámetro de solicitud <Parameter1, Parameter2,…> no es válido. Corrige los parámetros de solicitud y vuelve a intentarlo.
NOT_FOUND BUCKET_NOT_FOUND: El bucket de Google Cloud Storage de destino <bucketName> no existe. Crea el bucket de destino de Google Cloud Storage y vuelve a intentarlo.
NOT_FOUND REQUEST_NOT_FOUND: No existe el dataExportId:<dataExportId>. Agrega un dataExportId válido y vuelve a intentarlo.
FAILED_PRECONDITION BUCKET_INVALID_REGION: La región del bucket de Google Cloud Storage <bucketId>: <region1> no es la misma que la región del arrendatario de SecOps:<region2>. Crea el bucket de Google Cloud Storage en la misma región que el arrendatario de SecOps y vuelve a intentarlo.
FAILED_PRECONDITION INSUFFICIENT_PERMISSIONS: La cuenta de servicio <P4SA> no tiene permisos de storage.objects.create, storage.objects.get y storage.buckets.get en el bucket de Google Cloud Storage de destino <bucketName>. Proporciona el acceso requerido a la cuenta de servicio y vuelve a intentarlo.
FAILED_PRECONDITION INVALID_UPDATE: El estado de la solicitud se encuentra en la etapa <status> y no se puede actualizar. Solo puedes actualizar la solicitud si el estado se encuentra en la etapa IN_QUEUE.
FAILED_PRECONDITION INVALID_CANCELLATION: El estado de la solicitud se encuentra en la etapa <status> y no se puede cancelar. Solo puedes cancelar la solicitud si el estado se encuentra en la etapa EN_COLA.
RESOURCE_EXHAUSTED CONCURRENT_REQUEST_LIMIT_EXCEEDED: Se alcanzó el límite máximo de solicitudes simultáneas <limit> para el tamaño de la solicitud <sizelimit>. Espera a que se completen las solicitudes existentes y vuelve a intentarlo.
RESOURCE_EXHAUSTED REQUEST_SIZE_LIMIT_EXCEEDED: El volumen de exportación estimado: <estimatedVolume> para la solicitud es mayor que el volumen de exportación máximo permitido: <allowedVolume> por solicitud. Vuelve a intentarlo con una solicitud que esté dentro del límite de volumen de exportación permitido.
INTERNAL INTERNAL_ERROR: Se produjo un error interno. Vuelve a intentarlo.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.