Información sobre las cuotas y los límites de aumento de actividad

Se admite en los siguientes sistemas operativos:

En este documento, se describen las cuotas y los límites de ráfagas en Google Security Operations.

Definición de límites de ráfaga

Los límites de ráfaga son una forma de límites de servicio en Google SecOps que actúan como un límite de velocidad para la transferencia de datos, diseñado para proteger la infraestructura compartida de la plataforma de aumentos repentinos y masivos en el tráfico. Un límite de ráfaga restringe la tasa de transferencia (medida en megabytes por segundo [MBps] o gigabytes por segundo [GBps]) dentro de un período continuo de cinco minutos.

Cómo se calculan los límites de ráfaga

Google SecOps asigna límites de ráfaga a tus usuarios de Google SecOps según el volumen de transferencia anual que hayas comprado (capacidad comprada) de acuerdo con tu licencia de Google SecOps.

Para adaptarse a las variaciones esperadas y los aumentos repentinos no planificados en el tráfico de registros, tu límite de aumento diario se aprovisiona como un rango específico, lo que te permite transferir entre una y tres veces (de 1x a 3x) tu promedio diario esperado (calculado como tu capacidad anual comprada dividida por 365 días). Este margen de volumen flexible está diseñado para absorber los aumentos repentinos de transferencia estándar sin interrumpir tus operaciones. Por ejemplo, si la capacidad anual que compraste es de 365 TB, el promedio diario esperado es de 1 TB. Tu límite de aumento aprovisionado se encontrará estrictamente dentro del rango de 1 TB a 3 TB por día (lo que se traduce en un rango de capacidad de procesamiento de aproximadamente 12 MBps a 36 MBps). Si tu transferencia de datos supera constantemente este rango aprovisionado de 1 a 3 veces, deberás aumentar la capacidad anual que compraste.

Los límites de ráfaga se aplican por usuario de Google SecOps.

En la siguiente tabla, se muestra cómo los límites de ráfaga corresponden a diferentes cantidades de capacidad comprada:

Ejemplo de capacidad comprada Rango del límite de ráfaga Límite de ráfaga de 5 minutos Transferencia con el límite máximo de ráfaga (por hora) Ingesta en el límite máximo de ráfaga (diario) Transferencia con el límite máximo de ráfagas (anual)
100 TB De 3 a 10 MBps 0.9 a 3 GB ~34 GB ~822 GB 300 TB
500 TB De 16 a 48 MBps De 4.8 a 14.4 GB ~171 GB ~4 TB 1.5 PB
1 PB De 32 a 97 MBps De 9.6 GB a 29 GB ~343 GB ~8 TB 3 PB
5 PB De 158 a 476 MBps 47.4 a 143 GB ~1.7 TB ~41 TB 15 PB
30 PB De 0.96 a 2.86 GBps De 288 a 858 GB ~10.3 TB ~247 TB 90 PB

El tráfico de transferencia que incluye aumentos repentinos y extremos de velocidad puede estar sujeto a límite de frecuencia dinámica o a una limitación temporal para proteger la estabilidad regional.

Durante estos períodos, los datos pueden experimentar retrasos en la transferencia hasta que disminuya el aumento repentino.

Para conocer los requisitos de capacidad de procesamiento ultra alta, consulta Planificación de capacidad personalizada para una capacidad de procesamiento ultra alta.

Aplicabilidad de los límites de ráfaga para los feeds basados en extracción

Google SecOps también limita la transferencia basada en extracción a un tercio (33%) del límite general de ráfagas por tipo de registro (en todos los feeds). Este límite se aplica para garantizar que la transferencia basada en extracción (por lo general, de fuentes de nube) no agote los límites de aumento generales de tu usuario y no deje sin recursos la transferencia de datos con métodos basados en envío (como el uso de agentes de Bindplane, reenviadores o transferencia directa a las APIs de Google SecOps).

Métodos de transferencia basados en extracciones

Los métodos basados en extracciones incluyen métodos de transferencia (denominados tipos de fuentes en Google SecOps) en los que Google SecOps se comunica de forma activa con la API de origen para recuperar datos. Esto incluye los siguientes tipos de fuentes que se admiten en Google SecOps:

  • APIs de terceros
  • Azure Event Hub
  • Ingesta directa desde Google Workspace y Google Cloud
  • Cloud Storage
  • Feed de Cloud Storage (controlado por eventos)
  • Amazon S3
  • Amazon SQS
  • Azure Blobstore
  • Solicitud de SFTP
  • Solicitud HTTP

Por ejemplo, si el límite de ráfaga de tu arrendatario se establece en 150 MBps y tu arrendatario ingiere registros de contexto del usuario de Okta con un conector de API de terceros (es decir, un método de transferencia basado en extracción), el sistema limita la tasa de transferencia de todos los feeds de Okta combinados a un máximo de [150/3 =] 50 MBps. Este límite adicional se aplica incluso si tu tasa general de transferencia de datos está dentro del límite de aumento asignado.

Excepciones a los límites a nivel de tipo de registro

Aunque los límites a nivel de tipo de registro suelen aplicarse a los feeds basados en extracción, se aplican las siguientes excepciones:

  • Webhooks HTTPS: Este método de transferencia se basa en envíos y no está sujeto a límites a nivel del tipo de registro. Sin embargo, está sujeto al límite de aumento general del usuario del cliente y devuelve un código de estado HTTP 429 cuando un feed supera ese límite.
  • Azure Event Hub: Es un método de transferencia basado en extracción que no está sujeto a límites a nivel del tipo de registro.

Cómo se implementan los límites de ráfaga

El sistema aplica límites de ráfaga en intervalos de cinco minutos. Por ejemplo, si tu límite de ráfaga se establece en 50 MBps, puedes transferir hasta 15 GB cada cinco minutos. Si transfieres los 15 GB en los primeros dos minutos, la transferencia se bloqueará durante los tres minutos restantes de esa ventana. Este límite se restablece automáticamente al comienzo del siguiente intervalo de cinco minutos.

Los límites a nivel del tipo de registro se aplican de la misma manera, pero se aplican a nivel de los tipos de registro individuales. Por ejemplo, si se te asignan 5 GB para los feeds basados en extracción cada cinco minutos y tu volumen total de datos ingeridos para cualquier tipo de registro individual supera los 5 GB en los primeros dos minutos, se pausará la ingesta durante los tres minutos restantes de ese período. El límite se restablece automáticamente al comienzo del siguiente intervalo de cinco minutos.

Qué sucede con tus datos si superas los límites de ráfaga

Si superas el límite de aumento de actividad, Google SecOps detiene la transferencia de datos adicionales y se activan los siguientes mecanismos, según si tus datos se transfieren con métodos basados en extracción o en envío:

  • Con métodos basados en extracción: La transferencia se almacena en búfer automáticamente y no requiere ninguna configuración adicional por parte del cliente. Los datos permanecen almacenados en el almacenamiento de búfer hasta que se restablece el límite y Google SecOps reanuda la transferencia de datos.
  • Uso de métodos basados en la inserción: Google SecOps rechaza temporalmente la transferencia de datos con un error HTTP 429 "Demasiadas solicitudes". Esto indica a tu mecanismo de transferencia que haga una pausa, almacene en búfer y vuelva a intentarlo, lo que garantiza que no se pierdan datos.

Si usas métodos de transferencia basados en la inserción, la responsabilidad de almacenar en búfer y volver a intentar la transferencia recae en ti, el cliente (consulta Responsabilidades del cliente en relación con el almacenamiento en búfer y los reintentos de datos).

Los rechazos por límite de ráfaga no son pérdidas de datos

Es importante comprender que los rechazos por límite de ráfaga (HTTP 429) no son eventos de pérdida de datos. Un rechazo por límite de ráfaga (error HTTP 429) es una pausa en la transferencia de datos.

Si te aseguras de que tus sistemas basados en envíos tengan un almacenamiento en búfer de disco y una lógica de reintento adecuados, alcanzar un límite de ráfaga solo generará un pequeño retraso (retraso de transferencia), nunca la pérdida permanente de la telemetría de seguridad.

La pérdida de datos solo se produce si el sistema de envío (por ejemplo, el agente de Bindplane, el retransmisor o la secuencia de comandos) ignora el error de rechazo del límite de ráfaga y borra la entrada de registro en lugar de almacenarla para un reintento.

Responsabilidades del cliente en cuanto al almacenamiento en búfer y el reintento de datos

Aunque Google SecOps administra automáticamente el almacenamiento en búfer de datos y los reintentos para los datos que se transfieren con métodos de transferencia basados en extracción, eres responsable del almacenamiento en búfer de datos y de reintentar la transferencia de datos con métodos de transferencia basados en envío (como webhooks HTTPS, Bindplane, reenviadores o Cribl).

Debes configurar tus sistemas para que almacenen en búfer y reenvíen datos automáticamente cuando se alcance el límite de ráfaga para controlar el desbordamiento de datos de manera eficiente.

En la siguiente tabla, se destacan las diferencias clave en la forma en que Google SecOps controla la transferencia de datos cuando se alcanza el límite de aumento para ambos tipos de métodos de transferencia:

Función Transferencia basada en extracciones Transferencia basada en envíos
Cómo funciona Google SecOps se comunica de forma activa con la API de origen para recuperar datos. Tus sistemas inician la conexión y envían datos a Google.
Responsabilidad por el almacenamiento en búfer de datos y los reintentos Google SecOps administra el almacenamiento en búfer de forma automática. Cuando se alcanza el límite de ráfaga, Google SecOps detiene la transferencia de datos adicionales. Los datos permanecen almacenados en el almacenamiento de búfer hasta que se restablece el límite y Google SecOps reanuda la recuperación.
El almacenamiento de búfer solo almacena datos durante un máximo de 90 días, después de los cuales se descartan.		 El cliente debe administrar el almacenamiento en búfer. Cuando Google SecOps responde con HTTP 429, tu sistema de envío debe detectar este error, guardar los datos en una cola local (disco o memoria) y volver a intentar enviarlos más tarde. Si el remitente está configurado para "descartar en caso de error", se perderán los datos.
Tipos de fuentes de datos API de terceros, Azure Event Hub, transferencia directa desde Google Workspace y Google Cloud, Cloud Storage, feed de Cloud Storage (basado en eventos), Amazon S3, Amazon SQS, Azure Blobstore, solicitud HTTP y solicitud SFTP. Reenviador de Google SecOps, agente de Bindplane, Pub/Sub, Amazon Kinesis Firehose, webhook de HTTPS, directo a la API de transferencia.
Acción del usuario Toma medidas para alinear el volumen de transferencia de datos con la capacidad que compraste. Además, asegúrate de que tus fuentes de transferencia estén configuradas para la retención, el almacenamiento en búfer y los reintentos de datos.
Para obtener más información, consulta Configuraciones de almacenamiento en búfer y reintentos para sistemas basados en envío.

Cuándo se rellenan los datos almacenados en búfer para los feeds basados en extracción

En el caso de los feeds que usan métodos de transferencia basados en extracción, cuando se restablece el período de límite de ráfagas, Google SecOps reabastece los datos almacenados en búfer y prioriza los datos en vivo sobre los datos almacenados en búfer. Este mecanismo garantiza que la acumulación de datos almacenados en el búfer no interfiera con el tráfico de datos en vivo entrante (lo que puede agravar los retrasos en la detección).

Cómo ver el límite de ráfaga asignado

Para determinar el límite de ráfaga asignado a tu usuario de Google SecOps, haz lo siguiente:

  1. En la consola de Google SecOps, ve a Paneles > Ingesta y estado de los datos.
  2. Consulta el Gráfico de límite de ráfaga: límite de cuota. En el gráfico, se muestra el límite asignado (la línea plana) en relación con la tasa de transferencia real.

Realiza un seguimiento para saber si te acercas al límite de ráfagas o lo superas

Puedes hacer un seguimiento de la utilización con los paneles integrados o con Cloud Monitoring.

Usa los paneles de Google SecOps para hacer un seguimiento y saber si te acercas a tu límite de ráfaga o lo superas

  • Ve a Paneles > Transferencia de datos y estado y consulta lo siguiente:

    • Gráfico de tasa de transferencia: Muestra la capacidad de procesamiento actual.
    • Gráfico de rechazo de ráfagas: Muestra el volumen de registros rechazados (errores HTTP 429) debido a que se superó el límite de ráfagas.

Usa Cloud Monitoring para hacer un seguimiento y saber si te acercas al límite de ráfaga o lo superas

Puedes usar el Explorador de métricas en Google Cloud para crear alertas personalizadas. Te recomendamos que crees una alerta de transferencia que te notifique cuando la cantidad de bytes transferidos supere el umbral del límite de ráfaga.

Las métricas pertinentes incluyen las siguientes:

  • Volumen transferido: chronicle.googleapis.com/ingestion/log/bytes_count
  • Volumen rechazado: `chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count

Políticas de alertas listas para usar

Google SecOps proporciona políticas de alertas listas para usar en Cloud Monitoring que puedes habilitar para supervisar tu cuota de transferencia.

Para encontrar y habilitar estas políticas, sigue estos pasos:

  1. En la consola de Google Cloud , ve a Supervisión > Integraciones.
  2. Selecciona Chronicle Security en la lista de integraciones.
  3. Haz clic en la pestaña Alertas.
  4. Revisa y habilita las siguientes políticas de alertas de ejemplo:
    • Política de alertas de aproximación al límite de cuota de transferencia: Detecta si el volumen de transferencia de datos se acerca al límite de cuota.
    • Política de alertas de rechazo de cuota de transferencia: Detecta si se rechazan las solicitudes de transferencia debido a una cuota de transferencia insuficiente (errores HTTP 429).

Ejemplos

En las siguientes secciones, se incluyen ejemplos de consultas de PromQL para la supervisión y las alertas.

Consulta el uso de tu límite de ráfaga

  • Para ver el uso del límite de aumento, usa la siguiente consulta de PromQL:

    100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Consulta la cantidad de bytes rechazados después de superar el límite de ráfaga

  • Para ver la cantidad de bytes rechazados después de superar el límite de ráfaga, usa la siguiente consulta de PromQL:

    topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}])))

Activar una alerta cuando alcances el 70% de tu límite de ráfaga

  • Para activar una alerta cuando alcances el 70% de tu límite de ráfaga, usa la siguiente consulta de PromQL:

    100 * topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}]))) > 70

Para supervisar tu volumen de transferencia diario en relación con los límites contractuales, usa la métrica Tamaño total de registros transferidos (chronicle.googleapis.com/ingestion/log/bytes_count).

Para obtener instrucciones sobre cómo configurar una política de alertas de volumen diario, consulta Configura una política de muestra para supervisar el volumen de transferencia diario. Para obtener instrucciones sobre cómo configurar otras alertas de transferencia, consulta Analiza la transferencia con Cloud Monitoring.

Para obtener más información sobre cómo configurar alertas de transferencia, consulta Usa Cloud Monitoring para obtener estadísticas de transferencia.

Controla los rechazos de límites de ráfaga causados por métodos basados en la transmisión

Si encuentras errores de rechazo (HTTP 429) porque alcanzaste el límite de ráfaga para los datos entrantes con métodos basados en la transmisión, te recomendamos que sigas estos pasos:

  • Verifica el almacenamiento en búfer: Asegúrate de que tus fuentes de transferencia almacenen datos en búfer y reintenten la operación.
  • Optimiza la transferencia: Revisa los secuencias de comandos de transferencia y asegúrate de que no envíen datos innecesarios ni saturen la API con grandes lotes de una sola vez. Si es posible, distribuye las cargas de datos históricos. Filtra los datos redundantes con la función de canalización de procesamiento de datos.
  • Espera: En el caso de los aumentos temporales, suele ser suficiente esperar a que se restablezca el período de cinco minutos y, luego, volver a intentarlo.

Para ver algunas configuraciones de ejemplo, consulta Configuraciones de almacenamiento en búfer y reintentos para sistemas basados en envío.

Planificación de capacidad personalizada para una capacidad de procesamiento ultraalta

Sin perjuicio de lo que se describe en las otras secciones de este documento, la capacidad de procesamiento de transferencia de datos que supera los 3 GBps se considera como capacidad de procesamiento ultraalta. Si planeas migraciones de datos a gran escala, prevés un rendimiento ultra alto sostenido o ejecutas arquitecturas que generan de forma constante ráfagas de transferencia masivas, debes comunicarte con tu equipo de cuentas para solicitar el aprovisionamiento de capacidad personalizado.

Debido a que la expansión de la capacidad regional dedicada puede tardar varias semanas en implementarse, notifica al equipo de asistencia de Google Cloud con al menos 90 días de anticipación sobre los eventos de transferencia extrema previstos para asegurarte de que se puedan cumplir tus requisitos de capacidad de procesamiento.

Preguntas frecuentes

En las siguientes secciones, se proporcionan respuestas a las preguntas frecuentes.

¿Puedo aumentar mi límite de ráfaga?

Si esperas que el volumen de transferencia de datos aumente de forma permanente, puedes aumentar la capacidad comprada comunicándote con tu representante de ventas de Google SecOps.

¿Puedo aumentar los límites a nivel del tipo de registro para los feeds basados en extracción?

Puedes aumentar los límites a nivel del tipo de registro para un tipo de registro específico si envías una solicitud con anticipación a la asistencia técnica de Google SecOps.

Aumentar el límite de nivel de tipo de registro para un tipo de registro no cambia el límite aplicado a otros tipos de registro ni tu límite de ráfaga general.

¿Es posible hacer un seguimiento de mi lista de tareas pendientes de datos?

No por el momento.

¿Cuáles son las posibles formas de borrar mi lista de tareas pendientes de datos?

Si acumulaste una gran cantidad de datos pendientes y deseas borrar ese backlog para liberar tu cuota de límite de ráfaga, puedes hacer lo siguiente:

  • Compra capacidad adicional para aumentar tus límites.
  • Inhabilita feeds específicos que hayan tenido un aumento repentino inesperado en el volumen.

  • Solicita asistencia técnica de Google SecOps para descartar tu lista de tareas pendientes.

    Para descartar tu lista de tareas pendientes, tu feed de datos se inhabilita temporalmente hasta que se procesen correctamente todas las solicitudes de reintento de datos reabastecidos. Durante este período, no podrás transferir datos nuevos.

    Una vez que se borre el backlog, se volverá a habilitar tu feed y verás que se empiezan a recopilar datos nuevos. Según el tamaño de tu lista de tareas pendientes, esto puede tardar entre unos minutos y unas horas.

¿Los límites de ráfaga también se aplican a la transferencia de datos en la canalización de procesamiento de datos?

Los límites de frecuencia de transferencia aplicables a los feeds de datos que envían datos de registros sin procesar a la canalización de procesamiento de datos de Google SecOps se establecen para que sean más altos que el límite de ráfagas de tu usuario.

Si superas el límite de ráfaga, la canalización de procesamiento de datos dejará de aceptar solicitudes adicionales, según lo siguiente:

  • Uso de métodos basados en extracción: La transferencia se almacena en búfer automáticamente y no requiere configuración adicional.
  • Con métodos basados en envíos: Google SecOps rechaza temporalmente los datos con un error HTTP 429 "Demasiadas solicitudes".

Los datos que se transformaron después de que se activó el límite de ráfaga se almacenan temporalmente en una cola interna hasta que se restablezca el límite en el siguiente período de cinco minutos.

¿Qué debo hacer si mi límite de ráfaga es inferior al que contraté?

Si tu límite de ráfaga es inferior al que contrataste, comunícate con el equipo de Atención al Cliente de Google (consulta Asistencia de Google SecOps) y, luego, incluye el límite de ráfaga esperado.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.