Comprende las cuotas y los límites de ráfaga
En este documento, se describen las cuotas y los límites de ráfaga en Google Security Operations.
Definición de límites de ráfaga
Los límites de ráfaga son una forma de límites de servicio en Google SecOps que actúan como un límite de velocidad para la transferencia de datos, diseñado para proteger la infraestructura compartida de la plataforma de aumentos repentinos y masivos de tráfico. Un límite de ráfaga restringe la frecuencia de transferencia (medida en megabytes por segundo [MBps] o gigabytes por segundo [GBps]) dentro de un período de cinco minutos.
Cómo se calculan los límites de ráfaga
Google SecOps asigna límites de ráfaga a tus tenants de Google SecOps en función del volumen de transferencia anual que adquiriste (capacidad adquirida) según tu licencia de Google SecOps.
Para adaptarse a las variaciones esperadas y los aumentos repentinos no planificados en el tráfico de registros, tu límite de ráfaga diario se aprovisiona como un rango específico, lo que te permite transferir entre una y tres veces (1× a 3×) tu promedio diario esperado (calculado como tu capacidad anual adquirida dividida por 365 días). Esta asignación de volumen flexible está diseñada para absorber los aumentos repentinos de transferencia estándar sin interrumpir tus operaciones. Por ejemplo, si tu capacidad anual adquirida es de 365 TB, tu promedio diario esperado es de 1 TB. Tu límite de ráfaga aprovisionado estará estrictamente dentro del rango de 1 TB a 3 TB por día (lo que se traduce en un rango de capacidad de procesamiento de aproximadamente 12 MBps a 36 MBps). Si tu transferencia de datos supera constantemente este rango aprovisionado de 1× a 3×, se requerirá un aumento en tu capacidad anual adquirida.
Los límites de ráfaga se aplican por tenant de cliente de Google SecOps.
En la siguiente tabla, se muestra cómo los límites de ráfaga corresponden a diferentes cantidades de capacidad adquirida:
| Ejemplo de capacidad adquirida | Rango de límite de ráfaga | Límite de ráfaga de 5 minutos | Transferencia con el límite de ráfaga máximo (por hora) | Transferencia con el límite de ráfaga máximo (por día) | Transferencia con el límite de ráfaga máximo (por año) |
|---|---|---|---|---|---|
| 100 TB | 3 a 10 MBps | 0.9 a 3 GB | ~34 GB | ~822 GB | 300 TB |
| 500 TB | 16 a 48 MBps | 4.8 a 14.4 GB | ~171 GB | ~4 TB | 1.5 PB |
| 1 PB | 32 a 97 MBps | 9.6 a 29 GB | ~343 GB | ~8 TB | 3 PB |
| 5 PB | 158 a 476 MBps | 47.4 a 143 GB | ~1.7 TB | ~41 TB | 15 PB |
| 30 PB | 0.96 a 2.86 GBps | 288 a 858 GB | ~10.3 TB | ~247 TB | 90 PB |
El tráfico de transferencia que incluye aumentos repentinos y extremos de velocidad puede estar sujeto a la límite de frecuencia dinámica o a la limitación temporal para proteger la estabilidad regional.
Durante estos períodos, es posible que los datos experimenten demoras en la transferencia hasta que disminuya el aumento repentino.
Para conocer los requisitos de capacidad de procesamiento ultra alta, consulta Planificación de capacidad personalizada para capacidad de procesamiento ultra alta.
Aplicabilidad de los límites de ráfaga para los feeds basados en extracciones
Google SecOps también limita la transferencia basada en extracciones a un tercio (33%) del límite de ráfaga general por tipo de registro (en todos los feeds). Este límite está vigente para garantizar que la transferencia basada en extracciones (por lo general, de fuentes de la nube) no agote los límites de ráfaga generales de tu tenant y no limite la transferencia de datos con métodos basados en envíos (como el uso de agentes de Bindplane, reenviadores o la transferencia directa a las APIs de Google SecOps).
Métodos de transferencia basados en extracciones
Los métodos basados en extracciones incluyen métodos de transferencia (denominados tipos de fuentes en Google SecOps) en los que Google SecOps se comunica de forma activa con la API de origen para extraer datos. Esto incluye los siguientes tipos de fuentes compatibles con Google SecOps:
- APIs de terceros
- Azure Event Hub
- Transferencia directa desde Google Workspace Google Cloud
- Cloud Storage
- Feed de Cloud Storage (basado en eventos)
- Amazon S3
- Amazon SQS
- Azure Blobstore
- Solicitud SFTP
- Solicitud HTTP
Por ejemplo, si el límite de ráfaga de tu tenant se establece en 150 MBps y tu tenant transfiere registros de contexto de usuario de Okta con un conector de API de terceros (es decir, un método de transferencia basado en extracciones), el sistema limita la frecuencia de transferencia de todos los feeds de Okta combinados a un máximo de [150/3 =] 50 MBps. Este límite adicional se aplica incluso si tu frecuencia de transferencia de datos general está dentro del límite de ráfaga asignado.
Excepciones a los límites a nivel de tipo de registro para los métodos de transferencia basados en extracciones
Si bien los límites a nivel de tipo de registro suelen aplicarse a los feeds basados en extracciones, se aplican las siguientes excepciones:
- Webhooks HTTPS: Este es un método basado en envíos con límites a nivel de tipo de registro.
- Azure Event Hub: Este es un método basado en extracciones sin límites a nivel de tipo de registro.
Cómo se implementan los límites de ráfaga
El sistema aplica los límites de ráfaga en intervalos de cinco minutos. Por ejemplo, si tu límite de ráfaga se establece en 50 MBps, puedes transferir hasta 15 GB cada cinco minutos. Si transfieres los 15 GB en los primeros dos minutos, la transferencia se bloquea durante los tres minutos restantes de ese período. Este límite se restablece automáticamente al comienzo del siguiente intervalo de cinco minutos.
Los límites a nivel de tipo de registro se aplican de la misma manera, pero se aplican a nivel de los tipos de registros individuales. Por ejemplo, si se te asignan 5 GB para los feeds basados en extracciones cada cinco minutos y tu volumen total de datos transferidos para cualquier tipo de registro individual supera los 5 GB en los primeros dos minutos, la transferencia se pausa durante los tres minutos restantes de ese período. El límite se restablece automáticamente al comienzo del siguiente intervalo de cinco minutos.
Qué sucede con tus datos si superas los límites de ráfaga
Si superas tu límite de ráfaga, Google SecOps pausa la transferencia de datos adicionales y se activan los siguientes mecanismos, según si tus datos se transfieren con métodos basados en extracciones o en envíos:
- Uso de métodos basados en extracciones: La transferencia se almacena en búfer automáticamente y no requiere ninguna configuración adicional por parte del cliente. Los datos permanecen almacenados en el almacenamiento de búfer hasta que se restablece el límite y Google SecOps reanuda la transferencia de datos.
- Uso de métodos basados en envíos: Google SecOps rechaza temporalmente la transferencia de datos con un error HTTP 429 "Demasiadas solicitudes". Esto indica que tu mecanismo de transferencia debe pausar, almacenar en búfer y volver a intentar, lo que garantiza que no se pierdan datos.
Con los métodos de transferencia basados en envíos, la responsabilidad de almacenar en búfer y volver a intentar recae en el cliente (consulta Responsabilidades del cliente por el almacenamiento en búfer y la reintento de datos).
Los rechazos de límites de ráfaga no son pérdidas de datos
Es importante comprender que los rechazos de límites de ráfaga (HTTP 429) no son eventos de pérdida de datos. Un rechazo de límite de ráfaga (error HTTP 429) es una pausa en la transferencia de datos.
Si te aseguras de que tus sistemas basados en envíos tengan un almacenamiento en búfer de disco adecuado y una lógica de reintento, alcanzar un límite de ráfaga solo generará una pequeña demora (retraso en la transferencia), nunca la pérdida permanente de la telemetría de seguridad.
La pérdida de datos solo ocurre si el sistema de envío (por ejemplo, el agente de Bindplane, el reenviador o la secuencia de comandos) ignora el error de rechazo del límite de ráfaga y borra la entrada de registro en lugar de almacenarla para volver a intentarlo.
Responsabilidades del cliente por el almacenamiento en búfer y la reintento de datos
Si bien Google SecOps administra automáticamente el almacenamiento en búfer y los reintentos de datos que se transfieren con métodos basados en extracciones, eres responsable del almacenamiento en búfer y la reintento de la transferencia de datos con métodos basados en envíos (como webhooks HTTPS, Bindplane, reenviadores o Cribl).
Debes configurar tus sistemas para que almacenen en búfer y reenvíen datos automáticamente cuando se alcance el límite de ráfaga para controlar el desbordamiento de datos de manera eficiente.
En la siguiente tabla, se destacan las diferencias clave en la forma en que Google SecOps controla la transferencia de datos cuando se alcanza el límite de ráfaga para ambos tipos de métodos de transferencia:
| Función | Transferencia basada en extracciones | Transferencia basada en envíos |
|---|---|---|
| Cómo funciona | Google SecOps se comunica de forma activa con la API de origen para extraer datos. | Tus sistemas inician la conexión y envían datos a Google. |
| Responsabilidad por el almacenamiento en búfer y la reintento de datos | Google SecOps administra automáticamente el almacenamiento en búfer. Cuando se alcanza el límite de ráfaga, Google SecOps pausa la transferencia de datos adicionales. Los datos permanecen almacenados en el almacenamiento de búfer hasta que se restablece el límite y Google SecOps reanuda la extracción. El almacenamiento de búfer solo almacena datos por hasta 90 días, después de los cuales se descartan los datos. |
El cliente debe administrar el almacenamiento en búfer. Cuando Google SecOps responde con HTTP 429, tu sistema de envío debe detectar este error, guardar los datos en una cola local (disco o memoria) y volver a enviarlos más tarde. Si tu remitente está configurado como "descartar en caso de falla", se perderán los datos. |
| Tipos de fuentes de datos | API de terceros, Azure Event Hub, transferencia directa desde Google Workspace y Google Cloud, Cloud Storage, feed de Cloud Storage (basado en eventos), Amazon S3, Amazon SQS, Azure Blobstore, solicitud SFTP y solicitud HTTP. | Reenviador de Google SecOps, agente de Bindplane, Pub/Sub, Amazon Kinesis Firehose, webhook HTTPS y directo a la API de transferencia. |
| Acción del usuario | Toma medidas para alinear tu volumen de transferencia de datos con tu capacidad adquirida. | Además, asegúrate de que tus fuentes de transferencia estén configuradas para la retención, el almacenamiento en búfer y la reintento de datos. Para obtener más información, consulta Configuraciones de almacenamiento en búfer y reintento para sistemas basados en envíos. |
Cuándo se completa el almacenamiento en búfer de datos para los feeds basados en extracciones
En el caso de los feeds que usan métodos de transferencia basados en extracciones, cuando se restablece el período de límite de ráfaga, Google SecOps completa los datos almacenados en búfer y prioriza los datos en tiempo real sobre los datos almacenados en búfer. Este mecanismo garantiza que tu cartera de pedidos de datos almacenados en búfer no interfiera con el tráfico de datos en tiempo real entrante (lo que puede aumentar las demoras en la detección).
Cómo ver tu límite de ráfaga asignado
Para determinar el límite de ráfaga asignado a tu tenant de Google SecOps, haz lo siguiente:
- En la consola de Google SecOps, ve a Paneles de control > Transferencia de datos y estado.
- Consulta el Gráfico de límite de ráfaga: límite de cuota. En el gráfico, se muestra el límite asignado (la línea plana) en relación con tu frecuencia de transferencia real.
Haz un seguimiento si te acercas a tu límite de ráfaga o lo superas
Puedes hacer un seguimiento del uso con los paneles integrados o con Cloud Monitoring.
Usa los paneles de Google SecOps para hacer un seguimiento si te acercas a tu límite de ráfaga o lo superas
Ve a Paneles de control > Transferencia de datos y estado y consulta lo siguiente:
- Gráfico de frecuencia de transferencia: Muestra tu capacidad de procesamiento actual.
- Gráfico de rechazo de ráfaga: Muestra el volumen de registros rechazados (errores HTTP 429) debido a que se superó el límite de ráfaga.
Usa Cloud Monitoring para hacer un seguimiento si te acercas a tu límite de ráfaga o lo superas
Puedes usar el Explorador de métricas en Google Cloud para crear alertas personalizadas. Te recomendamos que crees una alerta de transferencia que te notifique cuando el volumen de los bytes transferidos supere el umbral del límite de ráfaga.
Las métricas relevantes incluyen lo siguiente:
- Volumen transferido:
chronicle.googleapis.com/ingestion/log/bytes_count - Volumen rechazado:
chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count
Las siguientes secciones contienen consultas de PromQL de ejemplo para la supervisión y las alertas.
Consulta el uso de tu límite de ráfaga
Para ver el uso de tu límite de ráfaga, usa la siguiente consulta de PromQL:
100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))
Consulta la cantidad de bytes rechazados después de superar el límite de ráfaga
Para ver la cantidad de bytes rechazados después de superar el límite de ráfaga, usa la siguiente consulta de PromQL:
topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}])))
Activa una alerta cuando alcances el 70% de tu límite de ráfaga
Para activar una alerta cuando alcances el 70% de tu límite de ráfaga, usa la siguiente consulta de PromQL:
100 * topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}]))) > 70
Para obtener más información sobre cómo configurar alertas de transferencia, consulta Usa Cloud Monitoring para obtener estadísticas de transferencia.
Controla los rechazos de límites de ráfaga causados por métodos basados en envíos
Si encuentras errores de rechazo (HTTP 429) debido a que alcanzaste el límite de ráfaga para los datos entrantes con métodos basados en envíos, te recomendamos que sigas estos pasos:
- Verifica el almacenamiento en búfer: Asegúrate de que tus fuentes de transferencia almacenen en búfer los datos y vuelvan a intentarlo.
- Optimiza la transferencia: Revisa las secuencias de comandos de transferencia y asegúrate de que no envíen datos innecesarios ni saturen la API con lotes masivos a la vez. Si es posible, distribuye las cargas de datos históricos. Filtra los datos redundantes con la función de canalización de procesamiento de datos.
- Espera: Para los aumentos repentinos temporales, suele ser suficiente esperar a que se restablezca el período de cinco minutos y, luego, volver a intentarlo.
Para ver algunas configuraciones de ejemplo, consulta Configuraciones de almacenamiento en búfer y reintento para sistemas basados en envíos.
Planificación de capacidad personalizada para capacidad de procesamiento ultra alta
Sin perjuicio de lo descrito en las demás secciones de este documento, la capacidad de procesamiento de transferencia de datos que supera los 3 GBps se considera capacidad de procesamiento ultra alta. Si planeas migraciones de datos a gran escala, anticipas una capacidad de procesamiento ultra alta sostenida o ejecutas arquitecturas que generan constantemente ráfagas de transferencia masivas, debes comunicarte con tu equipo de cuentas para obtener el aprovisionamiento de capacidad personalizada.
Dado que la expansión de capacidad regional dedicada puede tardar varias semanas en implementarse, notifica al equipo de asistencia Google Cloud al menos 90 días antes de los eventos de transferencia extremos previstos para asegurarte de que se puedan abordar tus requisitos de capacidad de procesamiento.
Preguntas frecuentes
En las siguientes secciones, se proporcionan respuestas a las preguntas frecuentes.
¿Puedo aumentar mi límite de ráfaga?
Si esperas que tu volumen de transferencia de datos aumente de forma permanente, puedes aumentar tu capacidad adquirida comunicándote con tu representante de ventas de Google SecOps.
¿Puedo aumentar los límites a nivel de tipo de registro para los feeds basados en extracciones?
Puedes aumentar los límites a nivel de tipo de registro para un tipo de registro específico si envías una solicitud con anticipación a través del equipo de asistencia técnica de Google SecOps.
Aumentar el límite a nivel de tipo de registro para un tipo de registro no cambia el límite aplicado a otros tipos de registros ni tu límite de ráfaga general.
¿Es posible hacer un seguimiento de mi cartera de pedidos de datos?
No por el momento.
¿Cuáles son las posibles formas de borrar mi cartera de pedidos de datos?
Si acumulaste una cartera de pedidos de datos muy grande y deseas borrarla para liberar tu cuota de límite de ráfaga, puedes hacer lo siguiente:
- Compra capacidad adicional para aumentar tus límites.
- Inhabilita feeds específicos que hayan aumentado inesperadamente en volumen.
Solicita al equipo de asistencia técnica de Google SecOps que descarte tu cartera de pedidos.
Para descartar tu cartera de pedidos, tu feed de datos se inhabilita temporalmente hasta que se procesen correctamente todas las solicitudes de reintento de datos almacenados en búfer. Durante este tiempo, no podrás transferir datos nuevos.
Una vez que se borre tu cartera de pedidos, se volverá a habilitar tu feed, y verás que ingresan datos nuevos. Según el tamaño de tu cartera de pedidos, esto puede tardar desde unos minutos hasta algunas horas.
¿Los límites de ráfaga también se aplican a la transferencia de datos a la canalización de procesamiento de datos?
Los límites de frecuencia de transferencia aplicables a los feeds de datos que envían datos de registros sin procesar a la canalización de procesamiento de datos de Google SecOps se establecen para que sean más altos que el límite de ráfaga de tu tenant.
Si superas tu límite de ráfaga, la canalización de procesamiento de datos deja de aceptar solicitudes adicionales, según lo siguiente:
- Uso de métodos basados en extracciones: La transferencia se almacena en búfer automáticamente y no requiere ninguna configuración adicional.
- Uso de métodos basados en envíos: Google SecOps rechaza temporalmente los datos con un error HTTP 429 "Demasiadas solicitudes".
Los datos que se transformaron después de que se activó el límite de ráfaga se almacenan temporalmente en búfer en una cola interna hasta que se restablece el límite en el período de cinco minutos posterior.
¿Qué debo hacer si mi límite de ráfaga es inferior al que contraté?
Si tu límite de ráfaga es inferior al que contrataste, comunícate con el Atención al cliente de Google (consulta Asistencia de Google SecOps) e incluye tu límite de ráfaga esperado.
¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.