Información sobre las cuotas y los límites de ráfaga

Se admite en los siguientes sistemas operativos:

En este documento, se describen las cuotas y los límites de ráfaga en Google Security Operations.

Definición de límites de ráfaga

Los límites de ráfaga son una forma de límites de servicio en Google SecOps que actúan como un límite de velocidad para la transferencia de datos, diseñados para proteger la infraestructura compartida de la plataforma de aumentos repentinos y masivos en el tráfico. Un límite de ráfaga restringe la frecuencia de transferencia (medida en megabytes por segundo [MBps] o gigabytes por segundo [GBps]) dentro de un período continuo de cinco minutos.

Cómo se calculan los límites de ráfaga

Google SecOps asigna límites de ráfaga a tus arrendatarios de Google SecOps en función del volumen de transferencia anual que compraste (capacidad comprada) según tu licencia de Google SecOps.

Para adaptarse a las variaciones esperadas y a los aumentos repentinos no planificados en el tráfico de registros, tu límite de ráfaga diario se aprovisiona como un rango específico, lo que te permite transferir entre una y tres veces (de 1 a 3) tu promedio diario esperado (calculado como tu capacidad anual comprada dividida por 365 días). Esta asignación de volumen flexible está diseñada para absorber los aumentos repentinos de transferencia estándar sin interrumpir tus operaciones. Por ejemplo, si tu capacidad anual comprada es de 365 TB, tu promedio diario esperado es de 1 TB. Tu límite de ráfaga aprovisionado se encontrará estrictamente dentro del rango de 1 TB a 3 TB por día (lo que se traduce en un rango de capacidad de procesamiento de aproximadamente 12 MB/s a 36 MB/s). Si tu transferencia de datos supera constantemente este rango aprovisionado de 1 a 3 veces, se requerirá un aumento en tu capacidad anual comprada.

Los límites de ráfaga se aplican por arrendatario del cliente de Google SecOps.

En la siguiente tabla, se muestra cómo los límites de ráfaga corresponden a diferentes cantidades de capacidad comprada:

Ejemplo de capacidad comprada Rango del límite de ráfaga Límite de ráfaga de 5 minutos Transferencia con el límite máximo de ráfaga (por hora) Ingestión en el límite máximo de ráfaga (diario) Ingestión en el límite máximo de aumentos de actividad (anual)
100 TB 3 a 10 MBps De 0.9 a 3 GB Alrededor de 34 GB Aproximadamente 822 GB 300 TB
500 TB 16 a 48 MBps De 4.8 a 14.4 GB Aproximadamente 171 GB ~4 TB 1.5 PB
1 PB 32 a 97 MBps De 9.6 a 29 GB ~343 GB ~8 TB 3 PB
5 PB 158 a 476 MBps De 47.4 a 143 GB ~1.7 TB Alrededor de 41 TB 15 PB
30 PB 0.96 a 2.86 GBps De 288 a 858 GB Aproximadamente 10.3 TB ~247 TB 90 PB

El tráfico de transferencia que incluye incrementos repentinos y extremos de velocidad puede estar sujeto a límite de frecuencia dinámicos o a una limitación temporal para proteger la estabilidad regional.

Durante estos períodos, es posible que los datos experimenten retrasos en la transferencia hasta que disminuya el aumento repentino.

Para conocer los requisitos de capacidad de procesamiento ultra alta, consulta Planificación de capacidad personalizada para una capacidad de procesamiento ultra alta.

Aplicabilidad de los límites de ráfaga para los feeds basados en extracción

Google SecOps también limita la transferencia basada en extracción a un tercio (33%) del límite general de ráfagas por tipo de registro (en todos los feeds). Este límite se aplica para garantizar que la transferencia basada en extracción (por lo general, desde fuentes de la nube) no agote los límites generales de ráfaga de tu arrendatario ni impida la transferencia de datos con métodos basados en envío (como el uso de agentes de Bindplane, reenvío o transferencia directa a las APIs de Google SecOps).

Métodos de transferencia basados en extracción

Los métodos basados en extracciones incluyen métodos de transferencia (denominados tipos de fuentes en Google SecOps) en los que Google SecOps se comunica de forma activa con la API de origen para recuperar datos. Esto incluye los siguientes tipos de fuentes que se admiten en Google SecOps:

  • APIs de terceros
  • Azure Event Hub
  • Ingesta directa desde Google Workspace y Google Cloud
  • Cloud Storage
  • Feed de Cloud Storage (controlado por eventos)
  • Amazon S3
  • Amazon SQS
  • Azure Blobstore
  • Solicitud de SFTP
  • Solicitud HTTP

Por ejemplo, si el límite de ráfaga de tu arrendatario se establece en 150 MBps y tu arrendatario ingiere registros de contexto del usuario de Okta con un conector de API de terceros (es decir, un método de transferencia basado en extracción), el sistema limita la tasa de transferencia de todos los feeds de Okta combinados a un máximo de [150/3 =] 50 MBps. Este límite adicional se aplica incluso si tu tasa general de transferencia de datos está dentro del límite de ráfaga asignado.

Excepciones a los límites a nivel del tipo de registro para los métodos de transferencia basados en extracción

Si bien los límites a nivel del tipo de registro generalmente se aplican a los feeds basados en extracción, se aplican las siguientes excepciones:

  • Webhooks HTTPS: Este es un método basado en la transmisión con límites a nivel del tipo de registro.
  • Azure Event Hub: Es un método basado en extracción sin límites a nivel del tipo de registro.

Cómo se implementan los límites de ráfaga

El sistema aplica límites de ráfaga en intervalos de cinco minutos. Por ejemplo, si tu límite de ráfaga se establece en 50 MB/s, puedes transferir hasta 15 GB cada cinco minutos. Si transfieres todos los 15 GB en los primeros dos minutos, se bloqueará la transferencia durante los tres minutos restantes de esa ventana. Este límite se restablece automáticamente al comienzo del siguiente intervalo de cinco minutos.

Los límites a nivel del tipo de registro se aplican de la misma manera, pero se aplican a nivel de los tipos de registro individuales. Por ejemplo, si se te asignan 5 GB para los feeds basados en extracción cada cinco minutos y el volumen total de datos que se transfieren para cualquier tipo de registro supera los 5 GB en los primeros dos minutos, se pausará la transferencia durante los tres minutos restantes de ese período. El límite se restablece automáticamente al comienzo del siguiente intervalo de cinco minutos.

Qué sucede con tus datos si superas los límites de ráfaga

Si superas el límite de ráfaga, Google SecOps pausará la transferencia de datos adicionales y se activarán los siguientes mecanismos, según si tus datos se transfieren con métodos basados en extracción o en envío:

  • Uso de métodos basados en la extracción: La transferencia se almacena en búfer automáticamente y no requiere ninguna configuración adicional por parte del cliente. Los datos permanecen almacenados en el búfer hasta que se restablece el límite y Google SecOps reanuda la transferencia de datos.
  • Uso de métodos basados en la transmisión: Google SecOps rechaza temporalmente la transferencia de datos con un error HTTP 429 "Demasiadas solicitudes". Esto indica que tu mecanismo de transferencia debe pausarse, almacenar en búfer y volver a intentarlo, lo que garantiza que no se pierdan datos.

Cuando se usan métodos de transferencia basados en la inserción, la responsabilidad de almacenar en búfer y volver a intentar la transferencia recae en ti, el cliente (consulta Responsabilidades del cliente en relación con el almacenamiento en búfer y los reintentos de datos).

Los rechazos por límite de ráfaga no son pérdida de datos

Es importante comprender que los rechazos por límite de ráfaga (HTTP 429) no son eventos de pérdida de datos. Un rechazo por límite de ráfaga (error HTTP 429) es una pausa en la transferencia de datos.

Si te aseguras de que tus sistemas basados en envío tienen un almacenamiento en búfer de disco y una lógica de reintentos adecuados, alcanzar un límite de ráfaga solo generará una pequeña demora (retraso en la transferencia), nunca la pérdida permanente de la telemetría de seguridad.

La pérdida de datos solo se produce si el sistema de envío (por ejemplo, el agente de Bindplane, el retransmisor o la secuencia de comandos) ignora el error de rechazo del límite de ráfaga y borra la entrada de registro en lugar de almacenarla para un reintento.

Responsabilidades del cliente en relación con el almacenamiento en búfer y los reintentos de datos

Si bien Google SecOps administra automáticamente el almacenamiento en búfer de datos y los reintentos para los datos que se transfieren con métodos de transferencia basados en extracción, tú eres responsable del almacenamiento en búfer y los reintentos de la transferencia de datos con métodos basados en envío (como webhooks HTTPS, Bindplane, retransmisores o Cribl).

Debes configurar tus sistemas para que almacenen en búfer y reenvíen datos automáticamente cuando se alcance el límite de ráfaga para controlar el desbordamiento de datos de manera eficiente.

En la siguiente tabla, se destacan las diferencias clave en la forma en que Google SecOps controla la transferencia de datos cuando se alcanza el límite de ráfaga para ambos tipos de métodos de transferencia:

Función Ingesta basada en extracción Transferencia basada en envíos
Cómo funciona Google SecOps se comunica de forma activa con la API de origen para recuperar datos. Tus sistemas inician la conexión y envían datos a Google.
Responsabilidad por el almacenamiento en búfer y los reintentos de datos Google SecOps administra el almacenamiento en búfer de forma automática. Cuando se alcanza el límite de ráfaga, Google SecOps pausa la transferencia de datos adicionales. Los datos permanecen almacenados en el búfer hasta que se restablece el límite y Google SecOps reanuda la recuperación.
El almacenamiento en búfer solo almacena datos durante un máximo de 90 días, después de lo cual se descartan.		 El cliente debe administrar el almacenamiento en búfer. Cuando Google SecOps responde con un error HTTP 429, tu sistema de envío debe detectar este error, guardar los datos en una cola local (disco o memoria) y volver a intentar enviarlos más tarde. Si tu remitente está configurado como "descartar en caso de falla", se perderán los datos.
Tipos de fuentes de datos API de terceros, Azure Event Hub, transferencia directa desde Google Workspace y Google Cloud, Cloud Storage, feed de Cloud Storage (controlado por eventos), Amazon S3, Amazon SQS, Azure Blobstore, solicitud de SFTP, solicitud de HTTP Reenviador de Google SecOps, agente de Bindplane, Pub/Sub, Amazon Kinesis Firehose, webhook HTTPS y directo a la API de transferencia.
Acción del usuario Toma medidas para alinear el volumen de transferencia de datos con la capacidad que compraste. Además, asegúrate de que tus fuentes de transferencia estén configuradas para la retención, el almacenamiento en búfer y los reintentos de datos.
Para obtener más información, consulta Configuraciones de almacenamiento en búfer y reintentos para sistemas basados en la transmisión.

Cuándo se completan los datos almacenados en búfer para los feeds basados en extracción

En el caso de los feeds que utilizan métodos de transferencia basados en extracción, cuando se restablece la ventana de límite de ráfaga, Google SecOps completa los datos almacenados en búfer, y prioriza los datos en vivo por sobre los datos almacenados en búfer. Este mecanismo garantiza que tu backlog de datos almacenados en búfer no interfiera en el tráfico de datos en vivo entrante (lo que puede aumentar los retrasos en la detección).

Cómo ver el límite de ráfaga asignado

Para determinar el límite de ráfaga asignado a tu arrendatario de Google SecOps, haz lo siguiente:

  1. En la consola de Google SecOps, ve a Paneles > Ingesta y estado de los datos.
  2. Consulta el gráfico de límite de ráfaga: límite de cuota. En el gráfico, se muestra el límite asignado (la línea recta) en relación con la tasa de transferencia real.

Realiza un seguimiento para saber si te acercas al límite de ráfaga o lo superas

Puedes hacer un seguimiento de la utilización con los paneles integrados o con Cloud Monitoring.

Usa los paneles de Google SecOps para hacer un seguimiento y saber si te acercas a tu límite de ráfaga o lo superas.

  • Ve a Paneles > Ingesta y estado de los datos y consulta lo siguiente:

    • Gráfico de la tasa de transferencia: Muestra tu capacidad de procesamiento actual.
    • Gráfico de rechazo de ráfagas: Muestra la cantidad de registros rechazados (errores HTTP 429) por superar el límite de ráfagas.

Usa Cloud Monitoring para hacer un seguimiento y determinar si te acercas al límite de ráfaga o lo superas

Puedes usar el Explorador de métricas en Google Cloud para crear alertas personalizadas. Te recomendamos que crees una alerta de transferencia que te notifique cuando el volumen de bytes transferidos supere el límite de ráfaga.

Las métricas pertinentes incluyen las siguientes:

  • Volumen ingerido: chronicle.googleapis.com/ingestion/log/bytes_count
  • Volumen rechazado: `chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count

Políticas de alertas listas para usar

Google SecOps proporciona políticas de alertas listas para usar en Cloud Monitoring que puedes habilitar para supervisar tu cuota de transferencia.

Para encontrar y habilitar estas políticas, sigue estos pasos:

  1. En la consola de Google Cloud , ve a Monitoring > Integrations.
  2. Selecciona Chronicle Security en la lista de integraciones.
  3. Haz clic en la pestaña Alertas.
  4. Revisa y habilita las siguientes políticas de alertas de muestra:
    • Política de alertas de acercamiento al límite de cuota de transferencia: Detecta si el volumen de transferencia de datos se acerca al límite de cuota.
    • Política de alertas de rechazo de cuota de transferencia: Detecta si se rechazan las solicitudes de transferencia debido a una cuota de transferencia insuficiente (errores HTTP 429).

Ejemplos

En las siguientes secciones, se incluyen ejemplos de consultas de PromQL para la supervisión y las alertas.

Consulta el uso de tu límite de ráfaga

  • Para ver el uso del límite de ráfaga, usa la siguiente consulta de PromQL:

    100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Consulta la cantidad de bytes rechazados después de superar el límite de ráfaga

  • Para ver la cantidad de bytes rechazados después de superar el límite de ráfaga, usa la siguiente consulta en PromQL:

    topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}])))

Activa una alerta cuando alcances el 70% de tu límite de ráfaga

  • Para activar una alerta cuando alcances el 70% de tu límite de ráfaga, usa la siguiente consulta de PromQL:

    100 * topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}]))) > 70

Para obtener más información sobre cómo configurar alertas de transferencia, consulta Usa Cloud Monitoring para obtener estadísticas de la transferencia.

Controla los rechazos por límite de ráfaga causados por métodos basados en la transmisión

Si encuentras errores de rechazo (HTTP 429) porque alcanzaste el límite de ráfaga para los datos entrantes con métodos basados en envíos, te recomendamos que sigas estos pasos:

  • Verifica el almacenamiento en búfer: Asegúrate de que tus fuentes de transferencia estén almacenando datos en búfer y reintentando la transferencia.
  • Optimiza la transferencia: Revisa los secuencias de comandos de transferencia y asegúrate de que no envíen datos innecesarios ni saturen la API con grandes lotes de datos de una sola vez. Si es posible, distribuye las cargas de datos históricos. Filtra los datos redundantes con la función de canalización de procesamiento de datos.
  • Espera: En el caso de los aumentos temporales, suele ser suficiente esperar a que se restablezca el período de cinco minutos y, luego, volver a intentarlo.

Para ver algunas configuraciones de ejemplo, consulta Configuraciones de almacenamiento en búfer y reintento para sistemas basados en envío.

Planificación de capacidad personalizada para una capacidad de procesamiento ultraalta

Sin perjuicio de lo que se describe en las demás secciones de este documento, la capacidad de procesamiento de la transferencia de datos que supera los 3 GB/s se considera capacidad de procesamiento ultra alta. Si planeas migraciones de datos a gran escala, prevés una capacidad de procesamiento ultra alta sostenida o ejecutas arquitecturas que generan de forma constante ráfagas masivas de transferencia, debes comunicarte con tu equipo de cuentas para el aprovisionamiento de capacidad personalizada.

Dado que la expansión de la capacidad regional exclusiva puede tardar varias semanas en implementarse, notifica al Google Cloud equipo de asistencia al menos 90 días antes de los eventos de transferencia extremos previstos para asegurarte de que se puedan satisfacer tus requisitos de capacidad de procesamiento.

Preguntas frecuentes

En las siguientes secciones, se proporcionan respuestas a las preguntas frecuentes.

¿Puedo aumentar mi límite de ráfaga?

Si prevés que tu volumen de transferencia de datos aumentará de forma permanente, puedes aumentar la capacidad que compraste comunicándote con tu representante de ventas de Google SecOps.

¿Puedo aumentar los límites a nivel del tipo de registro para los feeds basados en extracción?

Puedes aumentar los límites a nivel de logtype para un logtype específico si envías una solicitud con anticipación a la asistencia técnica de SecOps de Google.

Aumentar el límite a nivel del tipo de registro para un tipo de registro no cambia el límite aplicado a otros tipos de registro ni el límite general de ráfaga.

¿Es posible hacer un seguimiento de mi backlog de datos?

No por el momento.

¿Cuáles son las posibles formas de borrar mi backlog de datos?

Si acumulaste una gran cantidad de datos pendientes y deseas borrar ese backlog para liberar tu cuota de límite de ráfaga, puedes hacer lo siguiente:

  • Compra capacidad adicional para aumentar tus límites.
  • Inhabilita feeds específicos que hayan tenido un aumento repentino inesperado en el volumen.

  • Solicita asistencia técnica de Google SecOps para que se elimine tu backlog.

    Para descartar tu backlog, tu feed de datos se inhabilita temporalmente hasta que se procesen correctamente todas las solicitudes de reintento de datos completados. Durante este período, no podrás transferir datos nuevos.

    Una vez que se borre tu backlog, se volverá a habilitar tu feed y verás que fluyen datos nuevos. Según el tamaño de tu backlog, esto puede tardar entre unos minutos y unas horas.

¿Los límites de ráfaga también se aplican a la transferencia de datos a la canalización de procesamiento de datos?

Los límites de frecuencia de transferencia aplicables a los feeds de datos que envían datos de registros sin procesar a la canalización de procesamiento de datos de Google SecOps se establecen para que sean más altos que el límite de ráfaga de tu arrendatario.

Si superas el límite de ráfaga, la canalización de procesamiento de datos dejará de aceptar solicitudes adicionales, según lo siguiente:

  • Usa métodos basados en extracción: La transferencia se almacena en búfer automáticamente y no requiere configuración adicional.
  • Usa métodos basados en envíos: Google SecOps rechaza temporalmente los datos con un error HTTP 429 "Demasiadas solicitudes".

Todos los datos que se transformaron después de que se activó el límite de ráfaga se almacenan temporalmente en un búfer en una cola interna hasta que se restablece el límite en el período de cinco minutos posterior.

¿Qué debo hacer si mi límite de ráfaga es inferior al que contraté?

Si tu límite de ráfaga es inferior al que contrataste, comunícate con el equipo de Atención al Cliente de Google (consulta Asistencia de Google SecOps) y proporciona el límite de ráfaga esperado.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.