할당량 및 버스트 한도 이해하기

다음에서 지원:

Google secops

이 문서에서는 Google Security Operations의 할당량과 버스트 한도를 설명합니다.

일시적 급증 한도의 정의

버스트 한도는 Google SecOps의 서비스 한도의 한 형태로, 플랫폼의 공유 인프라를 갑작스럽고 대규모의 트래픽 급증으로부터 보호하기 위해 설계된 데이터 수집의 속도 제한 역할을 합니다. 버스트 제한은 5분 단위로 측정되는 수집 속도(초당 메가바이트(MBps) 또는 초당 기가바이트(GBps))를 제한합니다.

버스트 한도 계산 방법

Google SecOps는 Google SecOps 라이선스에 따라 구매한 연간 수집량 (구매한 용량)을 기준으로 Google SecOps 테넌트에 버스트 한도를 할당합니다.

예상되는 변동과 계획되지 않은 로그 트래픽 급증을 수용하기 위해 일일 버스트 한도는 특정 범위로 프로비저닝되므로 예상되는 일일 평균(구매한 연간 용량을 365일로 나눈 값으로 계산됨)의 1~3배를 수집할 수 있습니다. 이 유연한 볼륨 허용량은 운영을 중단하지 않고 표준 인제스트 급증을 흡수하도록 설계되었습니다. 예를 들어 구매한 연간 용량이 365TB인 경우 예상되는 일일 평균은 1TB입니다. 프로비저닝된 버스트 한도는 일일 1TB~3TB 범위 내에 있어야 합니다 (이는 대략 12MBps~36MBps의 처리량 범위에 해당함). 데이터 수집이 프로비저닝된 1~3배 범위를 지속적으로 초과하는 경우 구매한 연간 용량을 늘려야 합니다.

버스트 한도는 Google SecOps 고객 테넌트별로 적용됩니다.

다음 표는 버스트 한도가 구매한 용량에 따라 어떻게 달라지는지 보여줍니다.

구매한 용량의 예	버스트 한도 범위	5분 버스트 한도	최대 버스트 한도로 인제스트 (시간별)	최대 버스트 한도 (일일)로 수집	최대 버스트 한도로 수집 (연간)
100TB	3~10MBps	0.9~3GB	~34GB	~822GB	300TB
500TB	16~48MBps	4.8~14.4GB	~171GB	~4TB	1.5PB
1PB	32~97MBps	9.6~29GB	~343GB	~8TB	3PB
5PB	158~476MBps	47.4~143GB	~1.7TB	~41TB	15PB
30PB	0.96~2.86GBps	288~858GB	~10.3TB	~247TB	90PB

극심하고 갑작스러운 속도 급증이 포함된 인제션 트래픽에는 지역 안정성을 보호하기 위해 동적 비율 제한 또는 임시 제한이 적용될 수 있습니다.

이 기간에는 급증이 가라앉을 때까지 데이터 수집이 지연될 수 있습니다.

매우 높은 처리량 요구사항의 경우 매우 높은 처리량을 위한 맞춤 용량 계획을 참고하세요.

풀 기반 피드의 버스트 한도 적용 가능 여부

또한 Google SecOps는 로그 유형별 전체 버스트 한도의 1/3 (33%)로 풀 기반 수집을 제한합니다 (모든 피드에 적용). 이 한도는 풀 기반 수집 (일반적으로 클라우드 소스에서)이 테넌트의 전체 버스트 한도를 소진하지 않고 푸시 기반 방법 (예: Bindplane 에이전트, 전달자 또는 Google SecOps API에 직접 수집 사용)을 사용한 데이터 수집이 중단되지 않도록 하기 위해 마련되었습니다.

풀 기반 수집 방법

가져오기 기반 메서드에는 Google SecOps가 소스 API에 적극적으로 연결하여 데이터를 가져오는 수집 메서드 (Google SecOps에서 소스 유형이라고 함)가 포함됩니다. 여기에는 Google SecOps에서 지원되는 다음 소스 유형이 포함됩니다.

서드 파티 API
Azure Event Hub
Google Workspace 및 Google Cloud
Cloud Storage
Cloud Storage 피드 (이벤트 기반)
Amazon S3
Amazon SQS
Azure Blobstore
SFTP 요청
HTTP 요청

예를 들어 테넌트의 버스트 한도가 150MBps로 설정되어 있고 테넌트가 서드 파티 API 커넥터 (즉, 풀 기반 수집 방법)를 사용하여 Okta 사용자 컨텍스트 로그를 수집하는 경우 시스템은 결합된 모든 Okta 피드의 수집 속도를 최대 [150/3 =] 50MBps로 제한합니다. 전체 데이터 수집 비율이 할당된 버스트 한도 내에 있더라도 이 추가 한도가 적용됩니다.

풀 기반 수집 방법의 logtype 수준 제한 예외

일반적으로 로그 유형 수준 한도가 풀 기반 피드에 적용되지만 다음과 같은 예외가 적용됩니다.

HTTPS 웹훅: 로그 유형 수준 제한이 있는 푸시 기반 메서드입니다.
Azure Event Hub: 로그 유형 수준 제한이 없는 풀 기반 메서드입니다.

버스트 한도가 구현되는 방식

시스템은 5분 간격으로 버스트 한도를 적용합니다. 예를 들어 버스트 한도가 50MBps로 설정된 경우 5분마다 최대 15GB를 수집할 수 있습니다. 처음 2분 동안 15GB를 모두 수집하면 해당 기간의 나머지 3분 동안 수집이 차단됩니다. 이 한도는 다음 5분 간격이 시작될 때 자동으로 재설정됩니다.

로그 유형 수준 한도는 동일한 방식으로 적용되지만 개별 로그 유형 수준에서 적용됩니다. 예를 들어 5분마다 풀 기반 피드에 5GB가 할당되고 처음 2분 동안 단일 로그 유형의 총 수집된 데이터 볼륨이 5GB를 초과하면 해당 기간의 나머지 3분 동안 수집이 일시중지됩니다. 제한은 다음 5분 간격이 시작될 때 자동으로 재설정됩니다.

버스트 한도를 초과하면 데이터는 어떻게 되나요?

버스트 한도를 초과하면 Google SecOps에서 추가 데이터 수집을 일시중지하고 데이터가 풀 기반 또는 푸시 기반 방법을 사용하여 수집되는지에 따라 다음 메커니즘이 트리거됩니다.

풀 기반 메서드 사용: 수집이 자동으로 버퍼링되며 고객이 추가로 구성할 필요가 없습니다. 한도가 재설정되고 Google SecOps에서 데이터 수집을 재개할 때까지 데이터는 버퍼 스토리지에 저장된 상태로 유지됩니다.
푸시 기반 메서드 사용: Google SecOps에서 HTTP 429 '너무 많은 요청' 오류와 함께 데이터 수집을 일시적으로 거부합니다. 이렇게 하면 수집 메커니즘에 일시중지, 버퍼링, 재시도를 지시하여 데이터가 손실되지 않도록 할 수 있습니다.

푸시 기반 수집 방법을 사용하는 경우 버퍼링 및 재시도 책임은 고객에게 있습니다 (데이터 버퍼링 및 재시도에 대한 고객 책임 참고).

버스트 제한 거부는 데이터 손실이 아님

버스트 제한 거부 (HTTP 429)는 데이터 손실 이벤트가 아닙니다. 버스트 한도 거부 (HTTP 429 오류)는 데이터 수집이 일시중지된 것입니다.

푸시 기반 시스템에 적절한 디스크 버퍼링 및 재시도 로직이 있는지 확인하면 버스트 한도에 도달해도 보안 원격 분석이 영구적으로 손실되지 않고 약간의 지연 (수집 지연)만 발생합니다.

데이터 손실은 전송 시스템 (예: Bindplane 에이전트, 포워더 또는 스크립트)이 버스트 한도 거부 오류를 무시하고 재시도를 위해 저장하는 대신 로그 항목을 삭제하는 경우에만 발생합니다.

데이터 버퍼링 및 재시도에 대한 고객 책임

Google SecOps는 풀 기반 수집 방법을 사용하여 수집되는 데이터의 데이터 버퍼링 및 재시도를 자동으로 관리하지만, 푸시 기반 수집 방법 (예: HTTPS 웹훅, Bindplane, 포워더 또는 Cribl)을 사용하여 데이터 수집의 데이터 버퍼링 및 재시도는 사용자가 담당합니다.

데이터 오버플로를 효율적으로 처리하려면 버스트 한도에 도달했을 때 데이터를 자동으로 버퍼링하고 다시 전송하도록 시스템을 구성해야 합니다.

다음 표에서는 두 가지 유형의 수집 방법 모두에 대해 버스트 한도에 도달했을 때 Google SecOps에서 데이터 수집을 처리하는 방식의 주요 차이점을 보여줍니다.

기능	풀 기반 수집	푸시 기반 수집
작동 방식	Google SecOps가 소스 API에 적극적으로 연락하여 데이터를 가져옵니다.	시스템에서 연결을 시작하고 데이터를 Google에 전송합니다.
데이터 버퍼링 및 재시도 책임	Google SecOps는 버퍼링을 자동으로 관리합니다. 버스트 한도에 도달하면 Google SecOps에서 추가 데이터 수집을 일시중지합니다. 한도가 재설정되고 Google SecOps에서 가져오기를 재개할 때까지 데이터는 버퍼 스토리지에 저장된 상태로 유지됩니다. 버퍼 스토리지는 최대 90일 동안만 데이터를 저장하며, 그 후에는 데이터가 삭제됩니다.	고객이 버퍼링을 관리해야 합니다. Google SecOps가 HTTP 429로 응답하면 전송 시스템에서 이 오류를 포착하고 데이터를 로컬 대기열 (디스크 또는 메모리)에 저장한 후 나중에 다시 전송해야 합니다. 전송자가 '실패 시 삭제'로 설정된 경우 데이터가 손실됩니다.
데이터 소스 유형	서드 파티 API, Azure Event Hub, Google Workspace 및 Google Cloud, Cloud Storage, Cloud Storage 피드 (이벤트 기반), Amazon S3, Amazon SQS, Azure Blobstore, SFTP 요청, HTTP 요청에서 직접 수집	Google SecOps 전달자, Bindplane 에이전트, Pub/Sub, Amazon Kinesis Firehose, HTTPS 웹훅, 수집 API로 직접 전송
사용자 작업	데이터 수집량을 구매한 용량에 맞추세요.	또한 수집 소스가 데이터 보관, 버퍼링, 재시도를 위해 구성되어 있는지 확인하세요. 자세한 내용은 푸시 기반 시스템의 버퍼링 및 재시도 구성을 참고하세요.

풀 기반 피드의 버퍼링된 데이터가 다시 채워지는 경우

풀 기반 수집 방법을 사용하는 피드의 경우 버스트 한도 기간이 재설정되면 Google SecOps에서 버퍼링된 데이터를 채우고 버퍼링된 데이터보다 실시간 데이터에 우선순위를 부여합니다. 이 메커니즘은 버퍼링된 데이터의 백로그가 수신되는 실시간 데이터 트래픽을 방해하지 않도록 합니다 (감지 지연을 가중시킬 수 있음).

할당된 버스트 한도를 확인하는 방법

Google SecOps 테넌트에 할당된 버스트 한도를 확인하려면 다음 단계를 따르세요.

Google SecOps 콘솔에서 대시보드 > 데이터 수집 및 상태로 이동합니다.
버스트 한도 그래프 - 할당량 한도를 확인합니다. 그래프에는 실제 수집률에 대한 할당된 한도 (수평선)가 표시됩니다.

버스트 한도에 근접하거나 초과하는지 추적

기본 제공 대시보드 또는 Cloud Monitoring을 사용하여 사용률을 추적할 수 있습니다.

Google SecOps 대시보드를 사용하여 버스트 한도에 근접하거나 초과하는지 추적

대시보드 > 데이터 수집 및 상태로 이동하여 다음을 확인합니다.
- 수집률 그래프: 현재 처리량을 표시합니다.
- 버스트 거부 그래프: 버스트 한도를 초과하여 거부된 로그의 양 (HTTP 429 오류)을 보여줍니다.

Cloud Monitoring을 사용하여 버스트 한도에 근접하거나 초과하는지 추적

Google Cloud 의 측정항목 탐색기를 사용하여 맞춤 알림을 만들 수 있습니다. 수집된 바이트 수가 버스트 한도 임계값을 초과하면 알림을 보내는 수집 알림을 만드는 것이 좋습니다.

관련 측정항목은 다음과 같습니다.

수집된 볼륨: chronicle.googleapis.com/ingestion/log/bytes_count
거부된 볼륨: chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count

다음 섹션에는 모니터링 및 알림을 위한 PromQL 쿼리 예시가 포함되어 있습니다.

버스트 한도 사용량 보기

버스트 한도 사용량을 보려면 다음 PromQL 쿼리를 사용하세요.

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

버스트 한도를 초과한 후 거부된 바이트 수 보기

버스트 한도를 초과하여 거부된 바이트 수를 보려면 다음 PromQL 쿼리를 사용하세요.

topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}])))

버스트 한도의 70% 에 도달하면 알림 트리거

버스트 한도의 70% 에 도달하면 알림을 트리거하려면 다음 PromQL 쿼리를 사용하세요.

100 * topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}]))) > 70

수집 알림 설정에 대한 자세한 내용은 수집 통계를 위해 Cloud Monitoring을 사용하여 수집을 참고하세요.

푸시 기반 메서드로 인한 버스트 제한 거부 처리

푸시 기반 방법을 사용하여 수신 데이터의 버스트 한도에 도달하여 거부 오류 (HTTP 429)가 발생하는 경우 다음 단계를 따르는 것이 좋습니다.

버퍼링 확인: 수집 소스가 데이터를 버퍼링하고 재시도하는지 확인합니다.
수집 최적화: 수집 스크립트를 검토하여 불필요한 데이터를 전송하거나 대규모 일괄 처리를 한 번에 API로 폭주시키지 않는지 확인합니다. 가능한 경우 과거 데이터 업로드를 분산합니다. 데이터 처리 파이프라인 기능을 사용하여 중복 데이터를 필터링합니다.
기다리기: 일시적인 급증의 경우 5분 창이 재설정될 때까지 기다린 후 다시 시도하면 되는 경우가 많습니다.

구성 예시는 푸시 기반 시스템의 버퍼링 및 재시도 구성을 참고하세요.

매우 높은 처리량을 위한 맞춤 용량 계획

이 문서의 다른 섹션에 설명된 내용과 관계없이 데이터 수집 처리량이 3GBps를 초과하는 경우 매우 높은 처리량으로 간주됩니다. 대규모 데이터 마이그레이션을 계획하거나, 지속적인 초고속 처리량을 예상하거나, 대규모 수집 버스트를 지속적으로 생성하는 아키텍처를 실행하는 경우 계정팀에 문의하여 맞춤 용량 프로비저닝을 받아야 합니다.

전용 지역 용량 확장을 배포하는 데 몇 주가 걸릴 수 있으므로 처리량 요구사항을 충족할 수 있도록 예상되는 극단적인 인제스트 이벤트가 발생하기 최소 90일 전에 지원팀에 Google Cloud 알려주세요.

자주 묻는 질문(FAQ)

다음 섹션에서는 자주 묻는 질문(FAQ)에 대한 답변을 제공합니다.

버스트 한도를 늘릴 수 있나요?

데이터 수집량이 영구적으로 증가할 것으로 예상되는 경우 Google SecOps 영업 담당자에게 문의하여 구매한 용량을 늘릴 수 있습니다.

풀 기반 피드의 logtype 수준 한도를 늘릴 수 있나요?

Google SecOps 기술 지원을 사용하여 미리 요청을 제출하면 특정 로그 유형의 로그 유형 수준 한도를 늘릴 수 있습니다.

한 로그 유형의 logtype-level 한도를 늘려도 다른 로그 유형이나 전체 버스트 한도에 적용되는 한도는 변경되지 않습니다.

데이터 백로그를 추적할 수 있나요?

현재로서는 불가능합니다.

데이터 백로그를 삭제할 수 있는 방법은 무엇인가요?

매우 큰 데이터 백로그가 누적되어 버스트 한도 할당량을 확보하기 위해 백로그를 지우려면 다음 단계를 따르세요.

한도를 늘리려면 추가 용량을 구매하세요.
예상치 못한 급증이 발생한 특정 피드를 사용 중지합니다.
Google SecOps 기술 지원팀에 백로그 삭제를 요청하세요.

백로그를 삭제하려면 백필된 데이터에 대한 모든 재시도 요청이 성공적으로 처리될 때까지 데이터 피드가 일시적으로 사용 중지됩니다. 이 기간에는 새 데이터를 수집할 수 없습니다.

백로그가 지워지면 피드가 다시 사용 설정되고 새로운 데이터가 유입됩니다. 백로그 크기에 따라 몇 분에서 몇 시간까지 걸릴 수 있습니다.

데이터 처리 파이프라인으로의 데이터 수집에도 버스트 한도가 적용되나요?

Google SecOps의 데이터 처리 파이프라인으로 원시 로그 데이터를 전송하는 데이터 피드에 적용되는 수집률 한도는 테넌트의 버스트 한도보다 높게 설정됩니다.

버스트 한도를 초과하면 데이터 처리 파이프라인에서 다음과 같이 추가 요청을 수락하지 않습니다.

풀 기반 메서드 사용: 수집이 자동으로 버퍼링되며 추가 구성이 필요하지 않습니다.
푸시 기반 메서드 사용: Google SecOps에서 HTTP 429 '너무 많은 요청' 오류와 함께 데이터를 일시적으로 거부합니다.

버스트 한도가 트리거된 후 변환된 데이터는 후속 5분 기간에 한도가 재설정될 때까지 내부 대기열에 일시적으로 버퍼링됩니다.

버스트 한도가 계약한 것보다 낮으면 어떻게 해야 하나요?

계약한 버스트 한도가 실제 버스트 한도보다 낮은 경우 Google 지원팀 (Google SecOps 지원팀 참고)에 문의하고 예상 버스트 한도를 포함하세요.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.