할당량 및 일시적 급증 한도 이해하기
이 문서에서는 Google Security Operations의 할당량 및 일시적 급증 한도를 설명합니다.
일시적 급증 한도 정의
일시적 급증 한도는 Google SecOps의 서비스 한도의 한 형태로, 데이터 수집의 속도 제한 역할을 하며 플랫폼의 공유 인프라를 트래픽의 갑작스럽고 대규모 급증으로부터 보호하도록 설계되었습니다. 일시적 급증 한도는 5분 이동 기간 내에서 수집 속도(초당 메가바이트(MBps) 또는 초당 기가바이트(GBps)로 측정)를 제한합니다.
일시적 급증 한도 계산 방법
Google SecOps는 Google SecOps 라이선스에 따라 구매한 연간 수집량 (구매한 용량)을 기준으로 Google SecOps 테넌트에 일시적 급증 한도를 할당합니다.
예상되는 변동과 계획되지 않은 로그 트래픽 급증을 수용하기 위해 일일 일시적 급증 한도는 특정 범위로 프로비저닝되므로 예상되는 일일 평균 (구매한 연간 용량을 365일로 나눈 값으로 계산)의 1~3배 (1×~3×)를 수집할 수 있습니다. 이 유연한 용량 허용치는 운영을 중단하지 않고 표준 수집 급증을 흡수하도록 설계되었습니다. 예를 들어 구매한 연간 용량이 365TB인 경우 예상되는 일일 평균은 1TB입니다. 프로비저닝된 일시적 급증 한도는 일일 1TB~3TB 범위 내에 엄격하게 포함됩니다 (이는 대략 12MBps~36MBps의 처리량 범위로 변환됨). 데이터 수집이 이 프로비저닝된 1×~3× 범위를 지속적으로 초과하는 경우 구매한 연간 용량을 늘려야 합니다.
일시적 급증 한도는 Google SecOps 고객 테넌트별로 적용됩니다.
다음 표에서는 일시적 급증 한도가 구매한 용량의 다양한 양에 어떻게 대응하는지 보여줍니다.
| 구매한 용량 예시 | 일시적 급증 한도 범위 | 5분 일시적 급증 한도 | 최대 일시적 급증 한도에서의 수집 (시간당) | 최대 일시적 급증 한도에서의 수집 (일일) | 최대 일시적 급증 한도에서의 수집 (연간) |
|---|---|---|---|---|---|
| 100TB | 3~10MBps | 0.9~3GB | ~34GB | ~822GB | 300TB |
| 500TB | 16~48MBps | 4.8~14.4GB | ~171GB | ~4TB | 1.5PB |
| 1PB | 32~97MBps | 9.6~29GB | ~343GB | ~8TB | 3PB |
| 5PB | 158~476MBps | 47.4~143GB | ~1.7TB | ~41TB | 15PB |
| 30PB | 0.96~2.86GBps | 288~858GB | ~10.3TB | ~247TB | 90PB |
극심하고 갑작스러운 속도 급증을 포함하는 수집 트래픽에는 리전 안정성을 보호하기 위해 동적 비율 제한 또는 일시적 제한이 적용될 수 있습니다.
이 기간에는 급증이 가라앉을 때까지 데이터 수집이 지연될 수 있습니다.
매우 높은 처리량 요구사항은 매우 높은 처리량을 위한 맞춤 용량 계획을 참고하세요.
가져오기 기반 피드의 일시적 급증 한도 적용 가능성
Google SecOps는 가져오기 기반 수집을 로그 유형당 (모든 피드에서) 전체 일시적 급증 한도의 1/3 (33%)로 제한합니다. 이 한도는 가져오기 기반 수집 (일반적으로 클라우드 소스에서)이 테넌트의 전체 일시적 급증 한도를 소진하고 푸시 기반 방법 (예: Bindplane 에이전트, 전달자 또는 Google SecOps API로의 직접 수집 사용)을 사용하여 데이터 수집을 차단하지 않도록 하기 위해 마련되었습니다.
가져오기 기반 수집 방법
가져오기 기반 방법에는 Google SecOps가 소스 API에 적극적으로 연결하여 데이터를 가져오는 수집 방법 (Google SecOps에서 소스 유형 이라고 함)이 포함됩니다. 여기에는 Google SecOps에서 지원되는 다음 소스 유형이 포함됩니다.
- 서드 파티 API
- Azure Event Hub
- Google Workspace 및 Google Cloud
- Cloud Storage
- Cloud Storage 피드 (이벤트 기반)
- Amazon S3
- Amazon SQS
- Azure Blobstore
- SFTP 요청
- HTTP 요청
예를 들어 테넌트의 일시적 급증 한도가 150MBps로 설정되어 있고 테넌트가 서드 파티 API 커넥터 (가져오기 기반 수집 방법)를 사용하여 Okta 사용자 컨텍스트 로그를 수집하는 경우 시스템은 모든 Okta 피드의 수집 속도를 합쳐 최대 [150/3 =] 50MBps로 제한합니다. 이 추가 한도는 전체 데이터 수집 속도가 할당된 일시적 급증 한도 내에 있는 경우에도 적용됩니다.
가져오기 기반 수집 방법의 로그 유형 수준 한도 예외
로그 유형 수준 한도는 일반적으로 가져오기 기반 피드에 적용되지만 다음과 같은 예외가 적용됩니다.
- HTTPS 웹훅: 로그 유형 수준 한도가 있는 푸시 기반 방법입니다.
- Azure Event Hub: 로그 유형 수준 한도가 없는 가져오기 기반 방법입니다.
일시적 급증 한도 구현 방법
시스템은 5분 간격으로 일시적 급증 한도를 적용합니다. 예를 들어 일시적 급증 한도가 50MBps로 설정되어 있는 경우 5분마다 최대 15GB를 수집할 수 있습니다. 처음 2분 동안 15GB를 모두 수집하면 해당 기간의 나머지 3분 동안 수집이 차단됩니다. 이 한도는 다음 5분 간격이 시작될 때 자동으로 재설정됩니다.
로그 유형 수준 한도는 동일한 방식으로 적용되지만 개별 로그 유형 수준에서 적용됩니다. 예를 들어 5분마다 가져오기 기반 피드에 5GB가 할당되고 처음 2분 동안 단일 로그 유형의 총 수집된 데이터 볼륨이 5GB를 초과하는 경우 해당 기간의 나머지 3분 동안 수집이 일시중지됩니다. 이 한도는 다음 5분 간격이 시작될 때 자동으로 재설정됩니다.
일시적 급증 한도를 초과하면 데이터는 어떻게 되나요?
일시적 급증 한도를 초과하면 Google SecOps는 추가 데이터 수집을 일시중지하고 데이터가 가져오기 기반 방법을 사용하는지 푸시 기반 방법을 사용하는지에 따라 다음 메커니즘이 트리거됩니다.
- 가져오기 기반 방법 사용: 수집이 자동으로 버퍼링되며 고객인 사용자가 추가로 구성할 필요가 없습니다. 한도가 재설정되고 Google SecOps가 데이터 수집을 재개할 때까지 데이터는 버퍼 스토리지에 저장된 상태로 유지됩니다.
- 푸시 기반 방법 사용: Google SecOps는 HTTP 429 "요청한 횟수가 너무 많음" 오류로 데이터 수집을 일시적으로 거부합니다. 이렇게 하면 수집 메커니즘에 일시중지, 버퍼링, 재시도를 알리고 데이터가 손실되지 않도록 합니다.
푸시 기반 수집 방법을 사용하는 경우 버퍼링 및 재시도 책임은 고객인 사용자에게 있습니다 (데이터 버퍼링 및 재시도에 대한 고객 책임 참고).
일시적 급증 한도 거부는 데이터 손실이 아님
일시적 급증 한도 거부 (HTTP 429)는 데이터 손실 이벤트가 아니라 데이터 수집 일시중지라는 점을 이해하는 것이 중요합니다. 일시적 급증 한도 거부 (HTTP 429 오류)는 데이터 수집 일시중지입니다.
푸시 기반 시스템에 적절한 디스크 버퍼링 및 재시도 로직이 있는지 확인하면 일시적 급증 한도에 도달해도 보안 원격 분석이 영구적으로 손실되지 않고 약간의 지연 (수집 지연)만 발생합니다.
데이터 손실은 전송 시스템 (예: Bindplane 에이전트, 전달자 또는 스크립트)이 일시적 급증 한도 거부 오류를 무시하고 재시도를 위해 저장하는 대신 로그 항목을 삭제하는 경우에만 발생합니다.
데이터 버퍼링 및 재시도에 대한 고객 책임
Google SecOps는 가져오기 기반 수집 방법을 사용하여 수집되는 데이터의 데이터 버퍼링 및 재시도를 자동으로 관리하지만, 푸시 기반 수집 방법 (예: HTTPS 웹훅, Bindplane, 전달자 또는 Cribl)을 사용하여 데이터 수집을 버퍼링하고 재시도하는 것은 사용자의 책임입니다.
일시적 급증 한도에 도달했을 때 데이터 오버플로를 효율적으로 처리하려면 시스템이 데이터를 자동으로 버퍼링하고 다시 전송하도록 구성해야 합니다.
다음 표에서는 두 가지 유형의 수집 방법 모두에서 일시적 급증 한도에 도달했을 때 Google SecOps가 데이터 수집을 처리하는 방식의 주요 차이점을 보여줍니다.
| 기능 | 가져오기 기반 수집 | 푸시 기반 수집 |
|---|---|---|
| 작동 방식 | Google SecOps가 소스 API에 적극적으로 연결하여 데이터를 가져옵니다. | 시스템이 연결을 시작하고 Google에 데이터를 전송합니다. |
| 데이터 버퍼링 및 재시도 책임 | Google SecOps는 버퍼링을 자동으로 관리합니다. 일시적 급증 한도에 도달하면 Google SecOps는 추가 데이터 수집을 일시중지합니다. 한도가 재설정되고 Google SecOps가 가져오기를 재개할 때까지 데이터는 버퍼 스토리지에 저장된 상태로 유지됩니다. 버퍼 스토리지는 최대 90일 동안만 데이터를 저장하며, 그 후에는 데이터가 삭제됩니다. |
고객이 버퍼링을 관리해야 합니다. Google SecOps가 HTTP 429로 응답하면 전송 시스템이 이 오류를 포착하고 데이터를 로컬 큐 (디스크 또는 메모리)에 저장한 후 나중에 다시 전송해야 합니다. 발신자가 '실패 시 삭제'로 설정되어 있으면 데이터가 손실됩니다. |
| 데이터 소스 유형 | 서드 파티 API, Azure Event Hub, Google Workspace 및 Google CloudCloud Storage, Cloud Storage 피드 (이벤트 기반), Amazon S3, Amazon SQS, Azure Blobstore, SFTP 요청, HTTP 요청에서의 직접 수집 | Google SecOps 전달자, Bindplane 에이전트, Pub/Sub, Amazon Kinesis Firehose, HTTPS 웹훅, 수집 API로 직접 |
| 사용자 작업 | 데이터 수집량을 구매한 용량에 맞추는 단계를 따르세요. | 또한 수집 소스가 데이터 보관, 버퍼링, 재시도를 위해 구성되어 있는지 확인합니다. 자세한 내용은 푸시 기반 시스템의 버퍼링 및 재시도 구성을 참고하세요. |
가져오기 기반 피드의 버퍼링된 데이터가 백필되는 경우
가져오기 기반 수집 방법을 사용하는 피드의 경우 일시적 급증 한도 기간이 재설정되면 Google SecOps는 버퍼링된 데이터를 백필하고 버퍼링된 데이터보다 실시간 데이터의 우선순위를 지정합니다. 이 메커니즘은 버퍼링된 데이터의 백로그가 수신되는 실시간 데이터 트래픽을 방해하지 않도록 합니다 (감지 지연을 악화시킬 수 있음).
할당된 일시적 급증 한도를 보는 방법
Google SecOps 테넌트에 할당된 일시적 급증 한도를 확인하려면 다음 단계를 따르세요.
- Google SecOps 콘솔에서 대시보드 > 데이터 수집 및 상태 로 이동합니다.
- 일시적 급증 한도 그래프 - 할당량 한도 를 봅니다. 그래프에는 실제 수집 속도에 비해 할당된 한도 (실선)가 표시됩니다.
일시적 급증 한도에 근접하거나 초과하는지 추적
기본 제공 대시보드 또는 Cloud Monitoring을 사용하여 사용률을 추적할 수 있습니다.
Google SecOps 대시보드를 사용하여 일시적 급증 한도에 근접하거나 초과하는지 추적
대시보드 > 데이터 수집 및 상태 로 이동하여 다음을 확인합니다.
- 수집 속도 그래프: 현재 처리량을 보여줍니다.
- 일시적 급증 거부 그래프: 일시적 급증 한도를 초과하여 거부된 로그 볼륨 (HTTP 429 오류)을 보여줍니다.
Cloud Monitoring을 사용하여 일시적 급증 한도에 근접하거나 초과하는지 추적
측정항목 탐색기를 사용하여 커스텀 알림을 만들 수 있습니다. Google Cloud 수집된 바이트 볼륨이 일시적 급증 한도 기준점을 초과할 때 알림을 보내는 수집 알림을 만드는 것이 좋습니다.
관련 측정항목은 다음과 같습니다.
- 수집된 볼륨:
chronicle.googleapis.com/ingestion/log/bytes_count - 거부된 볼륨: `chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count
즉시 사용 가능한 알림 정책
Google SecOps는 수집 할당량을 모니터링하기 위해 사용 설정할 수 있는 Cloud Monitoring의 즉시 사용 가능한 알림 정책을 제공합니다.
이러한 정책을 찾아 사용 설정하려면 다음 단계를 따르세요.
- 콘솔에서 Monitoring > 통합으로 이동합니다. Google Cloud
- 통합 목록에서 Chronicle Security 를 선택합니다.
- 알림 탭을 클릭합니다.
- 다음 샘플 알림 정책을 검토하고 사용 설정합니다.
- 수집 할당량 한도 근접 알림 정책: 데이터 수집량이 할당량 한도에 근접하는지 감지합니다.
- 수집 할당량 거부 알림 정책: 수집 할당량 부족 (HTTP 429 오류)으로 인해 수집 요청이 거부되는지 감지합니다.
예시
다음 섹션에는 모니터링 및 알림을 위한 PromQL 쿼리 예시가 포함되어 있습니다.
일시적 급증 한도 사용량 보기
일시적 급증 한도 사용량을 보려면 다음 PromQL 쿼리를 사용합니다.
100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))
일시적 급증 한도를 초과한 후 거부된 바이트 수 보기
일시적 급증 한도를 초과한 후 거부된 바이트 수를 보려면 다음 PromQL 쿼리를 사용합니다.
topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}])))
일시적 급증 한도의 70% 에 도달하면 알림 트리거
일시적 급증 한도의 70% 에 도달하면 알림을 트리거하려면 다음 PromQL 쿼리를 사용합니다.
100 * topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}]))) > 70
수집 알림 설정에 대한 자세한 내용은 수집 통계를 위한 수집에 Cloud Monitoring 사용을 참고하세요.
푸시 기반 방법으로 인한 일시적 급증 한도 거부 처리
푸시 기반 방법을 사용하여 수신 데이터의 일시적 급증 한도에 도달하여 거부 오류 (HTTP 429)가 발생하는 경우 다음 단계를 따르는 것이 좋습니다.
- 버퍼링 확인: 수집 소스가 데이터를 버퍼링하고 재시도하는지 확인합니다.
- 수집 최적화: 수집 스크립트를 검토하고 불필요한 데이터를 전송하거나 대규모 일괄 처리를 한 번에 폭주 시키지 않는지 확인합니다. 가능하면 과거 데이터 업로드를 분산합니다. 데이터 처리 파이프라인 기능을 사용하여 중복 데이터를 필터링합니다.
- 대기: 일시적인 급증의 경우 5분 기간이 재설정될 때까지 기다린 후 다시 시도하는 것으로 충분한 경우가 많습니다.
구성 예시는 푸시 기반 시스템의 버퍼링 및 재시도 구성을 참고하세요.
매우 높은 처리량을 위한 맞춤 용량 계획
이 문서의 다른 섹션에 설명된 내용과 관계없이 3GBps를 초과하는 데이터 수집 처리량은 매우 높은 처리량 으로 간주됩니다. 대규모 데이터 이전을 계획하거나, 지속적인 매우 높은 처리량을 예상하거나, 대규모 수집 급증을 지속적으로 생성하는 아키텍처를 실행하는 경우 계정팀에 문의하여 맞춤 용량 프로비저닝을 받아야 합니다.
전용 리전 용량 확장을 배포하는 데 몇 주가 걸릴 수 있으므로 처리량 요구사항을 해결할 수 있도록 예상되는 극심한 수집 이벤트가 발생하기 최소 90일 전에 Google Cloud 지원팀에 알려주세요.
자주 묻는 질문(FAQ)
다음 섹션에서는 자주 묻는 질문(FAQ)에 대한 답변을 제공합니다.
일시적 급증 한도를 늘릴 수 있나요?
데이터 수집량이 영구적으로 증가할 것으로 예상되는 경우 Google SecOps 영업 담당자에게 문의하여 구매한 용량을 늘릴 수 있습니다.
가져오기 기반 피드의 로그 유형 수준 한도를 늘릴 수 있나요?
Google SecOps 기술 지원팀에 미리 요청을 제출하여 특정 로그 유형의 로그 유형 수준 한도를 늘릴 수 있습니다.
한 로그 유형의 로그 유형 수준 한도를 늘려도 다른 로그 유형 또는 전체 일시적 급증 한도에 적용되는 한도는 변경되지 않습니다.
데이터 백로그를 추적할 수 있나요?
현재로서는 불가능합니다.
데이터 백로그를 삭제할 수 있는 방법은 무엇인가요?
매우 큰 데이터 백로그가 누적되어 있고 일시적 급증 한도 할당량을 확보하기 위해 백로그를 삭제하려면 다음 단계를 따르세요.
- 용량을 추가로 구매하여 한도를 늘립니다.
- 볼륨이 예기치 않게 급증한 특정 피드를 사용 중지합니다.
Google SecOps 기술 지원팀에 백로그 삭제를 요청합니다.
백로그를 삭제하려면 백필된 데이터의 모든 재시도 요청이 성공적으로 처리될 때까지 데이터 피드가 일시적으로 사용 중지됩니다. 이 기간에는 새 데이터를 수집할 수 없습니다.
백로그가 삭제되면 피드가 다시 사용 설정되고 새 데이터가 유입되는 것을 확인할 수 있습니다. 백로그의 크기에 따라 몇 분에서 몇 시간까지 걸릴 수 있습니다.
일시적 급증 한도는 데이터 처리 파이프라인으로의 데이터 수집에도 적용되나요?
Google SecOps의 데이터 처리 파이프라인으로 원시 로그 데이터를 전송하는 데이터 피드에 적용되는 수집 속도 한도는 테넌트의 일시적 급증 한도보다 높게 설정됩니다.
일시적 급증 한도를 초과하면 데이터 처리 파이프라인은 다음에 따라 추가 요청 수락을 중지합니다.
- 가져오기 기반 방법 사용: 수집이 자동으로 버퍼링되며 추가 구성이 필요하지 않습니다.
- 푸시 기반 방법 사용: Google SecOps는 HTTP 429 "요청한 횟수가 너무 많음" 오류로 데이터를 일시적으로 거부합니다.
일시적 급증 한도가 트리거된 후 변환된 데이터는 다음 5분 기간에 한도가 재설정될 때까지 내부 큐에 일시적으로 버퍼링됩니다.
일시적 급증 한도가 계약한 것보다 낮으면 어떻게 해야 하나요?
일시적 급증 한도가 계약한 것보다 낮으면 Google 지원팀 (Google SecOps 지원팀 참고)에 문의하고 예상되는 일시적 급증 한도를 포함하세요.
도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가에게 문의하여 답변을 받으세요.