瞭解配額和爆量限制

支援：

本文說明 Google Security Operations 的配額和爆發限制。

突發限制的定義

爆量限制是 Google SecOps 的服務限制，可做為資料擷取的速度限制，避免平台共用基礎架構的流量突然大幅增加。爆量限制會限制五分鐘內滾動式視窗的擷取速率 (以 MB/秒或 GB/秒為單位)。

爆量限制的計算方式

Google SecOps 會根據您的 Google SecOps 授權，按照您購買的年度擷取量 (購買的容量)，為 Google SecOps 租戶指派爆量限制。

為因應預期變化和記錄檔流量的非預期尖峰，系統會將每日爆量上限設為特定範圍，讓您擷取的資料量介於預期每日平均值的一到三倍 (1 倍至 3 倍)，預期每日平均值的計算方式為：您購買的年容量除以 365 天。這項彈性容量配額可吸收標準擷取尖峰流量，不會中斷作業。舉例來說，如果您購買的年度容量為 365 TB，則預期的每日平均容量為 1 TB。您佈建的爆量上限嚴格來說，每天介於 1 TB 到 3 TB 之間 (換算成處理量，大約是 12 MB/秒 到 36 MB/秒)。如果資料擷取量持續超出這個預先佈建的 1 到 3 倍範圍，就必須增加購買的年約容量。

突發限制會依 Google SecOps 客戶租戶強制執行。

下表列出不同購買容量對應的爆發限制：

購買容量範例 爆發限制範圍 5 分鐘的爆量限制 以最大爆量上限 (每小時) 擷取 擷取量達到最大爆發限制 (每日) 達到最高爆量上限的擷取次數 (每年)
100 TB 3 到 10 MBps 0.9 至 3 GB ~34 GB ~822 GB 300 TB
500 TB 16 至 48 MBps 4.8 至 14.4 GB ~171 GB 約 4 TB 1.5 PB
1 PB 32 至 97 MB/秒 9.6 - 29 GB ~343 GB 約 8 TB 3 PB
5 PB 158 至 476 MB/秒 47.4 至 143 GB 約 1.7 TB ~41 TB 15 PB
30 PB 0.96 至 2.86 GBps 288 至 858 GB ~10.3 TB 約 247 TB 90 PB

如果攝入流量突然大幅增加，系統可能會動態限制頻率或暫時調節流量，以確保區域穩定性。

在這段期間，資料可能會有擷取延遲的情況，直到尖峰期結束為止。

如需超高處理量，請參閱「超高處理量的自訂容量規劃」。

適用於以提取為基礎的動態饋給的爆量限制

Google SecOps 也會將提取式擷取限制為每個記錄類型 (所有動態饋給) 整體爆量限制的三分之一 (33%)。這項限制是為了確保提取式擷取 (通常來自雲端來源) 不會耗盡租戶的整體爆發限制，並避免使用推送式方法 (例如使用 Bindplane 代理程式、轉送器或直接擷取至 Google SecOps API) 擷取資料時發生資源不足的情況。

提取式擷取方法

提取式方法包括擷取方法 (在 Google SecOps 中稱為「來源類型」)，Google SecOps 會主動連線至來源 API 擷取資料。包括 Google SecOps 支援的下列來源類型：

  • 第三方 API
  • Azure Event Hub
  • 直接從 Google Workspace 和 Google Cloud
  • Cloud Storage
  • Cloud Storage 動態饋給 (事件驅動)
  • Amazon S3
  • Amazon SQS
  • Azure Blobstore
  • 安全檔案傳輸通訊協定要求
  • HTTP 要求

舉例來說，如果租戶的爆量上限設為 150 MBps，且租戶使用第三方 API 連接器 (即以提取為基礎的擷取方法) 擷取 Okta 使用者環境記錄，系統會將所有 Okta 資訊串流的擷取速率總和限制為最高 [150/3 =] 50 MBps。即使整體資料擷取率在指派的爆量上限內，系統仍會套用這項額外限制。

記錄類型層級限制的例外狀況

雖然一般來說，記錄類型層級的限制適用於以提取為基礎的動態饋給，但下列例外狀況除外：

  • HTTPS Webhook：這種擷取方法是以推送為基礎，不受記錄類型層級限制。不過，這項作業受限於客戶租戶的整體爆量限制，如果動態饋給超過該限制，就會傳回 HTTP 429 狀態碼。
  • Azure Event Hub：這是以提取為基礎的擷取方法，不受記錄類型層級限制。

如何實施爆發限制

系統會每五分鐘強制執行一次爆量限制。舉例來說，如果爆量上限設為 50 MBps，每五分鐘最多可擷取 15 GB。如果在前兩分鐘內擷取所有 15 GB 的資料，系統會在該時間範圍的剩餘三分鐘內封鎖擷取作業。這項限制會在下一個五分鐘間隔開始時自動重設。

記錄類型層級限制的強制執行方式相同，但適用於個別記錄類型層級。舉例來說，如果每五分鐘分配 5 GB 的提取式動態饋給，而任何單一記錄類型的擷取資料總量在前兩分鐘超過 5 GB，則該時間範圍內剩餘的三分鐘會暫停擷取。下一個五分鐘間隔開始時，系統會自動重設限制。

超出爆量限制時，資料會受到什麼影響

如果超過爆量上限，Google SecOps 會暫停擷取其他資料，並觸發下列機制 (視資料是透過提取或推送方法擷取而定)：

  • 使用提取式方法：系統會自動緩衝處理擷取作業，客戶無須進行額外設定。資料會保留在緩衝儲存空間，直到限制重設，Google SecOps 恢復資料擷取作業。
  • 使用推送方法：Google SecOps 會暫時拒絕資料擷取，並傳回 HTTP 429「要求過多」錯誤。這會向擷取機制發出信號，要求暫停、緩衝及重試，確保資料不會遺失。

使用推送式擷取方法時，緩衝和重試的責任在於您 (客戶) (請參閱「客戶在資料緩衝和重試方面的責任」)。

因超出爆發限制而遭拒不代表資料遺失

請務必瞭解，因超出爆量限制而遭拒 (HTTP 429) 不屬於資料遺失事件。達到突發上限而遭拒 (HTTP 429 錯誤) 表示資料擷取作業暫停。

只要確保推送式系統有足夠的磁碟緩衝和重試邏輯，即使達到爆發限制，也只會造成短暫延遲 (擷取延遲)，不會永久遺失安全性遙測資料。

只有在傳送系統 (例如 Bindplane 代理程式、轉送器或指令碼) 忽略爆量限制拒絕錯誤，並刪除記錄項目而非儲存以供重試時，才會發生資料遺失。

客戶在資料緩衝和重試方面的責任

雖然 Google SecOps 會自動管理資料緩衝，並重試使用提取式擷取方法擷取的資料，但您必須負責資料緩衝，並使用推送式擷取方法 (例如 HTTPS Webhook、Bindplane、轉送器或 Cribl) 重試資料擷取。

。

您需要設定系統，在達到爆發限制時自動緩衝並重新傳送資料，以便有效處理資料溢位。

下表重點列出兩種擷取方法達到爆量上限時，Google SecOps 處理資料擷取作業的主要差異：

功能 提取式擷取 推送式擷取
運作方式 Google SecOps 會主動連線至來源 API 擷取資料。 您的系統會啟動連線，並將資料傳送給 Google。
資料緩衝和重試的責任 Google SecOps 會自動管理緩衝。達到突發上限後，Google SecOps 會暫停擷取額外資料。資料會持續儲存在緩衝區儲存空間，直到限制重設，Google SecOps 才會繼續擷取資料。
緩衝區儲存空間最多只會儲存 90 天的資料，之後就會捨棄資料。		 顧客必須管理緩衝。如果 Google SecOps 回覆 HTTP 429，傳送系統必須擷取這項錯誤，將資料儲存至本機佇列 (磁碟或記憶體)，然後稍後再嘗試傳送。如果傳送者設為「失敗時捨棄」，資料就會遺失。
資料來源類型 第三方 API、Azure Event Hub、直接從 Google Workspace 和 Google Cloud、Cloud Storage、Cloud Storage 資訊提供 (事件驅動)、Amazon S3、Amazon SQS、Azure Blobstore、SFTP 要求、HTTP 要求擷取資料。 Google SecOps 轉送工具、Bindplane 代理程式、Pub/Sub、Amazon Kinesis Firehose、HTTPS Webhook、直接傳送至 Ingestion API。
使用者動作 請採取行動，確保資料擷取量符合您購買的容量。 此外，請確保已為擷取來源設定資料保留、緩衝和重試機制。
詳情請參閱「推送式系統的緩衝和重試設定」。

提取式動態饋給的緩衝資料何時會回填

對於使用提取式擷取方法的動態饋給，當爆量限制時間範圍重設時，Google SecOps 會回填緩衝資料，並優先處理即時資料。這項機制可確保緩衝資料的待處理項目不會干擾傳入的即時資料流量 (這可能會導致偵測延遲加劇)。

如何查看指派的爆量限制

如要確認指派給 Google SecOps 租戶的爆發限制，請按照下列步驟操作：

  1. 在 Google SecOps 控制台中，依序前往「資訊主頁」 >「資料擷取和健康狀態」。
  2. 查看「Burst Limit Graph - Quota Limit」(高載限制圖表 - 配額限制)。圖表會顯示指派的限制 (平線) 和實際擷取率。

追蹤是否即將達到或超過爆發限制

您可以使用內建資訊主頁或 Cloud Monitoring 追蹤使用率。

使用 Google SecOps 資訊主頁，追蹤是否即將達到或超過爆量上限

  • 依序前往「資訊主頁」 >「資料擷取和健康狀態」，查看下列項目：

    • 擷取率圖表：顯示目前的輸送量。
    • 高載拒絕圖表：顯示因超過高載限制而遭拒絕的記錄量 (HTTP 429 錯誤)。

使用 Cloud Monitoring 追蹤是否即將達到或超出爆量上限

您可以在 Google Cloud 中使用 Metrics Explorer 建立自訂快訊。建議您建立擷取快訊，在擷取的位元組量超過爆量限制門檻時收到通知。

相關指標包括：

  • 擷取量：chronicle.googleapis.com/ingestion/log/bytes_count
  • 遭拒資料量：`chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count

立即可用的警告政策

Google SecOps 在 Cloud Monitoring 中提供立即可用的快訊政策，您可以啟用這些政策來監控擷取配額。

如要尋找並啟用這些政策，請按照下列步驟操作：

  1. 在 Google Cloud 控制台，依序前往「Monitoring」 >「Integrations」(整合)。
  2. 從整合清單中選取「Chronicle Security」。
  3. 按一下「快訊」分頁標籤。
  4. 查看並啟用下列範例快訊政策：
    • 資料擷取配額即將達到上限的警告政策：偵測資料擷取量是否即將達到配額上限。
    • Ingestion Quota Rejection Alert Policy：偵測是否因擷取配額不足 (HTTP 429 錯誤)，導致擷取要求遭拒。

範例

以下各節提供用於監控和警告的 PromQL 查詢範例。

查看高載限制用量

  • 如要查看高載限制用量，請使用下列 PromQL 查詢：

    100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

查看超過爆發限制後遭拒的位元組數

  • 如要查看超過爆發限制後遭拒的位元組數，請使用下列 PromQL 查詢：

    topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}])))

達到高載限制的 70% 時觸發警告

  • 如要在達到 70% 的爆量限制時觸發警告，請使用下列 PromQL 查詢：

    100 * topk(5, sum by ("collector_id","log_type")(rate({"__name__"="chronicle.googleapis.com/ingestion/log/quota_rejected_bytes_count","monitored_resource"="chronicle.googleapis.com/Collector","quota_type"="SHORT_TERM_DATA_RATE"}[${__interval}]))) > 70

如要監控每日擷取量是否超出合約限制，請使用「擷取的記錄檔總大小」 (chronicle.googleapis.com/ingestion/log/bytes_count) 指標。

如要瞭解如何設定每日資料量警告政策，請參閱「設定範例政策來監控每日擷取量」。如要瞭解如何設定其他擷取快訊，請參閱「使用 Cloud Monitoring 分析擷取作業」。

如要進一步瞭解如何設定擷取警報，請參閱「使用 Cloud Monitoring 取得擷取洞察資料」。

處理因推送式方法而導致的爆量限制遭拒情況

如果使用推送方法時，因傳入資料達到爆量上限而發生拒絕錯誤 (HTTP 429)，建議您採取下列步驟：

  • 確認緩衝：確認擷取來源正在緩衝資料並重試。
  • 最佳化擷取作業：檢查擷取指令碼，確保不會傳送不必要的資料，或一次傳送大量批次資料，導致 API 超載。盡量分散上傳歷來資料的時間。使用資料處理管道功能篩除多餘資料。
  • 等待：如果是暫時的尖峰流量，通常只要等待五分鐘的重設時間視窗，然後再試一次即可。

如需一些設定範例，請參閱「推送式系統的緩衝和重試設定」。

自訂容量規劃，實現超高處理量

無論本文其他章節如何說明，超過 3 GBps 的資料擷取輸送量都視為超高輸送量。如果您打算大規模遷移資料、預期會持續產生超高處理量，或執行的架構會持續產生大量資料，請務必與帳戶團隊聯絡，要求自訂容量佈建。

部署專屬區域容量擴充作業可能需要數週時間，因此請在預期會發生極端擷取事件前至少 90 天通知 Google Cloud 支援團隊，確保您的處理量需求能獲得滿足。

常見問題

以下各節提供常見問題的解答。

可以提高爆發限制嗎？

如果預期資料擷取量會永久增加，請與 Google SecOps 業務代表聯絡，提高購買的容量。

我可以提高提取式動態饋給的記錄類型層級限制嗎？

如要提高特定記錄類型的記錄類型層級限制，請事先透過 Google SecOps 技術支援提出要求。

提高某個記錄類型層級的限制，不會影響套用至其他記錄類型的限制，也不會影響整體爆量限制。

可以追蹤資料待處理量嗎？

目前我們尚不支援這項功能，

如何清除資料積壓？

如果累積了大量待處理資料，且想清除這些資料來釋出突發限制配額，可以採取下列做法：

  • 購買額外容量即可提高上限。
  • 停用數量突然暴增的特定動態饋給。

  • 要求 Google SecOps 技術支援團隊捨棄待處理事項。

    為減少待處理項目，系統會暫時停用資料動態饋給，直到所有回填資料重試要求都成功處理完畢。在這段期間，您無法擷取任何新資料。

    待處理項目清除後，動態饋給就會重新啟用，您也會看到新的資料流入。視待處理項目的大小而定，這項作業可能需要幾分鐘到幾小時。

資料擷取至資料處理管道時，是否也適用爆量限制？

將原始記錄資料傳送至 Google SecOps 資料處理管道的資料動態饋給，其適用的擷取速率上限會高於租戶的爆量上限。

如果超出爆量限制，資料處理管道會停止接受其他要求，具體情況如下：

  • 使用提取式方法：系統會自動緩衝處理擷取作業，不需額外設定。
  • 使用推送方法：Google SecOps 會暫時拒絕資料，並傳回 HTTP 429「要求過多」錯誤。

觸發爆量限制後轉換的任何資料，都會暫時緩衝到內部佇列，直到後續五分鐘時間範圍內重設限制為止。

如果我的爆量上限低於合約規定，該怎麼辦？

如果突發用量限制低於合約規定，請與 Google 支援團隊聯絡 (請參閱「Google SecOps 支援」)，並提供預期的突發用量限制。

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求解答。