將 Cloud Storage 中的記錄匯入 Cloud Logging

Last reviewed 2025-02-19 UTC

本參考架構說明如何將先前匯出至 Cloud Storage 的記錄匯回 Cloud Logging。

本參考架構適用於工程師和開發人員,包括 DevOps、網站可靠性工程師 (SRE) 和資安調查人員,他們想要設定及執行記錄檔匯入工作。本文件假設您熟悉如何執行 Cloud Run 工作,以及如何使用 Cloud Storage 和 Cloud Logging。

架構

下圖說明 Google Cloud 服務在這個參考架構中的使用方式:

從 Cloud Storage 匯入記錄至 Cloud Logging 的工作流程圖。

這個工作流程包含下列元件:

  • Cloud Storage bucket:包含先前匯出、要匯回 Cloud Logging 的記錄。由於這些記錄先前已匯出,因此會以預期的匯出格式整理。
  • Cloud Run 工作:執行匯入記錄程序:
    • 讀取儲存 Cloud Storage 記錄項目的物件。
    • 根據 Cloud Storage bucket 中匯出記錄的組織,找出指定記錄 ID 在要求日期範圍內的匯出記錄。
    • 將物件轉換為 Cloud Logging API LogEntry 結構。多個 LogEntry 結構會匯總成批次,以減少 Cloud Logging API 配額消耗。架構會在必要時處理配額錯誤。
    • 將轉換後的記錄項目寫入 Cloud Logging。如果多次重新執行同一項工作,可能會產生重複的項目。詳情請參閱「執行匯入工作」。
  • Cloud Logging:擷取及儲存轉換後的記錄項目。系統會按照「轉送和儲存空間總覽」中的說明處理記錄項目。
    • 適用 Logging 配額和限制,包括 Cloud Logging API 配額和限制,以及 30 天保留期限。這項參考架構旨在與預設寫入配額搭配使用,並提供基本的重試機制。如果寫入配額低於預設值,導入作業可能會失敗。
    • 匯入的記錄不會納入記錄指標,因為時間戳記是過去的時間。不過,如果您選擇使用標籤,時間戳記會記錄匯入時間,且記錄會納入指標資料。
  • BigQuery:使用 SQL 對匯入的記錄執行分析查詢 (選用)。如要從 Cloud Storage 匯入稽核記錄,這個架構會修改記錄 ID;查詢匯入的記錄時,您必須考量這項重新命名作業。

用途

如果貴組織需要額外的記錄分析,以便調查事件或稽核過去事件,則可選擇部署這個架構。舉例來說,您可能想分析去年第一季的資料庫連線,做為資料庫存取權稽核的一部分。

設計替代方案

本節說明本參考架構文件中預設設計的替代方案。

保留期限和匯入的記錄

Cloud Logging 要求傳入的記錄項目時間戳記不得超過 30 天的保留期限。如果匯入的記錄項目時間戳記早於匯入時間 30 天以上,則不會儲存。

這個架構會驗證 Cloud Run 工作中設定的日期範圍,避免匯入超過 29 天的記錄,保留一天的安全邊際。

如要匯入 29 天前的記錄,您需要對實作程式碼進行下列變更,然後建構新的容器映像檔,用於 Cloud Run 工作設定。

  • 移除日期範圍的 30 天驗證
  • 將原始時間戳記做為使用者標籤,新增至記錄項目
  • 重設記錄項目的時間戳記標籤,以便使用目前的時間戳記擷取

使用這項修改時,您必須在 Observability Analytics 查詢中使用 labels 欄位,而非 timestamp 欄位。如要進一步瞭解 Observability Analytics 查詢和範例,請參閱「SQL 查詢範例」。

設計須知

下列指南可協助您開發符合組織需求的架構。

成本最佳化

使用這個參考架構匯入記錄檔的費用取決於多項因素。

您會使用下列 Google Cloud計費元件:

請考量下列可能增加費用的因素:

  • 記錄重複:為避免產生額外的記錄儲存費用,請勿多次執行相同設定的匯入工作。
  • 其他目的地的儲存空間:為避免產生額外的記錄儲存費用,請停用目的地專案的路由政策,防止記錄儲存在其他位置,或轉送至 Pub/Sub 或 BigQuery 等其他目的地。
  • 額外 CPU 和記憶體:如果匯入工作逾時,您可能需要在匯入工作設定中增加匯入工作 CPU 和記憶體。如果提高這些值,Cloud Run 費用可能會增加。
  • 其他工作:如果日期範圍內每天預計匯入的記錄數量偏高,您可能需要增加匯入工作設定中的工作數量。工作會將日期範圍平均分配給各項任務,因此每項任務會同時處理範圍內相近的天數。增加工作數量可能會提高 Cloud Run 費用。
  • 儲存空間級別:如果 Cloud Storage bucket 的儲存空間級別不是 Standard,例如 Nearline、Durable Reduced Availability (DRA) 或 Coldline,可能需要支付額外費用。
  • 不同位置之間的資料流量:設定匯入工作,在匯入記錄檔的 Cloud Storage bucket 所在位置執行。否則可能會產生網路輸出費用。

您可以使用 Pricing Calculator,根據預測用量 (包括 Cloud Run 工作) 估算費用。

提升作業效率

本節說明部署解決方案後,管理數據分析查詢的考量事項。

記錄名稱和查詢

記錄會儲存在記錄項目 logName 欄位中定義的專案。為了將記錄匯入所選專案,這個架構會修改每筆匯入記錄的 logName 欄位。匯入記錄會儲存在所選專案的預設記錄檔 bucket 中,記錄 ID 為 imported_logs (除非專案有變更儲存目的地的路由政策)。logName 欄位的原始值會保留在labels 欄位中,鍵為 original_logName。

查詢匯入的記錄時,您必須考量原始 logName 值的位置。如要進一步瞭解 Observability Analytics 查詢和範例,請參閱「SQL 查詢範例」。

效能最佳化

如果匯入的記錄量超過 Cloud Run 容量限制,工作可能會在匯入完成前逾時。為避免資料匯入不完整,建議您提高匯入工作中的 tasks 值。增加工作數量時,增加 CPU 和記憶體資源也有助於提升工作效能。

部署作業

如要部署這個架構,請參閱「部署工作,將記錄從 Cloud Storage 匯入 Cloud Logging」。

後續步驟

貢獻者

作者:開發人員關係工程師 Leonid Yankulin

其他貢獻者: