本參考架構說明如何將先前匯出至 Cloud Storage 的記錄匯回 Cloud Logging。
本參考架構適用於工程師和開發人員,包括 DevOps、網站可靠性工程師 (SRE) 和資安調查人員,他們想要設定及執行記錄檔匯入工作。本文件假設您熟悉如何執行 Cloud Run 工作,以及如何使用 Cloud Storage 和 Cloud Logging。
架構
下圖說明 Google Cloud 服務在這個參考架構中的使用方式:
這個工作流程包含下列元件:
- Cloud Storage bucket:包含先前匯出、要匯回 Cloud Logging 的記錄。由於這些記錄先前已匯出,因此會以預期的匯出格式整理。
- Cloud Run 工作:執行匯入記錄程序:
- 讀取儲存 Cloud Storage 記錄項目的物件。
- 根據 Cloud Storage bucket 中匯出記錄的組織,找出指定記錄 ID 在要求日期範圍內的匯出記錄。
- 將物件轉換為 Cloud Logging API
LogEntry結構。多個LogEntry結構會匯總成批次,以減少 Cloud Logging API 配額消耗。架構會在必要時處理配額錯誤。 - 將轉換後的記錄項目寫入 Cloud Logging。如果多次重新執行同一項工作,可能會產生重複的項目。詳情請參閱「執行匯入工作」。
- Cloud Logging:擷取及儲存轉換後的記錄項目。系統會按照「轉送和儲存空間總覽」中的說明處理記錄項目。
- BigQuery:使用 SQL 對匯入的記錄執行分析查詢 (選用)。如要從 Cloud Storage 匯入稽核記錄,這個架構會修改記錄 ID;查詢匯入的記錄時,您必須考量這項重新命名作業。
用途
如果貴組織需要額外的記錄分析,以便調查事件或稽核過去事件,則可選擇部署這個架構。舉例來說,您可能想分析去年第一季的資料庫連線,做為資料庫存取權稽核的一部分。
設計替代方案
本節說明本參考架構文件中預設設計的替代方案。
保留期限和匯入的記錄
Cloud Logging 要求傳入的記錄項目時間戳記不得超過 30 天的保留期限。如果匯入的記錄項目時間戳記早於匯入時間 30 天以上,則不會儲存。
這個架構會驗證 Cloud Run 工作中設定的日期範圍,避免匯入超過 29 天的記錄,保留一天的安全邊際。
如要匯入 29 天前的記錄,您需要對實作程式碼進行下列變更,然後建構新的容器映像檔,用於 Cloud Run 工作設定。
- 移除日期範圍的 30 天驗證
- 將原始時間戳記做為使用者標籤,新增至記錄項目
- 重設記錄項目的時間戳記標籤,以便使用目前的時間戳記擷取
使用這項修改時,您必須在 Observability Analytics 查詢中使用 labels 欄位,而非 timestamp 欄位。如要進一步瞭解 Observability Analytics 查詢和範例,請參閱「SQL 查詢範例」。
設計須知
下列指南可協助您開發符合組織需求的架構。
成本最佳化
使用這個參考架構匯入記錄檔的費用取決於多項因素。
您會使用下列 Google Cloud計費元件:
請考量下列可能增加費用的因素:
- 記錄重複:為避免產生額外的記錄儲存費用,請勿多次執行相同設定的匯入工作。
- 其他目的地的儲存空間:為避免產生額外的記錄儲存費用,請停用目的地專案的路由政策,防止記錄儲存在其他位置,或轉送至 Pub/Sub 或 BigQuery 等其他目的地。
- 額外 CPU 和記憶體:如果匯入工作逾時,您可能需要在匯入工作設定中增加匯入工作 CPU 和記憶體。如果提高這些值,Cloud Run 費用可能會增加。
- 其他工作:如果日期範圍內每天預計匯入的記錄數量偏高,您可能需要增加匯入工作設定中的工作數量。工作會將日期範圍平均分配給各項任務,因此每項任務會同時處理範圍內相近的天數。增加工作數量可能會提高 Cloud Run 費用。
- 儲存空間級別:如果 Cloud Storage bucket 的儲存空間級別不是 Standard,例如 Nearline、Durable Reduced Availability (DRA) 或 Coldline,可能需要支付額外費用。
- 不同位置之間的資料流量:設定匯入工作,在匯入記錄檔的 Cloud Storage bucket 所在位置執行。否則可能會產生網路輸出費用。
您可以使用 Pricing Calculator,根據預測用量 (包括 Cloud Run 工作) 估算費用。
提升作業效率
本節說明部署解決方案後,管理數據分析查詢的考量事項。
記錄名稱和查詢
記錄會儲存在記錄項目 logName 欄位中定義的專案。為了將記錄匯入所選專案,這個架構會修改每筆匯入記錄的 logName 欄位。匯入記錄會儲存在所選專案的預設記錄檔 bucket 中,記錄 ID 為 imported_logs (除非專案有變更儲存目的地的路由政策)。logName 欄位的原始值會保留在labels 欄位中,鍵為 original_logName。
查詢匯入的記錄時,您必須考量原始 logName 值的位置。如要進一步瞭解 Observability Analytics 查詢和範例,請參閱「SQL 查詢範例」。
效能最佳化
如果匯入的記錄量超過 Cloud Run 容量限制,工作可能會在匯入完成前逾時。為避免資料匯入不完整,建議您提高匯入工作中的 tasks 值。增加工作數量時,增加 CPU 和記憶體資源也有助於提升工作效能。
部署作業
如要部署這個架構,請參閱「部署工作,將記錄從 Cloud Storage 匯入 Cloud Logging」。
後續步驟
- 請查看 GitHub 存放區中的實作程式碼。
- 瞭解如何使用 Observability Analytics 和 SQL 分析匯入的記錄。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:開發人員關係工程師 Leonid Yankulin
其他貢獻者:
- Summit Tuladhar | 資深軟體工程師
- Wilton Wong | 企業架構師
- Xiang Shen | 解決方案架構師