Google Cloud Observability 會將 Cloud Logging、Cloud Monitoring 和 Cloud Trace 的遙測資料儲存到結構化儲存空間容器,並加以整理。瞭解儲存空間模型有助於設定資料落地、強制執行加密政策,以及將遙測資料連結至 BigQuery 等數據分析服務。
記錄檔資料
記錄檔資料會存放在記錄檔 bucket 中,這是 Logging 用來儲存記錄檔資料的容器。每個 Google Cloud 專案、帳單帳戶、資料夾和機構都包含名為 _Required 和 _Default 的記錄值區。
根據預設,記錄資料會位於資料來源的 Google Cloud 專案、帳單帳戶、資料夾或機構中。不過,您可以設定記錄,將記錄資料從來源資源轉送至其他位置,例如其他專案或集中式記錄檔 bucket。詳情請參閱「儲存記錄項目」和「轉送記錄項目」。
Cloud Logging 可讓您將記錄資料區域化:
- 機構政策可以限制新記錄檔儲存空間的位置,並規定記錄檔儲存空間必須使用客戶自行管理的加密金鑰 (CMEK)。
對於機構和資料夾,Cloud Logging 的預設資源設定可讓您設定下列項目:
- 新
_Required和_Default記錄檔值區的位置。 - 用來加密記錄資料的 KMS 金鑰。
- 預設接收器的設定。
資源階層中的後代會自動沿用這些設定,除非後代也設定了預設資源設定。舉例來說,如果您為機構設定 Cloud Logging 的預設資源設定,機構資源階層中的所有資料夾和專案都會自動繼承這些設定。不過,如果您為該機構中的資料夾設定 Cloud Logging 的預設資源設定,系統就會使用資料夾層級的設定。
Cloud Logging 的預設資源設定只會套用至新資源,不會套用至現有資源。 詳情請參閱「設定 Cloud Logging 的預設資源設定」。
- 新
指標資料
指標資料位於 Google Cloud 資料來源專案中。
如要瞭解儲存空間政策,請參閱「監控服務的資料落地」。
追蹤資料
追蹤記錄資料會儲存在名為 _Trace 的觀測功能 bucket 所管理的資料集中。如要保留資料集,必須有 _Trace 值區。
_Trace 值區可以自動或手動建立:
自動建立:系統 收到應用程式或 Google Cloud 服務的追蹤資料 後,會自動建立 bucket。系統會使用適用於可觀測性值區的預設設定,判斷值區的位置和加密金鑰。如果尚未定義預設設定,系統會選取支援的位置,且 bucket 會使用 Google 預設加密。
系統不會因為 Cloud Run functions、Cloud Run 和 App Engine 產生的追蹤資料,建立可觀測性 bucket。只有在可觀測性 bucket 存在時,系統才會儲存這些服務的範圍。
手動建立:您可以在專案收到追蹤資料前,使用 Observability API 建立
_Tracebucket。 Google Cloud 您必須提供 bucket 的位置。您可以提供 Cloud Key Management Service 金鑰:- 如果您提供金鑰,系統就會使用該金鑰加密儲存的資料。
- 如果您未提供 Cloud KMS 金鑰,系統會根據套用至值區父項資源的預設設定,決定加密金鑰。如果預設設定指定了 Cloud KMS 金鑰,系統就會使用該金鑰加密儲存的資料。否則會使用 Google 預設加密機制。
建立 _Trace bucket 時,系統也會為該 bucket 建立名為 Spans 的資料集,以及該資料集上名為 _AllSpans 的檢視區塊。該檢視畫面包含資料集中的所有資料。
如要瞭解詳情,請參考下列資源:
可觀測性儲存模型
Observability API 儲存空間模型採用下列架構:
- 觀測能力儲存位置
- 可觀測性 bucket 是資料集的管理實體,用於儲存資料。可觀測性 bucket 位於特定位置,並設有資料保留政策。當 Google Cloud 服務使用 Observability API 儲存資料時,系統會根據服務名稱建立可觀測性值區、用於儲存資料的資料集,以及提供儲存資料讀取權的檢視區塊。舉例來說,如果是 Cloud Trace 服務,系統會將系統建立的值區命名為
_Trace、資料集命名為Spans,並將檢視區塊命名為_AllSpans。如要瞭解觀測能力 bucket 的結構,請參閱Bucket。 - 資料集
- 資料集會儲存資料。系統建立可觀測性儲存空間時,會自動建立一個資料集,用於管理資料集。舉例來說,當系統建立
_Trace值區時,也會建立名為Spans的資料集,用於儲存追蹤資料。如要瞭解資料集的結構,請參閱Dataset。 - 資料集檢視畫面
- 每個資料集會代管一或多個檢視區塊。檢視表可提供資料集中部分項目的讀取權限。系統建立資料集時,會建立一個檢視區塊。該檢視區塊包含資料集中的所有資料。
檢視畫面名稱會因服務而異。舉例來說,如果是 Cloud Trace 服務,系統會在
Spans資料集上建立名為_AllSpans的檢視區塊。如要瞭解檢視區塊的結構,請參閱View。 - 資料集連結
每個資料集最多只能包含一個連結。建立資料集的連結時,系統會建立連結的 BigQuery 資料集。接著,您可以使用 BigQuery 或其他使用 BigQuery API 的服務,查詢資料集中的資料。如要瞭解連結結構,請參閱
Link。系統不會自動建立資料集的連結。
舉例來說,您的追蹤記錄資料位於「_Trace」觀測功能 bucket 內的「Spans」資料集。系統會在該資料集上建立「_AllSpans」檢視畫面,其中包含所有儲存的範圍。
觀測儲存空間的資料落地機制
如果您有法規遵循或監管規定,必須將資料儲存在特定位置,或使用客戶自行管理的加密金鑰 (CMEK),建議您同時設定機構政策和可觀測性 bucket 的預設設定。
對於機構、資料夾和專案,可觀測性 bucket 的預設設定可讓您設定下列項目:
- 預設儲存位置。
- 每個位置的預設 Cloud Key Management Service 金鑰。
系統使用預設設定的方式有兩種:
系統自動建立可觀測性 bucket 時,會使用預設設定來決定 bucket 的位置和加密金鑰。如果尚未定義預設設定,系統會選取位置,且 bucket 會使用 Google 預設加密機制。
發出 API 要求來啟動可觀測性 bucket 的建立作業時,您會提供位置。不過,除非 API 要求的引數指定金鑰,否則系統會自動使用預設設定定義的 Cloud KMS 金鑰加密資料。
由於可觀測性 bucket 的上層一律為專案,因此建立 bucket 時,系統會先搜尋專案層級的預設設定。如果沒有,系統會搜尋父項的祖先,找出預設設定。舉例來說,如果您為資料夾定義預設設定,這些設定會套用至該資料夾的後代,但已設定預設設定的後代除外。
您也可以使用組織政策,限制新觀測能力值區的位置、要求使用 CMEK,或限制可用於加密的 Cloud KMS 金鑰。如果您設定的組織政策要求使用 CMEK,則必須為觀測能力值區設定預設設定。否則,系統建立的觀測能力 bucket 將無法完成佈建。
詳情請參閱「設定可觀測性 bucket 的預設值」。限制
你無法執行下列操作:
- 修改或刪除可觀測性值區。
- 建立、刪除或修改資料集。
- 建立、刪除或修改檢視畫面。
- 使用 Google Cloud 控制台列出 bucket、資料集、檢視區塊或連結。