儲存空間分析資料集

本文說明儲存空間分析資料集如何提供資料的深入分析和洞察資訊,協助您管理 Cloud Storage 環境。

儲存空間分析資料集會建立可查詢的中繼資料和活動索引,涵蓋整個組織、資料夾、專案或特定 bucket 的 Cloud Storage bucket 和物件。如要查詢中繼資料和活動索引,請將資料集連結至 BigQuery。接著,您可以使用連結的 BigQuery 資料集,分析、查詢及視覺化呈現資料。將資料集連結至 BigQuery,即可查詢中繼資料和活動索引。

儲存空間分析資料集是 Storage Intelligence 訂閱方案的專屬功能。 Google Cloud 提供 Storage Intelligence 30 天入門試用版。您可以啟用試用功能,深入瞭解 Cloud Storage 用量並採取行動。如要進一步瞭解試用方案,請參閱「Storage Intelligence 30 天入門試用方案」。

總覽

儲存空間分析 資料集會針對指定範圍內的所有專案、bucket 和物件,提供中繼資料、活動資料、錯誤和事件的滾動式快照。資料集會收集資訊並建立索引,以便您查看資料。您可以在這個檢視畫面中監控 Cloud Storage 資源,以及管理儲存空間資產。

這個資料集會以 BigQuery 連結資料集的形式提供,其中包含一組具有下列結構定義的表格:

儲存空間洞察資料集的用途

儲存空間分析資料集提供多種檢視畫面,可讓您取得整個組織和精細的資料深入分析。以下各節說明資料集的用途。

瞭解儲存空間資產

您可以查看專案、值區和物件中繼資料,深入瞭解資料。中繼資料檢視畫面可協助您執行下列工作:

  • 偵測異常狀況,例如資料位於非預期區域。
  • 找出最佳化機會,例如找出暫存或重複的檔案。
  • 查詢特定洞察資料,例如過去 24 小時內建立的物件,或 PDF 檔案總數。
  • 根據查詢結果擷取一組物件的前置字串清單,然後向下鑽研至要執行的物件。

使用資料集篩選器執行批次作業

將儲存空間分析資料集與 儲存空間批次作業整合,即可對資料集中的物件執行大規模操作。整合後,您就能在多個 bucket 中選取特定資料子集,並根據資料集中的欄位套用轉換。這樣就不必手動建立資訊清單檔案。

直接選取物件

直接在 Google Cloud CLI 中使用一般運算語言 (CEL) 篩選旗標 (--bucket-filters 和 --object-filters),即可大規模選取及處理物件。您可以直接選取,評估資料集欄位,並在整個專案中執行批次動作。您不必再手動建立資訊清單 CSV 檔案,您不必在 BigQuery 查詢資料集、匯出搜尋結果,以及將資訊清單上傳至 bucket。這個專案範圍最多可讓您在 1,000 個 bucket 中執行單一批次工作。

舉例來說,您可以直接在 Google Cloud CLI 中指定篩選條件:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

如要瞭解這些篩選器可用的欄位和運算子,請參閱「CEL 篩選器參考資料」。

分析活動模式

您可以使用 bucket 活動檢視畫面、專案活動檢視畫面和物件事件檢視畫面,執行下列操作:

  • 分析作業模式,找出閒置 bucket。

  • 監控物件作業,瞭解儲存空間資產的變化趨勢。

  • 找出最常使用的專案、儲存區和前置字元。

瞭解區域 bucket 活動

儲存區區域活動檢視畫面會顯示要求和回應位元組等欄位,指出經常與儲存區互動的區域。分析區域 bucket 活動,判斷是否需要bucket 遷移:

  • 查看區域中 bucket 的總輸出和輸入量,找出可能更適合區域而非多區域類別的 bucket。

  • 評估所有區域內和跨區域的總資料流量。

評估安全狀態

您可以使用 bucket 和物件中繼資料,找出公開的物件、有效的加密類型,以及資料保留期限。以下各節說明 Storage Insights 資料集如何協助您評估潛在安全漏洞。

找出可公開存取的物件

您可以使用 Storage Insights 資料集,找出可公開存取的物件。您可以透過物件的公開存取狀態,找出公開至網際網路的物件,進而管理儲存空間資料,並降低資料竊取風險。

物件中繼資料結構定義提供公開存取狀態,這項計算指標有助於簡化安全性分析。如要判斷物件的公開存取狀態,儲存空間分析資料集會驗證下列所有設定:

為協助您找出授予公開存取權的特定設定,Storage Insights 資料集會提供物件是否可公開讀取或寫入的資訊。如果是可公開讀取的物件,這項資訊會指出權限是源自物件、bucket 或代管資料夾層級。如果是可公開寫入的物件,則會提供詳細資料,說明存取權是由物件 ACL、bucket ACL 或 IAM 政策授予。

您可以使用 BigQuery 查詢物件的公開存取狀態,然後使用 Looker 資訊主頁監控這些物件,列出所有可公開讀取或寫入的物件。如要進一步瞭解公開存取狀態欄位,請參閱物件中繼資料結構定義中的「securityInsights」。

稽核加密設定

您可以使用 bucket 和物件中繼資料檢視畫面,稽核加密設定。這些檢視表包含 bucket 和物件層級的加密資訊,以及 bucket 中繼資料的 encryption 和物件中繼資料的 encryptionType 等欄位。您可以運用這項資訊執行下列操作:

  • 檢查 encryption.defaultEncryptionType 和 encryption.defaultKmsKeyName,確認 bucket 已設定預設加密。
  • 檢查 encryptionType,確認物件是否使用 Google 代管、客戶自行管理或客戶提供的加密金鑰,驗證是否符合強制加密政策。
  • 找出所有以特定 Cloud Key Management Service 金鑰或客戶提供的加密金鑰加密的物件。

監控資料保留政策

您可以使用 bucket 和物件中繼資料檢視畫面,監控資料保留政策。 這些檢視表包含物件中繼資料中的 retentionExpirationTime 和 bucket 中繼資料中的 softDeletePolicy 等欄位。您可以使用這些欄位執行下列操作:

  • 追蹤即將到期的保留物件。
  • 找出已啟用虛刪除功能的 bucket,並監控其保留時間長度。
  • 檢查 softDeleteTime,找出處於虛刪除狀態的物件。

加快疑難排解速度

object_events_view 檢視畫面包含錯誤資訊,可協助疑難排解。您可以使用這個檢視畫面,檢查導致錯誤的操作、找出錯誤原因,以及偵測錯誤率偏高的專案和 bucket。舉例來說,您可以找出受影響的 bucket、專案和根本原因 (例如資源配額或頻寬限制),排解 429 錯誤。

使用 BigQuery 分析物件資料和中繼資料

您可以使用 BigQuery ObjectRef 函式,分析儲存空間分析資料集中的資料。舉例來說,您可以建立查詢來協助偵測文件中的私密資訊,或是生成圖片說明。

如要分析物件內容,請使用物件中繼資料表中的 ref 資料欄和 ObjectRef 函式。詳情請參閱「使用 BigQuery 分析物件資料和中繼資料」。

儲存空間分析資料集的優點

Storage Insights 資料集會以可查詢的格式,在 BigQuery 中提供儲存空間資產的中繼資料和活動資訊。使用儲存空間分析資料集的好處如下:

  • 在可自訂的範圍內分析儲存空間資產,取得全組織的深入分析資料,或指定要分析的資料夾、專案或 bucket。

  • 資料匯入 BigQuery 後,您可以使用 SQL 和 Gemini 的自然語言查詢功能分析資料。詳情請參閱「在 Gemini 協助下分析資料」。

  • 您可以連結至 Looker 資訊主頁,以視覺化的方式呈現資料。 您可以將Storage Intelligence 資訊主頁做為範本,瞭解如何從資料集取得洞察資訊。您可以使用範本連結至資料集,或新增自訂圖表。如要瞭解如何使用範本,請參閱「 Storage Intelligence 資訊主頁連線說明」。

儲存空間分析 資料集的運作方式

如要使用儲存空間分析資料集,請先在專案中設定資料集。指定要追蹤資料的組織、資料夾或專案。建立後,請將必要權限授予服務代理,以便生成資料集。接著,您可以將資料集連結至 BigQuery 進行查詢。設定完成後,這項服務會自動收集物件中繼資料、bucket 中繼資料、作業和錯誤的每日快照,並擷取至 Cloud Storage 擁有的 BigQuery 執行個體。系統會根據設定的保留期限保留資料,並以最佳化方式儲存,盡量降低儲存和分析費用。

在資料集設定中,您可以定義要收集哪些資料、資料的儲存位置,以及資料的管理方式。

下表說明設定資料集時必須定義的重要屬性:

屬性 說明 詳細資料和限制
資料集範圍 指定包含要納入資料集的 Bucket 和物件的資源 (機構、專案或資料夾)。 您可以個別指定專案或資料夾,也可以使用 CSV 檔案。每項設定只能有一個資料集範圍。最多可以指定 10,000 項專案或資料夾。
Bucket 篩選器 篩選器:用於在資料集中納入或排除特定 bucket。您可以使用規則運算式依 bucket 名稱篩選,或依 bucket 位置篩選。
資料集保留期限 資料集擷取及保留中繼資料和活動資料的天數,包括資料集建立日期。如果是活動資料表,您可以使用「活動資料的保留期限」屬性覆寫資料保留期限。 這段保留期限是滾動週期,最長可達 90 天。資料集每 24 小時更新一次,並加入新的中繼資料。系統會自動刪除保留期限以外擷取的資料。舉例來說,假設您在 2023 年 10 月 1 日建立資料集,並將保留期限設為 30 天。10 月 30 日時,資料集會反映過去 30 天的資料 (10 月 1 日至 10 月 30 日)。10 月 31 日時,資料集會反映 10 月 2 日至 10 月 31 日的資料。您隨時可以修改保留時間範圍。根據預設,保留期限適用於中繼資料表,如果未指定活動資料的保留期限,則也適用於活動資料表。
活動資料的保留期限 資料集擷取及保留活動資料的天數。定義後,這個值會覆寫「資料集保留期限」。 保留期限最長可達 365 days。活動資料的保留期限適用於活動資料表。
位置 用於儲存連結資料集和相關資料的 BigQuery 位置。 連結的資料集必須位於 BigQuery 支援的位置,例如 us-central1,但來源 bucket 可以位於任何 Cloud Storage 位置。如果您已有 BigQuery 資料表,建議您選取 BigQuery 資料表的位置。
服務代理程式類型 決定服務代理的範圍,該代理會讀取及寫入資料集設定的資料。可以是特定設定的服務代理,也可以是特定專案的服務代理 專案範圍服務代理可存取及寫入專案中所有資料集設定的資料集。舉例來說,如果專案中有多個資料集設定,您只需將必要權限授予專案範圍服務代理一次。這樣一來,服務代理就能讀取及寫入專案中所有資料集設定的資料集。刪除資料集設定時,系統不會刪除專案範圍的服務代理程式。

設定範圍的服務代理程式只能存取及寫入特定資料集設定產生的資料集。因此,如果您有多個資料集設定,就必須為每個設定範圍的服務代理授予必要權限。刪除資料集設定時,系統會刪除特定設定的服務代理。

指定設定屬性並授予服務代理必要的權限後,請將資料集連結至 BigQuery 以進行查詢。

如要瞭解建立或更新資料集設定時可設定的屬性,請參閱 DatasetConfigs JSON API 說明文件中的資源。

設定完成後,這項服務會自動收集資料,並擷取至 Cloud Storage 擁有的 BigQuery 執行個體。資料集中的資料填入時間軸如下:

  • 新加入值區或物件的初始資料集載入和活動資料,可能需要 24 到 48 小時,才會在 BigQuery 中顯示為連結的資料集。

  • 活動資料通常會在活動發生後四小時內納入報表 (延遲時間有時可能會較長)。

  • 中繼資料快照 (適用於專案、bucket 和物件) 每 24 小時更新一次。

注意事項

設定資料集時,請考量下列事項:

  • 在啟用階層結構式命名空間的 bucket 中重新命名資料夾時,該 bucket 中的物件名稱會更新。連結的資料集擷取這些物件快照時,會將其視為新項目。

  • 如果物件是以客戶自行管理的加密金鑰 (CMEK) 加密,則 object metadata 資料表不提供 CRC32C 核對和與 MD5 雜湊。

  • Storage Insights 資料集可從任何 Cloud Storage 位置 (包括此處未列出的位置) 的來源 bucket 擷取中繼資料。不過,連結的資料集必須位於下列其中一個支援的 BigQuery 位置:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4
  • 使用儲存空間分析資料集判斷物件的公開存取狀態時,須遵守下列限制:

    • 代管資料夾中的物件不提供公開存取狀態。

    • 判斷物件的公開存取狀態時,儲存空間分析資料集不會考量 bucket 的 VPC Service Controls 或 IP 過濾設定。

後續步驟