儲存空間分析資料集資料表和結構定義

本文說明 Storage Insights 資料集中包含的資料表及其結構定義，可用於分析作業模式、監控資源用量，以及瞭解儲存空間環境中的活動。

中繼資料的資料集結構定義

以下各節說明資料集包含的中繼資料欄位。如要進一步瞭解 BigQuery 資料欄模式，請參閱「模式」。欄模式會決定 BigQuery 儲存及查詢資料的方式。

值區中繼資料

儲存空間值區中繼資料結構包含 bucket_attributes_view 和 bucket_attributes_latest_snapshot_view 資料表。值區中繼資料表包含下列欄位：

篩選這個表格：

中繼資料欄位	模式	類型	說明
snapshotTime	NULLABLE	TIMESTAMP	snapshotTime 欄位會以 RFC 3339 格式儲存 bucket 中繼資料快照的重新整理時間。
name	NULLABLE	STRING	值區名稱。
location	NULLABLE	STRING	值區的位置。值區中物件的物件資料會儲存在這個位置的實體儲存空間。
project	NULLABLE	INTEGER	值區所屬專案的專案編號。
storageClass	NULLABLE	STRING	值區的預設儲存空間級別。
public	NULLABLE	RECORD	已淘汰，這個欄位會指出值區是否可公開存取。請改用 iamConfiguration。
public.bucketPolicyOnly	NULLABLE	BOOLEAN	已淘汰，這個欄位屬於 public 記錄的一部分，表示是否已啟用統一 bucket 層級存取權，這會禁止透過物件層級 ACL 存取。
public.publicAccessPrevention	NULLABLE	STRING	已淘汰，這個欄位是 public 記錄的一部分，用於指出是否禁止公開存取 bucket。
autoclass	NULLABLE	RECORD	值區的自動調整級別設定，啟用後，系統會根據物件的存取方式和時間，控管物件的儲存空間級別。
autoclass.enabled	NULLABLE	BOOLEAN	是否啟用 Autoclass。
autoclass.toggleTime	NULLABLE	TIMESTAMP	這個 bucket 最近一次啟用或停用自動調整級別功能的時間，採用 RFC 3339 格式。
versioning	NULLABLE	BOOLEAN	bucket 是否已啟用版本管理。詳情請參閱物件版本管理。
lifecycle	NULLABLE	BOOLEAN	值區是否具有生命週期設定。詳情請參閱生命週期管理。
metageneration	NULLABLE	INTEGER	這個 bucket 的中繼資料產生作業。
timeCreated	NULLABLE	TIMESTAMP	儲存空間的建立時間，採用 RFC 3339 格式。
tags	NULLABLE	RECORD	已淘汰，這個欄位包含與 bucket 相關聯的使用者定義鍵/值組合。請改用 resourceTags。
tags.lastUpdatedTime	NULLABLE	TIMESTAMP	已淘汰，這個欄位會指出上次更新 tags 的時間。
tags.tagMap	REPEATED	RECORD	已淘汰，這個欄位是 tags 記錄的一部分，包含標記鍵和值的對應。
tags.tagMap.key	NULLABLE	STRING	已淘汰，這個欄位是 tags.tagMap 記錄的一部分，代表代碼的鍵。
tags.tagMap.value	NULLABLE	STRING	已淘汰，這個欄位是 tags.tagMap 記錄的一部分，代表標記的值。
labels	REPEATED	RECORD	使用者提供的值區標籤，以鍵/值組合表示。
labels.key	NULLABLE	STRING	個別標籤項目。
labels.value	NULLABLE	STRING	標籤的值。
softDeletePolicy	NULLABLE	RECORD	bucket 的虛刪除政策，定義 bucket 中的物件在刪除後，會處於虛刪除狀態的時間長度。處於虛刪除狀態的物件無法永久刪除，且在hardDeleteTime前可還原。
softDeletePolicy.effectiveTime	NULLABLE	DATETIME	軟刪除政策生效的日期時間，採用 RFC 3339 格式。 softDeletePolicy.effectiveTime 會在 softDeletePolicy.retentionDurationSeconds 增加時更新。
softDeletePolicy.retentionDurationSeconds	NULLABLE	LONG	虛刪除物件的保留時間 (以秒為單位)，在此期間無法永久刪除物件。這個值必須大於或等於 604800 (7 天)，且小於 7776000 (90 天)。值也可以設為 0，停用虛刪除政策。
iamConfiguration	NULLABLE	RECORD	值區的 IAM 設定。
iamConfiguration.uniformBucketLevelAccess	NULLABLE	RECORD	值區的統一值區層級存取權設定。
iamConfiguration.uniformBucketLevelAccess.enabled	NULLABLE	BOOLEAN	值區是否使用統一值區層級存取權。
iamConfiguration.publicAccessPrevention	NULLABLE	STRING	值區的禁止公開存取狀態，為 "inherited" 或 "enforced"。
resourceTags	REPEATED	RECORD	bucket 的標記。詳情請參閱 Cloud Resource Manager API。
resourceTags.key	NULLABLE	STRING	resourceTags 鍵。
resourceTags.value	NULLABLE	STRING	resourceTags 值。

物件中繼資料

物件中繼資料結構定義包含 object_attributes_view 和 object_attributes_latest_snapshot_view 資料表。物件中繼資料表包含下列欄位：

篩選這個表格：

中繼資料欄位	模式	類型	說明
snapshotTime	NULLABLE	TIMESTAMP	snapshotTime 欄位會以 RFC 3339 格式儲存物件中繼資料快照的重新整理時間。
bucket	NULLABLE	STRING	包含這個物件的值區名稱。
location	NULLABLE	STRING	值區的位置。值區中物件的物件資料會儲存在這個位置的實體儲存空間。
componentCount	NULLABLE	INTEGER	僅適用於複合物件。複合物件中的非複合物件數量。componentCount 包含用於組合目前物件的任何複合物件所含的非複合物件。
contentDisposition	NULLABLE	STRING	物件資料的內容處理。
contentEncoding	NULLABLE	STRING	物件資料的內容編碼。
contentLanguage	NULLABLE	STRING	物件資料的內容語言。
contentType	NULLABLE	STRING	物件資料的內容類型。
crc32c	NULLABLE	INTEGER	CRC32c 檢查碼，如 RFC 4960 附錄 B 所述；採用大端序的位元組順序，並使用 base64 編碼。
customTime	NULLABLE	TIMESTAMP	使用者指定物件的時間戳記，格式為 RFC 3339。
etag	NULLABLE	STRING	物件的 HTTP 1.1 實體標記。
eventBasedHold	NULLABLE	BOOLEAN	物件是否受到依據事件的訴訟保留。
generation	NULLABLE	INTEGER	這個物件的內容生成。
md5Hash	NULLABLE	STRING	資料的 MD5 雜湊，使用 base64 編碼。這個欄位不適用於複合物件。
mediaLink	NULLABLE	STRING	下載物件資料的網址。
metadata	REPEATED	RECORD	使用者提供的中繼資料，以鍵/值組合形式呈現。
metadata.key	NULLABLE	STRING	個別的中繼資料項目。
metadata.value	NULLABLE	STRING	中繼資料值。
metageneration	NULLABLE	INTEGER	這個物件在這個產生時間的中繼資料版本。
name	NULLABLE	STRING	物件名稱。
selfLink	NULLABLE	STRING	這個物件的網址。
size	NULLABLE	INTEGER	資料內容長度 (以位元組為單位)。
storageClass	NULLABLE	STRING	物件的儲存空間級別。
temporaryHold	NULLABLE	BOOLEAN	物件是否受到暫時性保留。
timeCreated	NULLABLE	TIMESTAMP	物件的建立時間，採用 RFC 3339 格式。
timeDeleted	NULLABLE	TIMESTAMP	物件的刪除時間，採用 RFC 3339 格式。
updated	NULLABLE	TIMESTAMP	物件中繼資料的修改時間，採用 RFC 3339 格式。
timeStorageClassUpdated	NULLABLE	TIMESTAMP	上次變更物件儲存空間級別的時間。
retentionExpirationTime	NULLABLE	TIMESTAMP	物件最早可刪除的時間，取決於為物件設定的保留設定，以及為包含物件的值區設定的保留政策。retentionExpirationTime 的值採用 RFC 3339 格式。
softDeleteTime	NULLABLE	DATETIME	物件虛刪除的時間。僅適用於設有虛刪除政策的值區中的物件。
hardDeleteTime	NULLABLE	DATETIME	虛刪除的物件永久刪除的時間，屆時物件將無法還原。這個值是值區的 softDeleteTime 值和 softDeletePolicy.retentionDurationSeconds 值的總和。僅適用於設有虛刪除政策的值區中的物件。
project	NULLABLE	INTEGER	值區所屬專案的專案編號。

最新的值區和物件中繼資料快照

連結的資料集會透過下列專屬檢視畫面，公開值區和物件中繼資料的最新快照：

• bucket_attributes_latest_snapshot_view 資料表提供 Cloud Storage 值區的最新中繼資料。結構與儲存空間中繼資料結構定義相符。

• object_attributes_latest_snapshot_view 表格會提供 Cloud Storage 物件的最新中繼資料。結構與物件中繼資料架構相符。

專案中繼資料

連結的資料集會將專案中繼資料公開為名為 project_attributes_view 的檢視區塊：

篩選這個表格：

中繼資料欄位	模式	類型	說明
snapshotTime	NULLABLE	TIMESTAMP	snapshotTime 欄位會以 RFC 3339 格式儲存專案中繼資料快照的重新整理時間。
name	NULLABLE	STRING	專案名稱。
id	NULLABLE	STRING	專案的專屬 ID。
number	NULLABLE	INTEGER	與專案相關聯的數值。

活動資料表的資料集結構定義

儲存空間洞察資料集提供活動資料，包括作業指標、錯誤記錄和匯總檢視畫面，並可自訂範圍，滿足各種分析需求。以下各節說明活動資料結構定義，以及可用的資料。

物件活動資料

儲存空間洞察資料集中的 object_events_view 資料表提供可查詢的記錄，包括建立、更新及刪除物件作業、中繼資料，以及這些作業期間發生的錯誤詳細資料。您可以查詢 object_events_view 檢視畫面，追蹤及排解儲存空間資產的變更。object_events_view 檢視畫面中的資料範圍為 Storage Intelligence 訂閱方案，並列出其中所有已啟用物件。

object_events_view 資料表包含下列欄位：

篩選這個表格：

欄位	模式	類型	說明
requestCompletionTimestamp	NULLABLE	TIMESTAMP	要求完成的時間戳記，採用 RFC 3339 格式。
project	NULLABLE	INTEGER	擁有 Bucket 資源的專案編號。
bucketName	NULLABLE	STRING	要求中指定的值區名稱。
objectName	NULLABLE	STRING	要求中指定的物件名稱。這個欄位可以為空值。
requestOperation	NULLABLE	STRING	執行的 Cloud Storage 作業。這個欄位僅限寫入、更新和刪除作業，且可為空值。
requestBytes	NULLABLE	INTEGER	要求中傳送的位元組數。
responseBytes	NULLABLE	INTEGER	回應中傳送的位元組數。
requestProcessingTimeMicros	NULLABLE	INTEGER	伺服器處理要求所花費的時間 (以微秒為單位)。 這段時間的計算方式是從接收到第一個位元組開始，到傳送回應為止。如果是支援續傳的上傳作業，則作業中最後一個上傳要求收到回應時才算結束點。
requestId	NULLABLE	STRING	要求的 ID。
requestHost	NULLABLE	STRING	原始要求中指定的主機。
requestHttpMethod	NULLABLE	STRING	用於這項要求的 HTTP 方法。
responseStatus	NULLABLE	INTEGER	伺服器回應中傳送的 HTTP 狀態碼。
requestReferrer	NULLABLE	STRING	要求的 HTTP 參照網址。
size	NULLABLE	INTEGER	物件大小 (以位元組為單位)。
generation	NULLABLE	INTEGER	物件的內容生成，用於物件版本管理。
timeCreated	NULLABLE	TIMESTAMP	物件的建立時間，採用 RFC 3339 格式。
storageClass	NULLABLE	STRING	物件的儲存空間類別。
errorReason	NULLABLE	STRING	錯誤原因 (僅限 429 錯誤)。
location	NULLABLE	STRING	物件的位置。

專案活動檢視畫面

project_activity_view 表格會提供專案的匯總作業洞察資料。表格會統計作業類型、傳輸的位元組數，以及回應代碼和錯誤，並彙整活動總數。您可以運用專案活動洞察資料進行監控、追蹤及內部成本歸因。檢視畫面中的資料取決於 Storage Intelligence 訂閱範圍。這個檢視畫面只會顯示訂閱方案中已啟用儲存空間和物件的匯總資料。舉例來說，如果您只為十個特定 bucket 啟用 Storage Intelligence，檢視畫面就只會顯示這十個 bucket 的資料。反之，如果您在較高層級 (機構、資料夾或專案) 啟用 Storage Intelligence，系統會自動納入該範圍內的所有值區和物件，並在檢視畫面中顯示這些項目的匯總資料。

project_activity_view 資料表包含下列欄位：

篩選這個表格：

欄位	模式	類型	說明
snapshotStartTime	NULLABLE	TIMESTAMP	快照的開始時間，採用 RFC 3339 格式。
snapshotEndTime	NULLABLE	TIMESTAMP	快照的結束時間，採用 RFC 3339 格式。
project	NULLABLE	INTEGER	專案編號。
totalRequests	NULLABLE	INTEGER	專案提出的要求總數。
totalReads	NULLABLE	INTEGER	讀取作業總數。
totalWrites	NULLABLE	INTEGER	寫入作業的總數。
totalUpdates	NULLABLE	INTEGER	更新作業總數。
totalDeletes	NULLABLE	INTEGER	刪除作業總數。
totalLists	NULLABLE	INTEGER	列出作業的總數。
totalRequestBytes	NULLABLE	INTEGER	傳輸的要求位元組總數。
totalResponseBytes	NULLABLE	INTEGER	傳輸的回應位元組總數。
count4xx	NULLABLE	INTEGER	4xx 錯誤總數。
count5xx	NULLABLE	INTEGER	5xx 錯誤總數。
count2xx	NULLABLE	INTEGER	2xx 成功回應的總數。
count400	NULLABLE	INTEGER	不良要求的 400 錯誤總數。
count401	NULLABLE	INTEGER	未經授權要求導致的 401 錯誤總數。
count403	NULLABLE	INTEGER	遭拒要求的 403 錯誤總數。
count429	NULLABLE	INTEGER	因超出用量限制而導致的要求，其 429 錯誤總數。

bucket 活動檢視畫面

bucket_activity_view 表格會提供 bucket 的匯總作業洞察資料。這份表格會匯總各項活動，包括作業類型、傳輸的位元組數、回應代碼、錯誤，以及前幾項前置字元的詳細資料。您可以運用 bucket 活動洞察資料，在 bucket 層級進行監控、疑難排解、計量，以及分析最活躍和最不活躍的 bucket。bucket_activity_view 表格中的資料範圍僅限於您的 Storage Intelligence 訂閱項目，並包含所有已啟用儲存空間的記錄。

bucket_activity_view 資料表包含下列欄位：

篩選這個表格：

欄位	模式	類型	說明
snapshotStartTime	NULLABLE	TIMESTAMP	快照的開始時間，採用 RFC 3339 格式。
snapshotEndTime	NULLABLE	TIMESTAMP	快照的結束時間，採用 RFC 3339 格式。
name	NULLABLE	STRING	值區名稱。
generation	NULLABLE	INTEGER	值區的產生編號。
project	NULLABLE	INTEGER	專案編號。
location	NULLABLE	STRING	bucket 的位置。
totalRequests	NULLABLE	INTEGER	對值區提出的要求總數。
totalReads	NULLABLE	INTEGER	讀取作業總數。
totalWrites	NULLABLE	INTEGER	寫入作業的總數。
totalUpdates	NULLABLE	INTEGER	更新作業總數。
totalDeletes	NULLABLE	INTEGER	刪除作業總數。
totalLists	NULLABLE	INTEGER	列出作業的總數。
totalRequestBytes	NULLABLE	INTEGER	傳輸的要求位元組總數。
totalResponseBytes	NULLABLE	INTEGER	傳輸的回應位元組總數。
count4xx	NULLABLE	INTEGER	4xx 錯誤總數。
count5xx	NULLABLE	INTEGER	5xx 錯誤總數。
count2xx	NULLABLE	INTEGER	2xx 成功回應的總數。
count400	NULLABLE	INTEGER	不良要求的 400 錯誤總數。
count401	NULLABLE	INTEGER	未經授權要求導致的 401 錯誤總數。
count403	NULLABLE	INTEGER	遭拒要求的 403 錯誤總數。
count429	NULLABLE	INTEGER	因超出用量限制而導致的要求，其 429 錯誤總數。
topPrefixes429Errors	REPEATED	RECORD	發生最多 429 錯誤的前 5 個 bucket 前置碼，以 RECORD 形式傳回，其中包含前置碼 (STRING) 和錯誤計數 (INTEGER)。
topPrefixesRequestBytes	REPEATED	RECORD	要求位元組數最多的前 5 個 bucket 前置字元，以 RECORD 形式傳回，其中包含前置字元 (STRING) 和計數 (INTEGER)。
topPrefixesResponseBytes	REPEATED	RECORD	回應位元組數最多的前 5 個 bucket 前置字元，以 RECORD 形式傳回，其中包含前置字元 (STRING) 和計數 (INTEGER)。
topPrefixesHighestOperations	REPEATED	RECORD	作業數量最多的前 5 個 bucket 前置字元，以 RECORD 形式傳回，其中包含前置字元 (STRING) 和計數 (INTEGER)。

bucket 區域活動檢視畫面

bucket_region_activity_view 表格會依目的地區域匯總，並列出 bucket 傳送及接收的總位元組數。使用 bucket 活動區域資料找出最活躍的區域，協助您判斷最佳 bucket 位置、分析區域輸出，並視需要考慮遷移 bucket，以提升效能、降低成本或提高復原能力。bucket_region_activity_view 表格中的資料範圍僅限於您的 Storage Intelligence 訂閱項目，並包含所有已啟用儲存空間的記錄。

篩選這個表格：

欄位	模式	類型	說明
snapshotStartTime	NULLABLE	TIMESTAMP	快照的開始時間，採用 RFC 3339 格式。
snapshotEndTime	NULLABLE	TIMESTAMP	快照的結束時間，採用 RFC 3339 格式。
project	NULLABLE	INTEGER	水桶的專案編號。
name	NULLABLE	STRING	值區名稱。
generation	NULLABLE	INTEGER	值區的產生編號。
requestLocation	NULLABLE	STRING	要求來源位置。 Google Cloud
bucketLocation	NULLABLE	STRING	bucket 的位置。
requestBytes	NULLABLE	INTEGER	在指定水桶和位置之間，要求傳輸的位元組總數。
responseBytes	NULLABLE	INTEGER	在指定值區和位置之間，回應傳輸的位元組總數。

事件和錯誤的資料集結構定義

在連結的資料集中，您也可以在 events_view 和 error_attributes_view 檢視畫面中，查看快照處理事件和錯誤。如要排解快照處理錯誤，請參閱「排解資料集錯誤」。

事件記錄

您可以在連結資料集的 events_view 檢視畫面中查看事件記錄：

篩選這個表格：

中繼資料欄位	模式	類型	說明
manifest.snapshotTime	NULLABLE	TIMESTAMP	事件快照的重新整理時間，採用 RFC 3339 格式。
manifest.viewName	NULLABLE	STRING	要重新整理的檢視區塊名稱。
manifest.location	NULLABLE	STRING	要重新整理的資料來源位置。
globalManifest.snapshotTime	NULLABLE	TIMESTAMP	所有來源位置的 Bucket 和物件屬性資料表，其擷取完成時間採用 RFC 3339 格式。
eventTime	NULLABLE	TIMESTAMP	事件發生的時間。
eventCode	NULLABLE	STRING	與對應項目相關聯的事件代碼。eventCode 值如下： eventCode 1 表示系統已重新整理 manifest.viewName 檢視畫面，顯示快照 (manifest.snapshotTime) 中來源位置 (manifest.location) 的所有項目。 eventCode 2 表示資料集已重新整理，並包含所有來源位置的 bucket 和物件項目。重新整理作業會在快照 (globalManifest.snapshotTime) 內進行。 eventCode 3 是指活動資料檢視畫面會重新整理，顯示記錄視窗中來源位置 (manifest.location) 的所有項目。

錯誤代碼

您可以在連結資料集的 error_attributes_view 表格中查看錯誤代碼：

篩選這個表格：

中繼資料欄位	模式	類型	說明
errorCode	NULLABLE	INTEGER	與這個項目相關的錯誤代碼。如需有效值清單和解決這類錯誤的方法，請參閱「排解資料集錯誤」。
errorSource	NULLABLE	STRING	錯誤來源。有效值：CONFIGURATION_PREPROCESSING。
errorTime	NULLABLE	TIMESTAMP	錯誤發生的時間。
sourceGcsLocation	NULLABLE	STRING	發生錯誤的來源 Cloud Storage 位置。專案不會與位置建立關聯，因此這個欄位為空值。
bucketErrorRecord.bucketName	NULLABLE	STRING	發生錯誤的值區名稱。您可以使用這項資訊偵錯 bucket 錯誤。
bucketErrorRecord.serviceAccount	NULLABLE	STRING	需要從 bucket 擷取物件的服務帳戶。您可以使用這項資訊偵錯 bucket 錯誤。
projectErrorRecord.projectNumber	NULLABLE	INTEGER	發生錯誤的專案數量。您可以利用這項資訊偵錯專案錯誤。
projectErrorRecord.organizationName	NULLABLE	STRING	專案必須歸屬的機構名稱，才能進行處理。如果值為 0，表示專案不在機構中。您可以利用這項資訊偵錯專案錯誤。

排解資料集錯誤

如要排解連結資料集中 error_attributes_view 檢視畫面記錄的快照處理錯誤，請參閱下表：

錯誤代碼	錯誤案例	錯誤訊息	疑難排解
1	來源專案不屬於該機構	來源專案 projectErrorRecord.projectNumber 不屬於機構 projectErrorRecord.organizationName。	將來源專案 projectErrorRecord.projectNumber 新增至機構 projectErrorRecord.organizationName。如要瞭解如何在機構之間遷移專案，請參閱「在機構之間遷移專案」。
2	Bucket 授權錯誤	權限遭拒，無法擷取 bucket「bucketErrorRecord.bucketName」的物件。	授予服務帳戶 bucketErrorRecord.serviceAccount Identity and Access Management (IAM) 權限，允許擷取值區 bucketErrorRecord.bucketName 的物件。詳情請參閱「授予服務代理必要權限」。
3	目的地專案不屬於該機構	目的地專案「projectErrorRecord.projectNumber」不在機構「projectErrorRecord.organizationName」中。	將目的地專案 projectErrorRecord.projectNumber 新增至組織 projectErrorRecord.organizationName。如要瞭解如何在機構之間遷移專案，請參閱「在機構之間遷移專案」。
4	來源專案未設定 Storage Intelligence。	來源專案 projectErrorRecord.projectNumber 未設定 Storage Intelligence。	為來源專案設定 Storage Intelligence projectErrorRecord.projectNumber。詳情請參閱「設定及管理儲存空間智慧功能」。
5	Bucket 未設定 Storage Intelligence。	Bucket bucketErrorRecord.bucketName 未設定 Storage Intelligence。	為 bucket bucketErrorRecord.bucketName 設定 Storage Intelligence。詳情請參閱「設定及管理儲存空間智慧功能」。
6	Bucket 存取驗證錯誤	ACTIVITY_BUCKET_ACCESS_AUTHORIZATION_ERROR，適用於 bucket bucketErrorRecord.bucketName。	授予服務帳戶 bucketErrorRecord.serviceAccount Identity and Access Management (IAM) 權限，允許擷取值區 bucketErrorRecord.bucketName 的活動。詳情請參閱「授予服務代理必要權限」。

後續步驟

• 設定儲存空間洞察資料集。
• 管理儲存空間分析資料集。
• 對 BigQuery 中的資料集執行 SQL 查詢。
• 瞭解 BigQuery 資料分析。