管理儲存空間洞察資料集設定

本頁說明如何管理儲存空間分析資料集設定，控管資料來源、範圍和保留時間。您將瞭解如何查看、列出、更新及刪除設定，以及如何查看、查詢及取消連結已連結的資料集。

取得必要角色

如要取得管理資料集設定所需的權限，請要求管理員在來源專案中授予下列 IAM 角色：

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備管理資料集設定所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要管理資料集設定，必須具備下列權限：

  • 查看及列出資料集設定：
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • 更新及刪除資料集設定：
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • 取消連結 BigQuery 資料集： storageinsights.datasetConfigs.unlinkDataset
  • 查詢 BigQuery 連結的資料集： bigquery.jobs.create or bigquery.jobs.*

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

查看及查詢連結的資料集

如要查看及查詢已連結的資料集，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的 Cloud Storage「Storage Insights」頁面。

    前往「儲存空間分析」

    專案會顯示已建立的資料集設定清單。

  2. 按一下要查看的資料集設定所連結的 BigQuery 資料集。

    Google Cloud 主控台會顯示 BigQuery 連結的資料集。 如要瞭解中繼資料的資料集結構定義，請參閱「中繼資料的資料集結構定義」。

  3. 您可以查詢任何其他 BigQuery 資料表，方法與查詢連結資料集中的資料表和檢視畫面相同。

如要停止將資料集設定發布至 BigQuery 資料集，請取消連結資料集。如要取消連結資料集，請完成下列步驟：

  1. 前往 Google Cloud 控制台的 Cloud Storage「Storage Insights」頁面。

    前往「儲存空間分析」

  2. 按一下產生要取消連結資料集的資料集設定名稱。

  3. 在「BigQuery 連結的資料集」部分，按一下「取消連結資料集」。

  1. 如要取消連結資料集，請執行 gcloud storage insights dataset-configs delete-link 指令：

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    取代：

    • DATASET_CONFIG_ID，並將其替換為產生要取消連結資料集的資料集設定名稱。

    • LOCATION，並將 location 替換為資料集和資料集設定的位置。例如：us-central1。

    您也可以指定完整的資料集設定路徑。例如：

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    取代：

    • DESTINATION_PROJECT_ID，並將其替換為包含資料集設定的專案 ID。如要進一步瞭解專案 ID，請參閱「建立及管理專案」。

    • DATASET_CONFIG_ID，並將其替換為產生要取消連結資料集的資料集設定名稱。

    • LOCATION，並將 location 替換為資料集和資料集設定的位置。例如：us-central1。

  1. 安裝並初始化gcloud CLI，以便為 Authorization 標頭產生存取權杖。

  2. 建立包含下列資訊的 JSON 檔案：

    {
  "name": "DATASET_NAME"
}

    取代：

    將 DATASET_NAME 替換為要取消連結的資料集名稱。例如：my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2。

  3. 使用 cURL 透過 unlinkDataset DatasetConfig 要求呼叫 JSON API：

    curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    取代：

    • 將 JSON_FILE_NAME 改成您在上一個步驟中建立的 JSON 檔案路徑。

    • PROJECT_ID，並將其替換為資料集設定所屬的專案 ID。

    • LOCATION，並提供資料集和資料集設定的位置。例如：us-central1。

    • DATASET_CONFIG_ID，並將其替換為產生要取消連結資料集的資料集設定名稱。

    • SERVICE_ACCOUNT 與服務帳戶。例如：test-service-account@test-project.iam.gserviceaccount.com。

查看資料集設定

如要查看資料集設定，請完成下列步驟：

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「Storage Insights」頁面。

    前往「儲存空間分析」

  2. 按一下要查看的資料集設定名稱。

    畫面會顯示資料集設定詳細資料。

指令列

  1. 如要說明資料集設定，請執行 gcloud storage insights dataset-configs describe 指令：

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION

    取代：

    • DATASET_CONFIG_ID 換成資料集設定的名稱。

    • LOCATION，並提供資料集位置和資料集設定。

    您也可以指定完整的資料集設定路徑。例如：

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    取代：

    • DESTINATION_PROJECT_ID，並將其替換為包含資料集設定的專案 ID。如要進一步瞭解專案 ID，請參閱「建立及管理專案」。

    • DATASET_CONFIG_ID，其中包含產生您要查看的資料集之資料集設定名稱。

    • 將 LOCATION 替換為資料集和資料集設定的位置。例如：us-central1。

JSON API

  1. 安裝並初始化gcloud CLI，以便為 Authorization 標頭產生存取權杖。

  2. 使用 cURL 透過 Get DatasetConfig 要求呼叫 JSON API：

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    取代：

    • PROJECT_ID，並將其替換為資料集設定所屬的專案 ID。

    • LOCATION，並提供資料集和資料集設定的位置。例如：us-central1。

    • DATASET_CONFIG_ID 換成資料集設定的名稱。

    • SERVICE_ACCOUNT 與服務帳戶。例如：test-service-account@test-project.。

列出資料集設定

如要列出專案中的資料集設定，請完成下列步驟：

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「Storage Insights」頁面。

    前往「儲存空間分析」

    系統會顯示資料集設定清單。

指令列

  1. 如要列出專案中的資料集設定，請執行 gcloud storage insights dataset-configs list 指令：

    gcloud storage insights dataset-configs list --location=LOCATION

    取代：

    • LOCATION，並提供資料集和資料集設定的位置。例如：us-central1。

    您可以使用下列選用旗標指定清單呼叫的行為：

    • 使用 --page-size 指定每頁傳回的結果數上限。

    • 使用 --filter=FILTER 篩選結果。如要進一步瞭解如何使用 --filter 標記，請執行 gcloud topic filters 並參閱說明文件。

    • 使用 --sort-by=SORT_BY_VALUE 指定以半形逗號分隔的資源欄位索引鍵名稱清單，做為排序依據。例如：--sort-by=DATASET_CONFIG_ID。

JSON API

  1. 安裝並初始化gcloud CLI，以便為 Authorization 標頭產生存取權杖。

  2. 使用 cURL 透過 Get DatasetConfig 要求呼叫 JSON API：

    curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    取代：

    • PROJECT_ID，並將其替換為資料集設定所屬的專案 ID。

    • LOCATION，並提供資料集和資料集設定的位置。例如：us-central1。

    • SERVICE_ACCOUNT 與服務帳戶建立關聯。例如：test-service-account@test-project.iam.gserviceaccount.com。

更新資料集設定

如要更新資料集設定，請完成下列步驟：

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「Storage Insights」頁面。

    前往「儲存空間分析」

  2. 按一下要更新的資料集設定名稱。

  3. 在「資料集設定」分頁中，按一下「編輯」 更新欄位。

指令列

  1. 如要更新資料集設定，請執行 gcloud storage insights dataset-configs update 指令：

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION

    取代：

    • DATASET_CONFIG_ID 換成資料集設定的名稱。

    • LOCATION，並提供資料集位置和資料集設定。

    使用下列標記更新資料集設定的屬性：

    • 使用 --skip-verification 略過驗證程序中的檢查和失敗情形，包括檢查必要的 IAM 權限。如果使用，資料集可能會排除部分或所有值區。

    • 使用 --retention-period-days=DAYS 指定要在資料集快照中擷取的資料天數。例如：90。

    • 使用 --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS 指定資料集中活動資料的保留期限。活動資料預設會納入資料集，並沿用資料集的保留期限。如要覆寫資料集保留期限，請指定活動資料的保留天數。如要排除活動資料，請將 ACTIVITY_RETENTION_PERIOD_DAYS 設為 0。

    • 使用 --description=DESCRIPTION 為資料集設定撰寫說明。

    • 使用 --organization=ORGANIZATION_ID 指定來源專案的機構 ID。如未指定，預設值為來源專案的機構 ID。

JSON API

  1. 安裝並初始化gcloud CLI，以便為 Authorization 標頭產生存取權杖。

  2. 建立包含下列選用資訊的 JSON 檔案：

    {
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}

    取代：

    • 將 ORGANIZATION_ID 替換為來源專案所屬 機構的資源 ID。如未指定，預設值為來源專案的機構 ID。

    • PROJECT_NUMBERS，其中包含要納入資料集的專案編號。您可以採用清單格式指定一或多個專案。

    • RETENTION_PERIOD，表示資料集中要擷取的資料天數。例如：90。

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS，其中 activity data 是要擷取到資料集快照中的活動資料天數。根據預設，活動資料會納入資料集，並沿用資料集的保留期限。如要覆寫資料集保留期限，請指定活動資料的保留天數。如要排除活動資料，請將 ACTIVITY_RETENTION_PERIOD_DAYS 設為 0。

  3. 如要更新資料集設定，請使用 cURL 透過 Patch DatasetConfig 要求呼叫 JSON API：

    curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"

    取代：

    • 將 JSON_FILE_NAME 改成您在上一個步驟中建立的 JSON 檔案路徑。

    • PROJECT_ID，並將其替換為資料集設定所屬的專案 ID。

    • LOCATION，並提供資料集和資料集設定的位置。例如：us-central1。

    • 將 DATASET_CONFIG_ID 替換為要更新的資料集設定名稱。

    • UPDATE_MASK 是以半形逗號分隔的欄位名稱清單，代表這項要求更新的欄位。這些欄位採用 fieldMask 格式，且屬於 DatasetConfig 資源。

    • SERVICE_ACCOUNT 與服務帳戶。例如：test-service-account@test-project.iam.gserviceaccount.com。

刪除資料集設定

如要刪除資料集設定，請完成下列步驟：

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「Storage Insights」頁面。

    前往「儲存空間分析」

  2. 按一下要刪除的資料集設定名稱。

  3. 按一下「刪除」圖示 。

指令列

  1. 如要刪除資料集設定，請執行 gcloud storage insights dataset-configs delete 指令：

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION

    取代：

    • 將 DATASET_CONFIG_ID 替換為要刪除的資料集設定名稱。

    • LOCATION，並提供資料集和資料集設定的位置。例如：us-central1。

    使用下列旗標刪除資料集設定：

    • 使用 --auto-delete-link 取消連結要刪除的資料集設定所產生的資料集。您必須先取消連結資料集，才能刪除產生該資料集的資料集設定。

    您也可以指定完整的資料集設定路徑。例如：

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

JSON API

  1. 安裝並初始化gcloud CLI，以便為 Authorization 標頭產生存取權杖。

  2. 使用 cURL 透過 Delete DatasetConfig 要求呼叫 JSON API：

    curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"

    取代：

    • PROJECT_ID，並將其替換為資料集設定所屬的專案 ID。

    • LOCATION，並提供資料集和資料集設定的位置。例如：us-central1。

    • 將 DATASET_CONFIG_ID 替換為要刪除的資料集設定名稱。

    • SERVICE_ACCOUNT 與服務帳戶建立關聯。例如：test-service-account@test-project.iam.gserviceaccount.com。

後續步驟