管理儲存空間洞察資料集設定

您可以透過儲存空間分析資料集,收集 Cloud Storage bucket 和物件的中繼資料和活動記錄,然後在 BigQuery 數據分析這些資料。您可以設定資料集的資料來源、範圍和保留設定,盡可能降低儲存成本、管理資料生命週期,以及確保符合法規。

本文說明如何查看、更新及刪除資料集設定,以及如何查詢或取消連結 BigQuery 資料集。如需背景資訊,請參閱「儲存空間分析資料集」。

取得必要角色

如要取得管理資料集設定所需的權限,請要求管理員在來源專案中授予您下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備管理資料集設定所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能管理資料集設定:

  • 查看及列出資料集設定:
    • storageinsights.datasetConfigs.get
    • storageinsights.datasetConfigs.list
    • storage.buckets.getObjectInsights
  • 更新及刪除資料集設定:
    • storageinsights.datasetConfigs.update
    • storageinsights.datasetConfigs.delete
    • storage.buckets.getObjectInsights
  • 取消連結 BigQuery 資料集:storageinsights.datasetConfigs.unlinkDataset
  • 查詢 BigQuery 連結的資料集:bigquery.jobs.create or bigquery.jobs.*

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

查看及查詢連結的資料集

如要查看及查詢連結的資料集,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的 Cloud Storage「儲存空間分析」頁面。

    前往「儲存空間分析」頁面

    專案會顯示已建立的資料集設定清單。

  2. 按一下要查看的資料集設定,即可開啟 BigQuery 連結資料集。

    Google Cloud 控制台會顯示 BigQuery 連結的資料集。如要瞭解中繼資料的資料集結構定義,請參閱「中繼資料的資料集結構定義」。

  3. 查詢已連結資料集中的資料表和檢視表,就像查詢任何其他 BigQuery 資料表一樣。

如要停止將資料集設定發布至 BigQuery 資料集,請取消連結資料集。如要取消連結資料集,請完成下列步驟:

  1. 前往 Google Cloud 控制台的 Cloud Storage「儲存空間分析」頁面。

    前往「儲存空間分析」頁面

  2. 按一下資料集設定名稱,找出要取消連結的資料集。

  3. 在「BigQuery 連結的資料集」部分,點選「取消連結資料集」。

  1. 如要取消連結資料集,請執行 gcloud storage insights dataset-configs delete-link 指令:

    gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

    更改項目:

    • DATASET_CONFIG_ID:資料集設定名稱,該設定產生了您要取消連結的資料集。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    您也可以指定完整的資料集設定路徑。例如:

    gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    更改項目:

    • DESTINATION_PROJECT_ID 替換為包含資料集設定的專案 ID。如要進一步瞭解專案 ID,請參閱「建立及管理專案」。

    • DATASET_CONFIG_ID:資料集設定名稱,該設定產生了您要取消連結的資料集。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

  1. 安裝並初始化 gcloud CLI,以便為 Authorization 標頭產生存取權杖。

  2. 建立含有以下資訊的 JSON 檔案:

    {
      "name": "DATASET_NAME"
    }

    更改項目:

    將 DATASET_NAME 替換為要取消連結的資料集名稱。例如:my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2。

  3. 使用 cURL 透過 unlinkDataset DatasetConfig 要求呼叫 JSON API:

    curl --request POST --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
      --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json"
    

    更改項目:

    • JSON_FILE_NAME:您在上一個步驟中建立的 JSON 檔案路徑。

    • PROJECT_ID:資料集設定所屬專案的 ID。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    • 將 DATASET_CONFIG_ID 替換為資料集設定名稱,該設定會產生您要取消連結的資料集。

    • SERVICE_ACCOUNT 與服務帳戶。例如:test-service-account@test-project.iam.gserviceaccount.com。

查看資料集設定

如要查看資料集設定,請完成下列步驟:

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「儲存空間分析」頁面。

    前往「儲存空間分析」頁面

  2. 按一下要查看的資料集設定名稱。

    系統會顯示資料集設定詳細資料。

指令列

  1. 如要說明資料集設定,請執行 gcloud storage insights dataset-configs describe 指令:

    gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
      --location=LOCATION

    更改項目:

    • DATASET_CONFIG_ID:資料集設定名稱。

    • LOCATION,其中包含資料集的位置和資料集設定。

    您也可以指定完整的資料集設定路徑。例如:

    gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

    更改項目:

    • DESTINATION_PROJECT_ID 替換為包含資料集設定的專案 ID。如要進一步瞭解專案 ID,請參閱「建立及管理專案」。

    • DATASET_CONFIG_ID 替換為資料集設定名稱,該設定會產生您要查看的資料集。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

JSON API

  1. 安裝並初始化 gcloud CLI,以便為 Authorization 標頭產生存取權杖。

  2. 使用 cURL 透過 Get DatasetConfig 要求呼叫 JSON API:

    curl -X GET \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
      --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json"
    

    更改項目:

    • PROJECT_ID:資料集設定所屬專案的 ID。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    • DATASET_CONFIG_ID:資料集設定名稱。

    • SERVICE_ACCOUNT 與服務帳戶。例如:test-service-account@test-project.iam.gserviceaccount.com。

列出資料集設定

如要列出專案中的資料集設定,請完成下列步驟:

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「儲存空間分析」頁面。

    前往「儲存空間分析」頁面

    系統會顯示資料集設定清單。

指令列

  1. 如要列出專案中的資料集設定,請執行 gcloud storage insights dataset-configs list 指令:

    gcloud storage insights dataset-configs list --location=LOCATION

    更改項目:

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    您可以使用下列選用旗標,指定清單呼叫的行為:

    • 使用 --page-size 指定每頁傳回的結果數量上限。

    • 使用 --filter=FILTER 篩選結果。如要進一步瞭解如何使用 --filter 旗標,請執行 gcloud topic filters 並參閱說明文件。

    • 使用 --sort-by=SORT_BY_VALUE 指定要做為排序依據的資源欄位索引鍵名稱,並以逗號分隔的清單表示。例如:--sort-by=DATASET_CONFIG_ID。

JSON API

  1. 安裝並初始化 gcloud CLI,以便為 Authorization 標頭產生存取權杖。

  2. 使用 cURL 搭配 Get DatasetConfig 要求呼叫 JSON API:

    curl -X GET \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
      --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json"
    

    更改項目:

    • PROJECT_ID:資料集設定所屬專案的 ID。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    • SERVICE_ACCOUNT 與服務帳戶。例如:test-service-account@test-project.iam.gserviceaccount.com。

更新資料集設定

如要更新資料集設定,請完成下列步驟:

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「儲存空間分析」頁面。

    前往「儲存空間分析」頁面

  2. 按一下要更新的資料集設定名稱。

  3. 在「Dataset configuration」(資料集設定) 分頁中,按一下「Edit」(編輯) 圖示 ,更新欄位。

指令列

  1. 如要更新資料集設定,請執行 gcloud storage insights dataset-configs update 指令:

    gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
      --location=LOCATION

    更改項目:

    • DATASET_CONFIG_ID:資料集設定名稱。

    • LOCATION:資料集和資料集設定的位置。

    使用下列旗標更新資料集設定的屬性:

    • 使用 --skip-verification 略過驗證程序中的檢查和失敗,包括檢查必要的 IAM 權限。如果使用,部分或所有值區可能會從資料集中排除。

    • 使用 --retention-period-days=DAYS 指定要在資料集快照中擷取的資料天數。例如:90。

    • 使用 --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS 指定資料集中活動資料的保留期限。根據預設,活動資料會包含在資料集中,並沿用資料集的保留期限。如要覆寫資料集保留期限,請指定活動資料的保留天數。如要排除活動資料,請將 ACTIVITY_RETENTION_PERIOD_DAYS 設為 0。

    • 使用 --description=DESCRIPTION 撰寫資料集設定的說明。

    • 使用 --organization=ORGANIZATION_ID 指定來源專案的組織 ID。如未指定,預設值為來源專案的組織 ID。

JSON API

  1. 安裝並初始化 gcloud CLI,以便為 Authorization 標頭產生存取權杖。

  2. 建立 JSON 檔案,並加入下列選用資訊:

    {
      "organization_number": "ORGANIZATION_ID",
      "source_projects": {
        "project_numbers": "PROJECT_NUMBERS"
      },
      "retention_period_days": "RETENTION_PERIOD",
      "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
    }

    更改項目:

    • ORGANIZATION_ID:來源專案所屬組織的資源 ID。如未指定,預設值為來源專案的組織 ID。

    • PROJECT_NUMBERS 替換為要納入資料集的專案編號。您可以清單格式指定一或多個專案。

    • RETENTION_PERIOD:資料集快照中要擷取的資料天數。例如:90。

    • ACTIVITY_DATA_RETENTION_PERIOD_DAYS 替換為資料集快照中要擷取的活動資料天數。根據預設,活動資料會包含在資料集中,並沿用資料集的保留期限。如要覆寫資料集保留期限,請指定活動資料的保留天數。如要排除活動資料,請將 ACTIVITY_RETENTION_PERIOD_DAYS 設為 0。

  3. 如要更新資料集設定,請使用 cURL 呼叫 JSON API,並傳送 Patch DatasetConfig 要求:

    curl -X PATCH --data-binary @JSON_FILE_NAME \
    "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
      --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
      --header "Accept: application/json" \
      --header "Content-Type: application/json"
    

    更改項目:

    • JSON_FILE_NAME:您在上一個步驟中建立的 JSON 檔案路徑。

    • PROJECT_ID:資料集設定所屬專案的 ID。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    • DATASET_CONFIG_ID:要更新的資料集設定名稱。

    • UPDATE_MASK 是這項要求更新的欄位名稱清單,以半形逗號分隔。這些欄位採用 fieldMask 格式,且屬於 DatasetConfig 資源。

    • SERVICE_ACCOUNT 與服務帳戶。例如:test-service-account@test-project.iam.gserviceaccount.com。

刪除資料集設定

如要刪除資料集設定,請完成下列步驟:

控制台

  1. 前往 Google Cloud 控制台的 Cloud Storage「儲存空間分析」頁面。

    前往「儲存空間分析」頁面

  2. 按一下要刪除的資料集設定名稱。

  3. 按一下「刪除」圖示 。

指令列

  1. 如要刪除資料集設定,請執行 gcloud storage insights dataset-configs delete 指令:

    gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
      --location=LOCATION

    更改項目:

    • 將 DATASET_CONFIG_ID 替換為要刪除的資料集設定名稱。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    使用下列旗標刪除資料集設定:

    • 使用 --auto-delete-link 取消連結從要刪除的資料集設定產生的資料集。您必須先取消連結資料集,才能刪除產生資料集的資料集設定。

    您也可以指定完整的資料集設定路徑。例如:

    gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

JSON API

  1. 安裝並初始化 gcloud CLI,以便為 Authorization 標頭產生存取權杖。

  2. 使用 cURL 透過 Delete DatasetConfig 要求呼叫 JSON API:

    curl -X DELETE \
      "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
      --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
        --header "Accept: application/json" \
        --header "Content-Type: application/json"
    

    更改項目:

    • PROJECT_ID:資料集設定所屬專案的 ID。

    • LOCATION:資料集和資料集設定的位置。例如:us-central1。

    • 將 DATASET_CONFIG_ID 替換為要刪除的資料集設定名稱。

    • SERVICE_ACCOUNT 與服務帳戶。例如:test-service-account@test-project.iam.gserviceaccount.com。

後續步驟