Storage Insights データセット構成を管理する

このページでは、Storage Insights のデータセット構成を管理して、データのソース、スコープ、保持を制御する方法について説明します。構成の表示、一覧表示、更新、削除の方法と、リンクされたデータセットの表示、クエリ、リンク解除の方法について説明します。

必要なロールを取得する

データセット構成の管理に必要な権限を取得するには、ソースプロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

データセット構成の一覧表示、更新、削除、表示を行う: Storage Insights 管理者（roles/storageinsights.admin）
データセットを表示してリンクを解除する:
- Storage Insights アナリスト（roles/storageinsights.analyst）
- BigQuery 管理者（roles/bigquery.admin）
リンクされたデータセットを削除する: BigQuery 管理者（roles/bigquery.admin）
BigQuery でデータセットを表示してクエリを実行する:
- Storage Insights 閲覧者（roles/storageinsights.viewer）
- BigQuery ジョブユーザー（roles/bigquery.jobUser）
- BigQuery データ閲覧者（roles/bigquery.dataViewer）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、データセット構成の管理に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

データセット構成を管理するには、次の権限が必要です。

データセットの構成を表示して一覧表示する:
- storageinsights.datasetConfigs.get
- storageinsights.datasetConfigs.list
- storage.buckets.getObjectInsights
データセット構成を更新して削除する:
- storageinsights.datasetConfigs.update
- storageinsights.datasetConfigs.delete
- storage.buckets.getObjectInsights
BigQuery データセットへのリンクを解除する: storageinsights.datasetConfigs.unlinkDataset
BigQuery のリンクされたデータセットに対してクエリを実行する: bigquery.jobs.create or bigquery.jobs.*

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

リンクされたデータセットを表示してクエリする

リンクされたデータセットを表示してクエリを実行する手順は次のとおりです。

Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。
Storage Insights に移動

プロジェクトに、作成されたデータセット構成のリストが表示されます。
表示するデータセット構成で BigQuery とリンクされたデータセットをクリックします。

Google Cloud コンソールに BigQuery とリンクされたデータセットが表示されます。メタデータのデータセットスキーマについては、メタデータのデータセットスキーマをご覧ください。
他の BigQuery テーブルに対してクエリを実行するのと同じ方法で、リンクされたデータセット内のテーブルとビューに対してクエリを実行できます。

データセットのリンクを解除する

データセットの構成が BigQuery データセットに公開されないようにするには、データセットのリンクを解除します。データセットのリンクを解除するには、次の操作を行います。

コンソール

Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。
Storage Insights に移動
リンクを解除するデータセットを生成したデータセット構成の名前をクリックします。
[BigQuery とリンクされたデータセット] セクションで、[データセットのリンクを解除] をクリックします。

コマンドライン

データセットのリンクを解除するには、gcloud storage insights dataset-configs delete-link コマンドを実行します。
```
gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION
```
次のように置き換えます。
- DATASET_CONFIG_ID は、リンクを解除するデータセットを生成したデータセット構成の名前に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションに置き換えます。例: us-central1
データセット構成の完全なパスを指定することもできます。次に例を示します。
```
gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
```
次のように置き換えます。
- DESTINATION_PROJECT_ID は、データセット構成を含むプロジェクトの ID に置き換えます。プロジェクト ID の詳細については、プロジェクトの作成と管理をご覧ください。
- DATASET_CONFIG_ID は、リンクを解除するデータセットを生成したデータセット構成の名前に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションに置き換えます。例: us-central1

JSON API

gcloud CLI をインストールして初期化します。これにより、Authorization ヘッダーのアクセストークンを生成できます。

次の情報が含まれる JSON ファイルを作成します。

{
  "name": "DATASET_NAME"
}

次のように置き換えます。

DATASET_NAME は、リンクを解除するデータセットの名前に置き換えます。例: my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2。

cURL を使用して unlinkDataset DatasetConfig リクエストで JSON API を呼び出します。
```
curl --request POST --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"
```
次のように置き換えます。
- JSON_FILE_NAME は、前の手順で作成した JSON ファイルのパスに置き換えます。
- PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。例: us-central1。
- DATASET_CONFIG_ID は、リンクを解除するデータセットを生成したデータセット構成の名前に置き換えます。
- SERVICE_ACCOUNT: サービスアカウント。例: test-service-account@test-project.iam.gserviceaccount.com

データセット構成を表示する

データセット構成を表示するには、次の操作を行います。

コンソール

Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。
Storage Insights に移動
表示するデータセット構成の名前をクリックします。

データセット構成の詳細が表示されます。

コマンドライン

データセット構成を説明するには、gcloud storage insights dataset-configs describe コマンドを実行します。
```
gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
  --location=LOCATION
```
次のように置き換えます。
- DATASET_CONFIG_ID は、データセット構成の名前に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。
データセット構成の完全なパスを指定することもできます。次に例を示します。
```
gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
```
次のように置き換えます。
- DESTINATION_PROJECT_ID は、データセット構成を含むプロジェクトの ID に置き換えます。プロジェクト ID の詳細については、プロジェクトの作成と管理をご覧ください。
- DATASET_CONFIG_ID は、表示するデータセットを生成したデータセット構成の名前に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションに置き換えます。例: us-central1

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して Get DatasetConfig リクエストで JSON API を呼び出します。
```
curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"
```
次のように置き換えます。
- PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。例: us-central1。
- DATASET_CONFIG_ID は、データセット構成の名前に置き換えます。
- SERVICE_ACCOUNT: サービスアカウント。例: test-service-account@test-project.

データセットの構成を一覧取得する

プロジェクト内のデータセット構成を一覧表示するには、次の操作を行います。

コンソール

Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。
Storage Insights に移動

データセット構成のリストが表示されます。

コマンドライン

プロジェクト内のデータセット構成を一覧表示するには、gcloud storage insights dataset-configs list コマンドを実行します。
```
gcloud storage insights dataset-configs list --location=LOCATION
```
次のように置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。例: us-central1。
次のオプションのフラグを使用して、リスト呼び出しの動作を指定できます。
- --page-size を使用して、ページごとに返す結果の最大数を指定します。
- --filter=FILTER を使用して結果をフィルタします。--filter フラグの使用方法の詳細については、gcloud topic filters を実行してドキュメントをご覧ください。
- --sort-by=SORT_BY_VALUE を使用して、並べ替えるリソースフィールドキー名のカンマ区切りのリストを指定します。例: --sort-by=DATASET_CONFIG_ID

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して、Get DatasetConfig リクエストで JSON API を呼び出します。
```
curl -X GET \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"
```
次のように置き換えます。
- PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。例: us-central1
- SERVICE_ACCOUNT: サービスアカウント。例: test-service-account@test-project.iam.gserviceaccount.com

データセット構成を更新する

データセットの構成を更新する手順は次のとおりです。

コンソール

Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。
Storage Insights に移動
更新するデータセット構成の名前をクリックします。
[データセットの構成] タブで、[編集] をクリックしてフィールドを更新します。

コマンドライン

データセット構成を更新するには、gcloud storage insights dataset-configs update コマンドを実行します。
```
gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
  --location=LOCATION
```
次のように置き換えます。
- DATASET_CONFIG_ID は、データセット構成の名前に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。
次のフラグを使用して、データセット構成のプロパティを更新します。
- --skip-verification を使用して、検証プロセスからチェックとエラーをスキップします。これには、必要な IAM 権限のチェックが含まれます。使用すると、一部またはすべてのバケットがデータセットから除外される可能性があります。
- --retention-period-days=DAYS を使用して、データセットスナップショットでキャプチャするデータの移動日数を指定します。例: 90
- --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS を使用して、データセット内のアクティビティデータの保持期間を指定します。デフォルトでは、アクティビティデータはデータセットに含まれ、データセットの保持期間を継承します。データセットの保持期間をオーバーライドするには、アクティビティデータを保持する日数を指定します。アクティビティデータを除外するには、ACTIVITY_RETENTION_PERIOD_DAYS を 0 に設定します。
- --description=DESCRIPTION を使用して、データセット構成の説明を記述します。
- --organization=ORGANIZATION_ID を使用して、ソースプロジェクトの組織 ID を指定します。指定しない場合、デフォルトでソースプロジェクトの組織 ID になります。

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

次のオプション情報を含む JSON ファイルを作成します。
```
{
  "organization_number": "ORGANIZATION_ID",
  "source_projects": {
    "project_numbers": "PROJECT_NUMBERS"
  },
  "retention_period_days": "RETENTION_PERIOD",
  "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
}
```
次のように置き換えます。
- ORGANIZATION_ID は、ソースプロジェクトが属する組織のリソース ID に置き換えます。指定しない場合、デフォルトでソースプロジェクトの組織 ID になります。
- PROJECT_NUMBERS は、データセットに含めるプロジェクト数に置き換えます。1 つ以上のプロジェクトをリスト形式で指定できます。
- RETENTION_PERIOD は、データセットスナップショットでキャプチャするデータの移動日数に置き換えます。例: 90
- ACTIVITY_DATA_RETENTION_PERIOD_DAYS は、データセットスナップショットでキャプチャするアクティビティデータの日数に置き換えます。デフォルトでは、アクティビティデータはデータセットに含まれ、データセットの保持期間を継承します。データセットの保持期間をオーバーライドするには、アクティビティデータを保持する日数を指定します。アクティビティデータを除外するには、ACTIVITY_RETENTION_PERIOD_DAYS を 0 に設定します。
データセットの構成を更新するには、cURL を使用して、Patch DatasetConfig リクエストで JSON API を呼び出します。
```
curl -X PATCH --data-binary @JSON_FILE_NAME \
"https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
  --header "Accept: application/json" \
  --header "Content-Type: application/json"
```
次のように置き換えます。
- JSON_FILE_NAME は、前の手順で作成した JSON ファイルのパスに置き換えます。
- PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。例: us-central1。
- DATASET_CONFIG_ID は、更新するデータセット構成の名前に置き換えます。
- UPDATE_MASK は、このリクエストで更新するフィールド名のカンマ区切りのリストです。これらのフィールドは fieldMask 形式で、DatasetConfig リソースの一部です。
- SERVICE_ACCOUNT: サービスアカウント。例: test-service-account@test-project.iam.gserviceaccount.com

データセット構成を削除する

データセット構成を削除するには、次の操作を行います。

コンソール

Google Cloud コンソールで、Cloud Storage の [Storage Insights] ページに移動します。
Storage Insights に移動
削除するデータセット構成の名前をクリックします。
[削除] をクリックします。

コマンドライン

データセット構成を削除するには、gcloud storage insights dataset-configs delete コマンドを実行します。
```
gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
  --location=LOCATION
```
次のように置き換えます。
- DATASET_CONFIG_ID は、削除するデータセット構成の名前に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。例: us-central1
次のフラグを使用して、データセット構成を削除します。
- --auto-delete-link を使用して、削除するデータセット構成から生成されたデータセットのリンクを解除します。データセットを生成したデータセット構成を削除する前に、データセットのリンクを解除する必要があります。
データセット構成の完全なパスを指定することもできます。次に例を示します。
```
gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
```

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して Delete DatasetConfig リクエストで JSON API を呼び出します。
```
curl -X DELETE \
  "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
  --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
    --header "Accept: application/json" \
    --header "Content-Type: application/json"
```
次のように置き換えます。
- PROJECT_ID は、データセット構成が属するプロジェクトの ID に置き換えます。
- LOCATION は、データセットとデータセット構成のロケーションで置き換えます。例: us-central1。
- DATASET_CONFIG_ID は、削除するデータセット構成の名前に置き換えます。
- SERVICE_ACCOUNT: サービスアカウント。例: test-service-account@test-project.iam.gserviceaccount.com

Storage Insights データセット構成を管理する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

必要なロールを取得する

必要な権限

リンクされたデータセットを表示してクエリする

データセットのリンクを解除する

コンソール

コマンドライン

JSON API

データセット構成を表示する

コンソール

コマンドライン

JSON API

データセットの構成を一覧取得する

コンソール

コマンドライン

JSON API

データセット構成を更新する

コンソール

コマンドライン

JSON API

データセット構成を削除する

コンソール

コマンドライン

JSON API

次のステップ

Storage Insights データセット構成を管理する