이 페이지에서는 Storage Insights 데이터 세트 구성을 관리하여 데이터의 소스, 범위, 보관 기간을 제어하는 방법을 보여줍니다. 구성을 보고, 나열하고, 업데이트하고, 삭제하는 방법과 연결된 데이터 세트를 보고, 쿼리하고, 연결 해제하는 방법을 알아봅니다.
필요한 역할 가져오기
데이터 세트 구성을 관리하는 데 필요한 권한을 얻으려면 관리자에게 소스 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.
-
데이터 세트 구성을 나열, 업데이트, 삭제, 보기:
Storage Insights 관리자 (
roles/storageinsights.admin) -
데이터 세트를 보고 연결 해제하기:
-
Storage Insights 분석가(
roles/storageinsights.analyst) -
BigQuery 관리자(
roles/bigquery.admin)
-
Storage Insights 분석가(
- 연결된 데이터 세트를 삭제하기:
BigQuery 관리자(
roles/bigquery.admin) -
BigQuery에서 데이터 세트를 보고 쿼리하기:
-
Storage Insights 뷰어(
roles/storageinsights.viewer) -
BigQuery 작업 사용자(
roles/bigquery.jobUser) -
BigQuery 데이터 뷰어(
roles/bigquery.dataViewer)
-
Storage Insights 뷰어(
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이러한 사전 정의된 역할에는 데이터 세트 구성을 관리하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.
필수 권한
데이터 세트 구성을 관리하려면 다음 권한이 필요합니다.
-
데이터 세트 구성 보기 및 나열:
-
storageinsights.datasetConfigs.get -
storageinsights.datasetConfigs.list -
storage.buckets.getObjectInsights
-
-
데이터 세트 구성 업데이트 및 삭제:
-
storageinsights.datasetConfigs.update -
storageinsights.datasetConfigs.delete -
storage.buckets.getObjectInsights
-
-
BigQuery 데이터 세트 연결 해제:
storageinsights.datasetConfigs.unlinkDataset -
BigQuery 연결 데이터 세트 쿼리:
bigquery.jobs.create or bigquery.jobs.*
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
연결된 데이터 세트 보기 및 쿼리
연결된 데이터 세트를 보고 쿼리하려면 다음 단계를 따르세요.
- Google Cloud 콘솔에서 Cloud Storage Storage Insights 페이지로 이동합니다.
프로젝트에 생성된 데이터 세트 구성 목록이 표시됩니다.
확인하려는 데이터 세트 구성의 BigQuery 연결 데이터 세트를 클릭합니다.
Google Cloud 콘솔에 BigQuery 연결 데이터 세트가 표시됩니다. 메타데이터의 데이터 세트 스키마에 대한 자세한 내용은 메타데이터의 데이터 세트 스키마를 참조하세요.
다른 BigQuery 테이블을 쿼리할 때와 같은 방식으로 연결된 데이터 세트의 테이블과 뷰를 쿼리할 수 있습니다.
데이터 세트 연결 해제
데이터 세트 구성이 BigQuery 데이터 세트에 게시되지 않도록 하려면 데이터 세트를 연결 해제하세요. 데이터 세트의 연결을 해제하려면 다음 단계를 완료하세요.
콘솔
- Google Cloud 콘솔에서 Cloud Storage Storage Insights 페이지로 이동합니다.
연결 해제하려는 데이터 세트를 생성한 데이터 세트 구성의 이름으로 바꿉니다.
BigQuery 연결 데이터 세트 섹션에서 데이터 세트 연결 해제를 클릭합니다.
명령줄
데이터 세트의 연결을 해제하려면
gcloud storage insights dataset-configs delete-link명령어를 실행합니다.gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION
다음과 같이 바꿉니다.
DATASET_CONFIG_ID를 연결 해제하려는 데이터 세트를 생성한 데이터 세트 구성의 이름으로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다. 예를 들면us-central1입니다.
전체 데이터 세트 구성 경로를 지정할 수도 있습니다. 예를 들면 다음과 같습니다.
gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
다음과 같이 바꿉니다.
DESTINATION_PROJECT_ID를 데이터 세트 구성이 포함된 프로젝트의 ID로 바꿉니다. 프로젝트 ID에 관한 자세한 내용은 프로젝트 만들기 및 관리를 참조하세요.DATASET_CONFIG_ID를 연결 해제하려는 데이터 세트를 생성한 데이터 세트 구성의 이름으로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다. 예를 들면us-central1입니다.
JSON API
Authorization헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.다음 정보를 포함하는 JSON 파일을 만듭니다.
{ "name": "DATASET_NAME" }
다음과 같이 바꿉니다.
DATASET_NAME을 연결을 해제하려는 데이터 세트의 이름으로 바꿉니다. 예를 들면my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2입니다.cURL을 사용하여unlinkDatasetDatasetConfig 요청으로 JSON API를 호출합니다.curl --request POST --data-binary @JSON_FILE_NAME \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \ --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \ --header "Accept: application/json" \ --header "Content-Type: application/json"
다음과 같이 바꿉니다.
JSON_FILE_NAME을 이전 단계에서 만든 JSON 파일 경로로 바꿉니다.PROJECT_ID를 데이터 세트 구성이 속한 프로젝트의 ID로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다. 예를 들면us-central1입니다.DATASET_CONFIG_ID를 연결 해제하려는 데이터 세트를 생성한 데이터 세트 구성의 이름으로 바꿉니다.SERVICE_ACCOUNT을 서비스 계정으로 바꿉니다. 예를 들면test-service-account@test-project.iam.gserviceaccount.com입니다.
데이터 세트 구성 보기
데이터 세트 구성을 보려면 다음 단계를 완료하세요.
콘솔
- Google Cloud 콘솔에서 Cloud Storage Storage Insights 페이지로 이동합니다.
보려는 데이터 세트 구성의 이름을 클릭합니다.
데이터 세트 구성 세부정보가 표시됩니다.
명령줄
데이터 세트 구성을 설명하려면
gcloud storage insights dataset-configs describe명령어를 실행합니다.gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \ --location=LOCATION
다음과 같이 바꿉니다.
DATASET_CONFIG_ID를 데이터 세트 구성의 이름으로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다.
전체 데이터 세트 구성 경로를 지정할 수도 있습니다. 예를 들면 다음과 같습니다.
gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
다음과 같이 바꿉니다.
DESTINATION_PROJECT_ID를 데이터 세트 구성이 포함된 프로젝트의 ID로 바꿉니다. 프로젝트 ID에 관한 자세한 내용은 프로젝트 만들기 및 관리를 참조하세요.DATASET_CONFIG_ID를 보려는 데이터 세트를 생성한 데이터 세트 구성의 이름으로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다. 예를 들면us-central1입니다.
JSON API
Authorization헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.cURL을 사용하여GetDatasetConfig 요청으로 JSON API를 호출합니다.curl -X GET \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \ --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \ --header "Accept: application/json" \ --header "Content-Type: application/json"
다음과 같이 바꿉니다.
데이터 세트 구성 나열
프로젝트의 데이터 세트 구성을 나열하려면 다음 단계를 완료하세요.
콘솔
- Google Cloud 콘솔에서 Cloud Storage Storage Insights 페이지로 이동합니다.
데이터 세트 구성 목록이 표시됩니다.
명령줄
프로젝트의 데이터 세트 구성을 나열하려면
gcloud storage insights dataset-configs list명령어를 실행합니다.gcloud storage insights dataset-configs list --location=LOCATION
다음과 같이 바꿉니다.
LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다. 예를 들면us-central1입니다.
다음과 같은 옵션 플래그를 사용하여 나열 호출의 동작을 지정할 수 있습니다.
--page-size를 사용하여 페이지당 반환할 최대 결과 수를 지정합니다.--filter=FILTER를 사용하여 결과를 필터링합니다.--filter플래그 사용 방법에 관한 자세한 내용은gcloud topic filters를 실행하고 문서를 참조하세요.--sort-by=SORT_BY_VALUE를 사용하여 정렬 기준으로 사용할 리소스 필드 키의 쉼표로 구분한 이름 목록을 지정합니다. 예를 들면--sort-by=DATASET_CONFIG_ID입니다.
JSON API
Authorization헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.cURL를 사용하여GetDatasetConfig 요청으로 JSON API를 호출합니다.curl -X GET \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \ --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \ --header "Accept: application/json" \ --header "Content-Type: application/json"
다음과 같이 바꿉니다.
데이터 세트 구성 업데이트
데이터 세트 구성을 업데이트하려면 다음 단계를 완료하세요.
콘솔
- Google Cloud 콘솔에서 Cloud Storage Storage Insights 페이지로 이동합니다.
업데이트하려는 데이터 세트 구성의 이름으로 바꿉니다.
데이터 세트 구성 탭에서 수정 을 클릭하여 필드를 업데이트합니다.
명령줄
데이터 세트 구성을 업데이트하려면
gcloud storage insights dataset-configs update명령어를 실행합니다.gcloud storage insights dataset-configs update DATASET_CONFIG_ID \ --location=LOCATION
다음과 같이 바꿉니다.
DATASET_CONFIG_ID를 데이터 세트 구성의 이름으로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다.
다음 플래그를 사용하여 데이터 세트 구성의 속성을 업데이트합니다.
--skip-verification을 사용하여 필요한 IAM 권한 확인을 비롯한 인증 프로세스의 확인 및 실패를 건너뜁니다. 이 플래그를 사용하면 일부 또는 모든 버킷이 데이터 세트에서 제외될 수 있습니다.--retention-period-days=DAYS를 사용하여 데이터 세트 스냅샷에 캡처할 데이터의 이동 기간(일 수)을 지정합니다. 예를 들면90입니다.--activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS를 사용하여 데이터 세트의 활동 데이터의 보관 기간을 지정합니다. 기본적으로 활동 데이터는 데이터 세트에 포함되며 데이터 세트의 보관 기간을 상속합니다. 데이터 세트 보관 기간을 재정의하려면 활동 데이터를 보관할 일수를 지정하세요. 활동 데이터를 제외하려면 ACTIVITY_RETENTION_PERIOD_DAYS를0로 설정합니다.--description=DESCRIPTION을 사용하여 데이터 세트 구성에 관한 설명을 작성합니다.--organization=ORGANIZATION_ID를 사용하여 소스 프로젝트의 조직 ID를 지정합니다. 지정하지 않으면 소스 프로젝트의 조직 ID가 기본값입니다.
JSON API
Authorization헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.다음 선택적 정보를 포함하는 JSON 파일을 만듭니다.
{ "organization_number": "ORGANIZATION_ID", "source_projects": { "project_numbers": "PROJECT_NUMBERS" }, "retention_period_days": "RETENTION_PERIOD", "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS" }
다음과 같이 바꿉니다.
소스 프로젝트가 속한 조직의 리소스 ID로
ORGANIZATION_ID를 바꿉니다. 지정하지 않으면 소스 프로젝트의 조직 ID가 기본값입니다.PROJECT_NUMBERS를 데이터 세트에 포함할 프로젝트 번호로 바꿉니다. 목록 형식으로 하나 이상의 프로젝트를 지정할 수 있습니다.RETENTION_PERIOD: 데이터 세트 스냅샷에 캡처할 데이터의 이동 기간(일 수)입니다. 예를 들면90입니다.ACTIVITY_DATA_RETENTION_PERIOD_DAYS: 데이터 세트 스냅샷에 캡처할 활동 데이터의 기간(일 수)입니다. 기본적으로 활동 데이터는 데이터 세트에 포함되며 데이터 세트의 보관 기간을 상속합니다. 데이터 세트 보관 기간을 재정의하려면 활동 데이터를 보관할 일수를 지정하세요. 활동 데이터를 제외하려면 ACTIVITY_RETENTION_PERIOD_DAYS를0로 설정합니다.
데이터 세트 구성을 업데이트하려면
cURL을 사용하여PatchDatasetConfig 요청으로 JSON API를 호출합니다.curl -X PATCH --data-binary @JSON_FILE_NAME \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \ --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \ --header "Accept: application/json" \ --header "Content-Type: application/json"
다음과 같이 바꿉니다.
JSON_FILE_NAME을 이전 단계에서 만든 JSON 파일 경로로 바꿉니다.PROJECT_ID를 데이터 세트 구성이 속한 프로젝트의 ID로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다. 예를 들면us-central1입니다.DATASET_CONFIG_ID를 업데이트하려는 데이터 세트 구성의 이름으로 바꿉니다.UPDATE_MASK는 이 요청으로 업데이트되는 쉼표로 구분된 필드 이름 목록입니다. 필드는 fieldMask 형식을 사용하며DatasetConfig리소스의 일부입니다.SERVICE_ACCOUNT을 서비스 계정으로 바꿉니다. 예를 들면test-service-account@test-project.iam.gserviceaccount.com입니다.
데이터 세트 구성 삭제
데이터 세트 구성을 삭제하려면 다음 단계를 완료하세요.
콘솔
- Google Cloud 콘솔에서 Cloud Storage Storage Insights 페이지로 이동합니다.
삭제하려는 데이터 세트 구성의 이름으로 바꿉니다.
삭제 를 클릭합니다.
명령줄
데이터 세트 구성을 삭제하려면
gcloud storage insights dataset-configs delete명령어를 실행합니다.gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \ --location=LOCATION
다음과 같이 바꿉니다.
DATASET_CONFIG_ID를 삭제하려는 데이터 세트 구성의 이름으로 바꿉니다.LOCATION을 데이터 세트 및 데이터 세트 구성의 위치로 바꿉니다. 예를 들면us-central1입니다.
다음 플래그를 사용하여 데이터 세트 구성을 삭제합니다.
--auto-delete-link를 사용하여 삭제하려는 데이터 세트 구성에서 생성된 데이터 세트를 연결 해제합니다. 데이터 세트를 생성한 데이터 세트 구성을 삭제하려면 먼저 데이터 세트를 연결 해제해야 합니다.
전체 데이터 세트 구성 경로를 지정할 수도 있습니다. 예를 들면 다음과 같습니다.
gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID
JSON API
Authorization헤더에 대한 액세스 토큰을 생성하려면 gcloud CLI가 설치 및 초기화되어 있어야 합니다.cURL을 사용하여DeleteDatasetConfig 요청으로 JSON API를 호출합니다.curl -X DELETE \ "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \ --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \ --header "Accept: application/json" \ --header "Content-Type: application/json"다음과 같이 바꿉니다.