Mengelola konfigurasi set data Storage Insights

Halaman ini menunjukkan cara mengelola konfigurasi set data Storage Insights untuk mengontrol sumber, cakupan, dan retensi data Anda. Anda akan mempelajari cara melihat, mencantumkan, memperbarui, dan menghapus konfigurasi, serta cara melihat, membuat kueri, dan membatalkan tautan set data tertaut.

Mendapatkan peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk mengelola konfigurasi set data, minta administrator untuk memberi Anda peran IAM berikut di project sumber:

• Untuk mencantumkan, memperbarui, menghapus, dan melihat konfigurasi set data: Storage Insights Admin (roles/storageinsights.admin)
• Untuk melihat dan membatalkan tautan set data:
  • Storage Insights Analyst (roles/storageinsights.analyst)
  • Admin BigQuery (roles/bigquery.admin)
• Untuk menghapus set data tertaut: BigQuery Admin (roles/bigquery.admin)
• Untuk melihat dan membuat kueri set data di BigQuery:
  • Storage Insights Viewer (roles/storageinsights.viewer)
  • BigQuery Job User (roles/bigquery.jobUser)
  • BigQuery Data Viewer (roles/bigquery.dataViewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengelola konfigurasi set data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengelola konfigurasi set data:

• Melihat dan mencantumkan konfigurasi set data:
  • storageinsights.datasetConfigs.get
  • storageinsights.datasetConfigs.list
  • storage.buckets.getObjectInsights
• Memperbarui dan menghapus konfigurasi set data:
  • storageinsights.datasetConfigs.update
  • storageinsights.datasetConfigs.delete
  • storage.buckets.getObjectInsights
• Batalkan tautan ke set data BigQuery: storageinsights.datasetConfigs.unlinkDataset
• Mengkueri set data tertaut BigQuery: bigquery.jobs.create or bigquery.jobs.*

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Melihat dan membuat kueri set data tertaut

Untuk melihat dan membuat kueri set data tertaut, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Storage Insights Cloud Storage.
   

   Buka Insight Penyimpanan

   Project Anda akan menampilkan daftar konfigurasi set data yang dibuat.

2. Klik set data tertaut BigQuery untuk konfigurasi set data yang ingin Anda lihat.

   Konsol Google Cloud menampilkan set data tertaut BigQuery. Untuk mengetahui informasi tentang skema set data metadata, lihat Skema set data metadata.

3. Anda dapat mengkueri tabel dan tampilan di set data tertaut dengan cara yang sama seperti menjalankan kueri pada tabel BigQuery lainnya.

Membatalkan tautan set data

Untuk menghentikan konfigurasi set data agar tidak dipublikasikan ke set data BigQuery, batalkan tautan set data. Untuk membatalkan tautan set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Storage Insights Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

3. Di bagian Set data tertaut BigQuery, klik Batalkan tautan set data.

Command line

1. Untuk membatalkan tautan set data, jalankan perintah gcloud storage insights dataset-configs delete-link:

   gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

   • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

   Anda juga dapat menentukan jalur konfigurasi set data lengkap. Contoh:

   gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   Ganti:

   • DESTINATION_PROJECT_ID dengan ID project yang berisi konfigurasi set data. Untuk mengetahui informasi selengkapnya tentang ID project, lihat Membuat dan mengelola project.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

   • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

JSON API

1. Instal dan lakukan inisialisasigcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Buat file JSON yang berisi informasi berikut:

   {
     "name": "DATASET_NAME"
   }

   Ganti:

   DATASET_NAME dengan nama set data yang ingin Anda batalkan tautannya. Contoh, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

3. Gunakan cURL untuk memanggil JSON API dengan permintaan unlinkDataset DatasetConfig:

   curl --request POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya.

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Melihat konfigurasi set data

Untuk melihat konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Storage Insights Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang ingin Anda lihat.

   Detail konfigurasi set data akan ditampilkan.

Command line

1. Untuk mendeskripsikan konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs describe:

   gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
     --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data.

   Anda juga dapat menentukan jalur konfigurasi set data lengkap. Contoh:

   gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   Ganti:

   • DESTINATION_PROJECT_ID dengan ID project yang berisi konfigurasi set data. Untuk mengetahui informasi selengkapnya tentang ID project, lihat Membuat dan mengelola project.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda lihat.

   • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

JSON API

1. Instal dan lakukan inisialisasigcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Gunakan cURL untuk memanggil JSON API dengan permintaan Get DatasetConfig:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, test-service-account@test-project..

Mencantumkan konfigurasi set data

Untuk mencantumkan konfigurasi set data dalam project, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Storage Insights Cloud Storage.
   

   Buka Insight Penyimpanan

   Daftar konfigurasi set data akan ditampilkan.

Command line

1. Untuk mencantumkan konfigurasi set data dalam sebuah project, jalankan perintah gcloud storage insights dataset-configs list:

   gcloud storage insights dataset-configs list --location=LOCATION

   Ganti:

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   Anda dapat menggunakan tanda opsional berikut untuk menentukan perilaku panggilan listingan:

   • Gunakan --page-size untuk menentukan jumlah maksimum hasil yang akan ditampilkan per halaman.

   • Gunakan --filter=FILTER untuk memfilter hasil. Untuk mengetahui informasi selengkapnya tentang cara menggunakan tanda --filter, jalankan gcloud topic filters dan lihat dokumentasinya.

   • Gunakan --sort-by=SORT_BY_VALUE untuk menentukan daftar yang dipisahkan koma dari nama-nama kunci kolom resource yang digunakan untuk pengurutan. Contoh, --sort-by=DATASET_CONFIG_ID.

JSON API

1. Instal dan lakukan inisialisasigcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Gunakan cURL untuk memanggil JSON API dengan permintaan Get DatasetConfig:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Memperbarui konfigurasi set data

Untuk memperbarui konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Storage Insights Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang ingin Anda perbarui.

3. Di tab Konfigurasi set data, klik Edit untuk memperbarui kolom.

Command line

1. Untuk memperbarui konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs update:

   gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
     --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data.

   Gunakan tanda berikut untuk memperbarui properti konfigurasi set data:

   • Gunakan --skip-verification untuk melewati pemeriksaan dan kegagalan dari proses verifikasi, yang mencakup pemeriksaan izin IAM yang diperlukan. Jika digunakan, beberapa atau semua bucket mungkin dikecualikan dari set data.

   • Gunakan --retention-period-days=DAYS untuk menentukan jumlah hari data bergerak yang akan diambil dalam snapshot set data. Contoh, 90.

   • Gunakan --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS untuk menentukan periode retensi data aktivitas dalam set data. Secara default, data aktivitas disertakan dalam set data, dan mewarisi periode retensi set data. Untuk mengganti periode retensi set data, tentukan jumlah hari untuk menyimpan data aktivitas. Untuk mengecualikan data aktivitas, tetapkan ACTIVITY_RETENTION_PERIOD_DAYS ke 0.

   • Gunakan --description=DESCRIPTION untuk menulis deskripsi konfigurasi set data.

   • Gunakan --organization=ORGANIZATION_ID untuk menentukan ID organisasi project sumber. Jika tidak ditentukan, ID organisasi project sumber akan digunakan secara default.

JSON API

1. Instal dan lakukan inisialisasigcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Buat file JSON yang berisi informasi opsional berikut:

   {
     "organization_number": "ORGANIZATION_ID",
     "source_projects": {
       "project_numbers": "PROJECT_NUMBERS"
     },
     "retention_period_days": "RETENTION_PERIOD",
     "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
   }

   Ganti:

   • ORGANIZATION_ID dengan ID resource organisasi yang menjadi induk project sumber. Jika tidak ditentukan, ID organisasi project sumber akan digunakan secara default.

   • PROJECT_NUMBERS dengan nomor project yang akan disertakan dalam set data. Anda dapat menentukan satu atau beberapa project dalam format daftar.

   • RETENTION_PERIOD dengan jumlah hari data yang bergerak untuk diambil dalam snapshot set data. Contoh, 90.

   • ACTIVITY_DATA_RETENTION_PERIOD_DAYS dengan jumlah hari data aktivitas yang akan diambil dalam snapshot set data. Secara default, data aktivitas disertakan dalam set data, dan mewarisi periode retensi set data. Untuk mengganti periode retensi set data, tentukan jumlah hari untuk menyimpan data aktivitas. Untuk mengecualikan data aktivitas, tetapkan ACTIVITY_RETENTION_PERIOD_DAYS ke 0.

3. Untuk memperbarui konfigurasi set data, gunakan cURL untuk memanggil JSON API dengan permintaan Patch DatasetConfig:

   curl -X PATCH --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya.

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda perbarui.

   • UPDATE_MASK adalah daftar nama kolom yang dipisahkan koma yang diperbarui oleh permintaan ini. Kolom menggunakan format fieldMask dan merupakan bagian dari resource DatasetConfig.

   • SERVICE_ACCOUNT dengan akun layanan. Contohnya, [e-mail]

Menghapus konfigurasi set data

Untuk menghapus konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Storage Insights Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang ingin Anda hapus.

3. Klik Hapus .

Command line

1. Untuk menghapus konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs delete:

   gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
     --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda hapus.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   Gunakan flag berikut untuk menghapus konfigurasi set data:

   • Gunakan --auto-delete-link untuk membatalkan tautan set data yang dibuat dari konfigurasi set data yang ingin Anda hapus. Anda harus membatalkan tautan set data sebelum dapat menghapus konfigurasi set data yang membuat set data tersebut.

   Anda juga dapat menentukan jalur konfigurasi set data lengkap. Contoh:

   gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

JSON API

1. Instal dan lakukan inisialisasigcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Gunakan cURL untuk memanggil JSON API dengan permintaan Delete DatasetConfig:

   curl -X DELETE \
     "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
       --header "Accept: application/json" \
       --header "Content-Type: application/json"
   

   Ganti:

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda hapus.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Langkah berikutnya

• Melihat set data tertaut.
• Mengkueri set data tertaut.
• Menganalisis data tersimpan Anda dengan Gemini Cloud Assist.