Mengelola konfigurasi set data Storage Insights

Set data Insight Penyimpanan memungkinkan Anda mengumpulkan metadata dan data aktivitas dari bucket dan objek Cloud Storage, lalu menganalisis data tersebut di BigQuery. Anda dapat mengonfigurasi setelan sumber data, cakupan, dan retensi untuk set data guna membantu mengoptimalkan biaya penyimpanan, mengelola siklus proses data, dan mendukung kepatuhan.

Dokumen ini menunjukkan cara melihat, memperbarui, dan menghapus konfigurasi set data, serta cara membuat kueri atau membatalkan tautan set data BigQuery yang ditautkan. Untuk informasi latar belakang, lihat Set data Insight Penyimpanan.

Mendapatkan peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengelola konfigurasi set data, minta administrator untuk memberi Anda peran IAM berikut pada project sumber Anda:

• Untuk mencantumkan, memperbarui, menghapus, dan melihat konfigurasi set data: Insight Penyimpanan Admin (roles/storageinsights.admin)
• Untuk melihat dan membatalkan tautan set data:
  • Storage Insights Analyst (roles/storageinsights.analyst)
  • BigQuery Admin (roles/bigquery.admin)
• Untuk menghapus set data tertaut: BigQuery Admin (roles/bigquery.admin)
• Untuk melihat dan mengkueri set data di BigQuery:
  • Storage Insights Viewer (roles/storageinsights.viewer)
  • BigQuery Job User (roles/bigquery.jobUser)
  • BigQuery Data Viewer (roles/bigquery.dataViewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk mengelola konfigurasi set data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengelola konfigurasi set data:

• Melihat dan mencantumkan konfigurasi set data:
  • storageinsights.datasetConfigs.get
  • storageinsights.datasetConfigs.list
  • storage.buckets.getObjectInsights
• Memperbarui dan menghapus konfigurasi set data:
  • storageinsights.datasetConfigs.update
  • storageinsights.datasetConfigs.delete
  • storage.buckets.getObjectInsights
• Membatalkan tautan set data BigQuery: storageinsights.datasetConfigs.unlinkDataset
• Mengkueri set data tertaut BigQuery: bigquery.jobs.create or bigquery.jobs.*

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Melihat dan membuat kueri set data tertaut

Untuk melihat dan membuat kueri set data tertaut, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Insight Penyimpanan Cloud Storage.
   

   Buka Insight Penyimpanan

   Project Anda akan menampilkan daftar konfigurasi set data yang dibuat.

2. Klik set data tertaut BigQuery untuk konfigurasi set data yang ingin Anda lihat.

   Konsol Google Cloud menampilkan set data tertaut BigQuery. Untuk mengetahui informasi tentang skema set data metadata, lihat Skema set data metadata.

3. Buat kueri tabel dan tampilan di set data tertaut seperti saat Anda membuat kueri tabel BigQuery lainnya.

Berhenti tautkan set data

Untuk menghentikan publikasi konfigurasi set data ke set data BigQuery, batalkan tautan set data. Untuk berhenti tautkan set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Insight Penyimpanan Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

3. Di bagian BigQuery linked dataset, klik Unlink dataset.

Command line

1. Untuk membatalkan tautan set data, jalankan perintah gcloud storage insights dataset-configs delete-link:

   gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

   • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

   Anda juga dapat menentukan jalur konfigurasi set data lengkap. Contoh:

   gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   Ganti:

   • DESTINATION_PROJECT_ID dengan ID project yang berisi konfigurasi set data. Untuk mengetahui informasi selengkapnya tentang project ID, lihat Membuat dan mengelola project.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

   • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

JSON API

1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Buat file JSON yang berisi informasi berikut:

   {
     "name": "DATASET_NAME"
   }

   Ganti:

   DATASET_NAME dengan nama set data yang ingin Anda batalkan tautannya. Contoh, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

3. Gunakan cURL untuk memanggil JSON API dengan permintaan DatasetConfig unlinkDataset:

   curl --request POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya.

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda batalkan tautannya.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Melihat konfigurasi set data

Untuk melihat konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Insight Penyimpanan Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang ingin Anda lihat.

   Detail konfigurasi set data akan ditampilkan.

Command line

1. Untuk mendeskripsikan konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs describe:

   gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
     --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data.

   Anda juga dapat menentukan jalur konfigurasi set data lengkap. Contoh:

   gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   Ganti:

   • DESTINATION_PROJECT_ID dengan ID project yang berisi konfigurasi set data. Untuk mengetahui informasi selengkapnya tentang project ID, lihat Membuat dan mengelola project.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang menghasilkan set data yang ingin Anda lihat.

   • LOCATION dengan lokasi set data dan konfigurasi set data Anda. Misalnya, us-central1.

JSON API

1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Gunakan cURL untuk memanggil JSON API dengan permintaan DatasetConfig Get:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Mencantumkan konfigurasi set data

Untuk mencantumkan konfigurasi set data dalam project, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Insight Penyimpanan Cloud Storage.
   

   Buka Insight Penyimpanan

   Daftar konfigurasi set data akan ditampilkan.

Command line

1. Untuk mencantumkan konfigurasi set data dalam sebuah project, jalankan perintah gcloud storage insights dataset-configs list:

   gcloud storage insights dataset-configs list --location=LOCATION

   Ganti:

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   Anda dapat menggunakan flag opsional berikut untuk menentukan perilaku panggilan listingan:

   • Gunakan --page-size untuk menentukan jumlah hasil maksimum yang akan ditampilkan per halaman.

   • Gunakan --filter=FILTER untuk memfilter hasil. Untuk mengetahui informasi selengkapnya tentang cara menggunakan flag --filter, jalankan gcloud topic filters dan lihat dokumentasi.

   • Gunakan --sort-by=SORT_BY_VALUE untuk menentukan daftar yang dipisahkan koma dari nama-nama kunci kolom resource yang digunakan untuk pengurutan. Contoh, --sort-by=DATASET_CONFIG_ID.

JSON API

1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Gunakan cURL untuk memanggil JSON API dengan permintaan DatasetConfig Get:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Memperbarui konfigurasi set data

Untuk memperbarui konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Insight Penyimpanan Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang ingin Anda perbarui.

3. Di tab Dataset configuration, klik Edit untuk memperbarui kolom.

Command line

1. Untuk memperbarui konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs update:

   gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
     --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data.

   Gunakan flag berikut untuk memperbarui properti konfigurasi set data:

   • Gunakan --skip-verification untuk melewati pemeriksaan dan kegagalan dari proses verifikasi, yang mencakup pemeriksaan izin IAM yang diperlukan. Jika digunakan, beberapa atau semua bucket mungkin dikecualikan dari set data.

   • Gunakan --retention-period-days=DAYS untuk menentukan jumlah hari data yang berubah untuk diambil dalam snapshot set data. Contoh, 90.

   • Gunakan --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS untuk menentukan periode retensi data untuk data aktivitas dalam set data. Secara default, data aktivitas disertakan dalam set data, dan mewarisi periode retensi set data. Untuk mengganti periode retensi set data, tentukan jumlah hari untuk mempertahankan data aktivitas. Untuk mengecualikan data aktivitas, tetapkan ACTIVITY_RETENTION_PERIOD_DAYS ke 0.

   • Gunakan --description=DESCRIPTION untuk menulis deskripsi konfigurasi set data.

   • Gunakan --organization=ORGANIZATION_ID untuk menentukan ID organisasi project sumber. Jika tidak ditentukan, setelan defaultnya adalah ID organisasi project sumber.

JSON API

1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Buat file JSON yang berisi informasi opsional berikut:

   {
     "organization_number": "ORGANIZATION_ID",
     "source_projects": {
       "project_numbers": "PROJECT_NUMBERS"
     },
     "retention_period_days": "RETENTION_PERIOD",
     "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
   }

   Ganti:

   • ORGANIZATION_ID dengan ID resource organisasi tempat project sumber berada. Jika tidak ditentukan, setelan defaultnya adalah ID organisasi project sumber.

   • PROJECT_NUMBERS dengan nomor project yang akan disertakan dalam set data. Anda dapat menentukan satu atau beberapa project dalam format daftar.

   • RETENTION_PERIOD dengan jumlah hari data yang berubah untuk diambil dalam snapshot set data. Contoh, 90.

   • ACTIVITY_DATA_RETENTION_PERIOD_DAYS dengan jumlah hari data aktivitas yang akan diambil dalam snapshot set data. Secara default, data aktivitas disertakan dalam set data, dan mewarisi periode retensi set data. Untuk mengganti periode retensi set data, tentukan jumlah hari untuk mempertahankan data aktivitas. Untuk mengecualikan data aktivitas, tetapkan ACTIVITY_RETENTION_PERIOD_DAYS ke 0.

3. Untuk memperbarui konfigurasi set data, gunakan cURL untuk memanggil JSON API dengan permintaan Patch DatasetConfig:

   curl -X PATCH --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   Ganti:

   • JSON_FILE_NAME dengan jalur ke file JSON yang Anda buat di langkah sebelumnya.

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda perbarui.

   • UPDATE_MASK adalah daftar nama kolom yang dipisahkan koma yang diperbarui oleh permintaan ini. Kolom menggunakan format fieldMask dan merupakan bagian dari resource DatasetConfig.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Menghapus konfigurasi set data

Untuk menghapus konfigurasi set data, selesaikan langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Insight Penyimpanan Cloud Storage.
   

   Buka Insight Penyimpanan

2. Klik nama konfigurasi set data yang ingin Anda hapus.

3. Klik Hapus .

Command line

1. Untuk menghapus konfigurasi set data, jalankan perintah gcloud storage insights dataset-configs delete:

   gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
     --location=LOCATION

   Ganti:

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda hapus.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   Gunakan flag berikut untuk menghapus konfigurasi set data:

   • Gunakan --auto-delete-link untuk berhenti tautkan set data yang dibuat dari konfigurasi set data yang ingin Anda hapus. Anda harus membatalkan tautan set data sebelum dapat menghapus konfigurasi set data yang menghasilkan set data tersebut.

   Anda juga dapat menentukan jalur konfigurasi set data lengkap. Contoh:

   gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

JSON API

1. Menginstal dan melakukan inisialisasi gcloud CLI, yang memungkinkan Anda membuat token akses untuk header Authorization.

2. Gunakan cURL untuk memanggil JSON API dengan permintaan DatasetConfig Delete:

   curl -X DELETE \
     "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
       --header "Accept: application/json" \
       --header "Content-Type: application/json"
   

   Ganti:

   • PROJECT_ID dengan ID project yang memiliki konfigurasi set data.

   • LOCATION dengan lokasi set data dan konfigurasi set data. Misalnya, us-central1.

   • DATASET_CONFIG_ID dengan nama konfigurasi set data yang ingin Anda hapus.

   • SERVICE_ACCOUNT dengan akun layanan. Contoh, [e-mail].

Langkah berikutnya

• Melihat set data tertaut.
• Membuat kueri set data tertaut.
• Analisis data yang Anda simpan dengan Gemini Cloud Assist.
• Periksa referensi filter CEL untuk operasi batch.