Mengelola produk data

Dokumen ini ditujukan bagi pemilik produk data yang ingin memperbarui, menghapus, dan memberikan akses ke produk data di Knowledge Catalog (sebelumnya Dataplex Universal Catalog).

Untuk mengetahui informasi selengkapnya tentang arsitektur dan konsep utama produk data, lihat Tentang produk data.

Sebelum memulai

1. Aktifkan Dataplex dan BigQuery API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

   Aktifkan API

Catatan: Panduan ini mengasumsikan bahwa Anda memiliki produk data yang ada untuk dikelola. Untuk mengetahui informasi selengkapnya tentang cara membuat dan mengonfigurasi produk data, lihat Membuat produk data.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengelola produk data, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Izin penuh untuk membuat, memperbarui, menghapus, dan mengelola izin untuk produk data: Admin Produk Data Dataplex (roles/dataplex.dataProductsAdmin)
• Memperbarui dan mengelola produk data yang ada: Editor Produk Data Dataplex (roles/dataplex.dataProductsEditor)
• Tambahkan aspek seperti schema, overview, dan contacts: Pemilik Entri dan EntryLink Dataplex (roles/dataplex.entryOwner)
• Menelusuri dan menambahkan aset: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
• Mengedit jenis aspek sistem seperti aspek dokumentasi dan kontrak dari irama refresh: Editor Katalog Dataplex (roles/dataplex.catalogEditor)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengelola produk data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengelola produk data:

• Edit jenis aspek sistem overview: dataplex.entryGroups.useOverviewAspect
• Edit jenis aspek sistem refresh cadence: dataplex.entryGroups.useRefreshCadenceAspect
• Menyetujui permintaan akses untuk produk data: dataplex.dataProducts.approve

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Kontrol akses untuk model BigQuery

Akses ke model BigQuery dalam produk data dikelola melalui kondisi IAM yang diterapkan ke kebijakan IAM set data induk.

Jika Anda menghapus lalu membuat ulang model BigQuery menggunakan nama yang sama, Knowledge Catalog akan memulihkan izin yang sebelumnya diberikan kepada Grup Google atau akun layanan melalui produk data.

Menetapkan izin untuk membuat produk data dapat ditemukan

Agar calon konsumen dapat menelusuri, melihat, dan meminta akses ke produk data, pemilik produk data harus memastikan produk tersebut dapat ditemukan dengan memberikan peran IAM yang sesuai pada resource produk data:

• Menelusuri, melihat, dan meminta akses ke produk data: Dataplex Data Product Consumer (dataplex.dataProductsConsumer)

• Melihat definisi dan metadata produk data (akses hanya baca): Pelihat Produk Data Dataplex (dataplex.dataProductsViewer)

Mengelola permintaan akses produk data

Saat konsumen produk data meminta akses, pemilik produk data akan menerima notifikasi email. Pemilik dapat meninjau, menyetujui, atau menolak permintaan ini menggunakan konsol Google Cloud atau API.

Konsol

Meninjau permintaan akses untuk produk data tertentu

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang permintaan aksesnya ingin Anda tinjau.

3. Klik tab Pengelolaan permintaan akses.

4. Pilih pemohon yang permintaannya ingin Anda tinjau.

5. Klik Tindakan , lalu klik Setujui atau Tolak.

6. Klik Simpan.

Meninjau permintaan akses di beberapa produk data

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

1. Di konsol Google Cloud , buka halaman Knowledge Catalog Alur kerja tata kelola.

   Buka Alur kerja tata kelola

2. Klik tab Persetujuan Tertunda.

3. Opsional: Filter daftar menurut nama produk data tertentu untuk mengisolasi permintaannya.

4. Pilih permintaan target, lalu klik Setujui atau Tolak.

5. Klik Simpan.

Perilaku pasca-persetujuan

• Permintaan pengguna: Konsumen yang meminta akses untuk identitas pengguna mereka akan otomatis ditambahkan sebagai anggota ke Grup Google yang dipetakan ke grup akses.

• Permintaan akun layanan: Konsumen yang meminta akses untuk akun layanan diberi izin untuk meniru identitas akun layanan produsen data yang dipetakan ke grup akses.

Setelah diproses, status permintaan akan diperbarui secara otomatis dan entri akan dipindahkan ke tab Log persetujuan.

REST

Mencantumkan semua permintaan akses yang menunggu persetujuan

Untuk mencantumkan semua permintaan akses yang menunggu peninjauan Anda dalam project dan lokasi tertentu, kirim permintaan GET menggunakan metode kumpulan data kustom :listReviewable:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listReviewable"

Ganti kode berikut:

• PROJECT_ID: ID Google Cloud project Anda

• LOCATION: region tempat produk data berada (misalnya, us-central1)

Menyetujui permintaan akses

Pemilik produk data dengan izin dataplex.dataProducts.approve dapat menyetujui permintaan yang menunggu keputusan dengan mengirimkan permintaan POST ke metode kustom :approve:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:approve"

Ganti kode berikut:

• PROJECT_ID: ID Google Cloud project Anda

• LOCATION: region tempat produk data berada (misalnya, us-central1)

• CHANGE_REQUEST_ID: ID unik permintaan akses yang ingin Anda setujui

Tidak seperti persetujuan yang didorong konsol, menyetujui permintaan perubahan menggunakan REST API tidak secara otomatis mengubah keanggotaan Grup Google atau mengonfigurasi peniruan identitas token akun layanan. Anda harus menyelesaikan langkah-langkah pengelolaan akses hilir ini secara manual:

• Untuk permintaan akses identitas pengguna: Tambahkan konsumen produk data ke Grup Google yang dipetakan. Untuk mengetahui informasi selengkapnya, lihat Menambahkan keanggotaan ke Grup Google.

• Untuk permintaan akses akun layanan: Berikan peran IAM Service Account Token Creator (roles/iam.serviceAccountTokenCreator) ke akun layanan konsumen produk data di resource dengan menjalankan perintah berikut:

  gcloud iam service-accounts add-iam-policy-binding PRODUCER_SERVICE_ACCOUNT \
    --member="serviceAccount:CONSUMER_SERVICE_ACCOUNT" \
    --role="roles/iam.serviceAccountTokenCreator"
  

  Ganti kode berikut:

  • PRODUCER_SERVICE_ACCOUNT: alamat email yang sepenuhnya memenuhi syarat dari akun layanan yang dipetakan ke grup akses produk data

  • CONSUMER_SERVICE_ACCOUNT: alamat email yang sepenuhnya memenuhi syarat dari akun layanan milik konsumen yang meminta akses

Menolak permintaan akses

Pemilik produk data dengan izin dataplex.dataProducts.approve dapat menolak permintaan yang menunggu keputusan dengan mengirim permintaan POST ke metode kustom :reject bersama dengan payload justifikasi:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "comment": "REJECTION_REASON"
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:reject"

Ganti kode berikut:

• PROJECT_ID: ID Google Cloud project Anda

• LOCATION: region tempat produk data berada (misalnya, us-central1)

• CHANGE_REQUEST_ID: ID unik permintaan akses yang ingin Anda tolak

Memperbarui produk data

Anda dapat memperbarui detail dasar (misalnya, nama produk data, deskripsi, detail pemilik), aset, grup akses, izin, kontrak, aspek, dan dokumentasi tambahan untuk produk data yang ada.

Catatan: Metode REST API untuk memperbarui produk dan aset data adalah operasi yang berjalan lama. Saat Anda memanggil metode ini, API akan menampilkan objek Operation yang dapat Anda gunakan untuk memeriksa status tugas.

Memperbarui detail dasar produk data

Konsol

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang ingin Anda perbarui.

3. Klik Edit.

4. Perbarui Nama produk data, Ikon produk data, Deskripsi, Alamat email pemilik produk data, Alamat email pemberi persetujuan produk data, dan Label sesuai kebutuhan.

5. Klik Simpan.

REST

Untuk memperbarui detail dasar produk data, gunakan metode dataProducts.patch.

Misalnya, untuk memperbarui deskripsi produk data, kirim permintaan PATCH berikut:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"description": "NEW_DESCRIPTION"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="description"

Ganti kode berikut:

• NEW_DESCRIPTION: deskripsi baru untuk produk data
• PROJECT_ID: ID project Google Cloud Anda
• LOCATION: region tempat produk data berada
• DATA_PRODUCT_ID: ID produk data Anda

Memperbarui aset produk data

Konsol

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang asetnya ingin Anda perbarui.

3. Klik tab Aset.

4. Untuk menambahkan aset baru, ikuti langkah-langkah berikut:

   1. Klik +Add.

   2. Telusuri dan pilih aset yang ingin Anda tambahkan ke produk data. Aset yang Anda pilih harus berada di region yang sama dengan produk data.

      Jika memiliki izin yang diperlukan, Anda dapat melihat metadata aset dengan mengklik aset.

   3. Untuk menyaring hasil penelusuran, gunakan Filter.

   4. Setelah Anda memilih aset, klik Tambahkan.

5. Untuk menghapus aset dari produk data, ikuti langkah-langkah berikut:

   1. Untuk aset yang ingin Anda hapus, klik > Hapus.

   2. Untuk mengonfirmasi tindakan, klik Hapus.

   Catatan: Anda dapat menghapus hingga 10 aset sekaligus.

REST

Untuk menambahkan aset data baru ke produk data, gunakan metode dataAssets.create. Untuk contoh kode, lihat Opsional: Tambahkan aset.

Untuk menghapus aset data dari produk data, gunakan metode dataAssets.delete. Misalnya, kirim permintaan DELETE berikut:

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID"

Ganti kode berikut:

• PROJECT_ID: ID project Google Cloud Anda
• LOCATION: region tempat Anda ingin membuat produk data
• DATA_PRODUCT_ID: ID unik untuk produk data Anda
• DATA_ASSET_ID: ID aset data yang ingin dihapus dari produk data

Memperbarui grup akses dan izin aset

Konsol

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang ingin Anda perbarui grup akses dan izinnya.

3. Klik tab Grup akses & izin.

4. Untuk memperbarui grup akses, ikuti langkah-langkah berikut:

   1. Klik Edit.

   2. Perbarui nama, deskripsi, dan ID grup akses sesuai kebutuhan.

   3. Untuk menambahkan grup akses baru, klik Tambahkan grup akses dan ikuti langkah-langkah berikut:

      1. Di kolom Nama grup akses, masukkan nama untuk grup akses baru. Contoh, Analyst.

      2. Di kolom Deskripsi grup akses, masukkan deskripsi untuk grup akses.

      3. Di kolom ID grup akses, masukkan alamat email Grup Google atau akun layanan atau keduanya yang ingin Anda tetapkan ke grup akses ini:

         • Google Grup: Konsumen produk data yang meminta akses untuk diri mereka sendiri akan ditambahkan sebagai anggota ke Google Grup yang dipetakan.

         • Akun layanan: Konsumen produk data yang meminta akses untuk akun layanan mereka diberi peran IAM Service Account Token Creator (roles/iam.serviceAccountTokenCreator) untuk meniru akun layanan produsen data yang dipetakan ke grup akses.

         Catatan: Anda dapat menambahkan maksimum tiga grup akses per produk data.

   4. Klik Tambahkan.

5. Untuk menghapus grup akses, ikuti langkah-langkah berikut:

   1. Untuk grup akses yang ingin Anda hapus, klik > Hapus.

   2. Untuk mengonfirmasi tindakan, klik Hapus.

6. Jika tidak ada grup akses yang dikonfigurasi untuk produk data yang dipilih, Anda dapat menambahkan grup akses baru dengan mengklik Tambahkan grup akses.

7. Untuk memperbarui izin aset, ikuti langkah-langkah berikut:

   1. Untuk aset yang izinnya ingin Anda perbarui, klik > Izin.

   2. Perbarui grup akses dan peran IAM yang diperlukan.

   3. Klik Configure.

REST

Untuk memperbarui grup akses yang terkait dengan produk data, gunakan metode dataProducts.patch. Untuk contoh kode, lihat Mengonfigurasi grup akses.

Untuk memperbarui izin aset, gunakan metode dataAssets.patch. Untuk contoh kode, lihat Mengonfigurasi izin aset.

Memperbarui kontrak produk data

Konsol

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang kontraknya ingin Anda perbarui.

3. Klik tab Kontrak.

4. Untuk memperbarui kontrak yang ada, ikuti langkah-langkah berikut:

   1. Klik Edit.

   2. Perbarui kolom yang diperlukan.

   3. Klik Simpan.

5. Jika tidak ada kontrak yang dilampirkan ke produk data yang dipilih, Anda dapat menambahkan kontrak dengan mengklik Tambahkan kontrak.

REST

Untuk memperbarui kontrak, gunakan metode entries.patch. Untuk contoh kode, lihat Menambahkan kontrak.

Memperbarui aspek produk data

Konsol

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang aspeknya ingin Anda perbarui.

3. Klik tab Aspek.

4. Untuk memperbarui aspek, ikuti langkah-langkah berikut:

   1. Klik aspek yang ingin Anda perbarui.

   2. Klik Edit.

   3. Perbarui Jenis aspek, Negara, dan Wilayah sesuai kebutuhan.

   4. Klik Simpan.

5. Untuk menambahkan aspek baru pada produk data, ikuti langkah-langkah berikut:

   1. Klik + Tambahkan aspek.

   2. Di kolom Pilih jenis aspek, telusuri dan pilih jenis aspek dari daftar. Contoh, Geo context.

   3. Di kolom Negara, pilih negara tempat aset berada.

   4. Di kolom Region, pilih wilayah bisnis tempat aset berada.

   5. Klik Simpan.

6. Untuk menghapus aspek, ikuti langkah-langkah berikut:

   1. Klik aspek yang ingin Anda hapus.

   2. Klik Delete.

   3. Untuk mengonfirmasi tindakan, klik Konfirmasi.

REST

Untuk memperbarui aspek apa pun pada entri produk data, gunakan metode entries.patch.

Memperbarui dokumentasi produk data

Konsol

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang dokumentasinya ingin Anda perbarui.

3. Klik tab Overview.

4. Klik Edit di samping Dokumentasi.

5. Perbarui panduan pengguna, contoh kueri, dan dokumentasi lainnya sesuai kebutuhan.

6. Klik Simpan.

REST

Dokumentasi adalah bagian dari aspek overview. Untuk memperbarui dokumentasi produk data, gunakan metode entries.patch.

Menghapus produk data

Untuk menghapus produk data, Anda harus menghapus semua aset dari produk data terlebih dahulu.

Konsol

1. Di konsol Google Cloud , buka halaman Produk data Knowledge Catalog.

   Buka Produk data

2. Klik produk data yang ingin Anda hapus.

3. Klik tab Aset.

4. Untuk setiap aset yang tercantum, klik > Hapus. Konfirmasi tindakan dengan mengklik Hapus.

5. Setelah menghapus semua aset, hapus produk data dengan mengklik Hapus.

6. Pada dialog konfirmasi, masukkan delete, lalu klik Hapus.

REST

Untuk menghapus produk data, gunakan metode dataProducts.delete.

Misalnya, kirim permintaan DELETE berikut:

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID

Ganti kode berikut:

• PROJECT_ID: ID project Google Cloud Anda
• LOCATION: region tempat produk data berada
• DATA_PRODUCT_ID: ID produk data yang ingin Anda hapus

Retensi data dan penghapusan project

Saat Anda menghapus Google Cloud project yang berisi produk data, resource terkait akan mengikuti siklus proses penghapusan Google Cloud standar, yang juga disebut sebagai penghapusan total. Untuk mengetahui ringkasan mendetail tentang proses dan rentang waktu teknis yang mengatur perilaku ini, lihat Penghapusan data di Google Cloud.

Siklus proses resource selama penghapusan project

Siklus proses produk data dan aset data Anda dikelola dalam dua tahap utama setelah permintaan penghapusan proyek:

• Penghapusan sementara (status Hidden): Segera setelah memulai penghapusan project, semua produk data dan aset data dalam project ditandai sebagai Hidden. Selama masa tenggang 30 hari ini, metadata akan dipertahankan, tetapi tidak lagi dapat diakses melalui API Dataplex atau konsol Google Cloud . Anda dapat memulihkan project dan resource-nya kapan saja selama periode ini.

• Penghapusan permanen (status Purged): Setelah masa tenggang 30 hari berakhir, project dan semua metadata Katalog Pengetahuannya akan dihapus secara permanen. Knowledge Catalog menggunakan kebijakan penghapusan baris internal untuk menghapus catatan ini secara terverifikasi dari penyimpanan.

Perilaku kebijakan IAM pada resource lintas project

Perbedaan operasional yang penting ada antara metadata Knowledge Catalog dan kebijakan IAM yang diterapkan pada data fisik pokok Anda (seperti set data BigQuery atau bucket Cloud Storage).

Meskipun metadata Knowledge Catalog dalam project dihapus secara otomatis, semua binding IAM yang diterapkan ke resource data yang berada di project lain (Project B) tidak akan otomatis dicabut saat project pemilik produk data (Project A) dihapus.

• Binding tanpa induk: Karena resource fisik di project target tetap aktif, sistem IAM tidak otomatis menghapus ID utama yang terkait dengan project yang dihapus.

• Mencegah izin zombie: Untuk memastikan penonaktifan akses data yang lengkap, hapus aset data secara manual dari produk data Anda, atau hapus secara eksplisit binding IAM terkait dari resource lintas project Anda, sebelum Anda memulai penghapusan project.

Pemulihan project (Batal Hapus)

Jika Anda memulihkan project yang dihapus dalam masa tenggang 30 hari, Katalog Pengetahuan akan mencoba memulihkan resource Anda dan visibilitasnya dalam katalog. Untuk aset lintas project, karena binding IAM pokok tidak otomatis dicabut selama proses penghapusan, akses data biasanya segera dilanjutkan untuk project yang dipulihkan.

Langkah berikutnya

• Pelajari lebih lanjut produk data.
• Pelajari cara menelusuri produk data.
• Pelajari cara membuat produk data.