Membuat produk data

Dokumen ini ditujukan untuk pemilik produk data yang ingin membuat dan mengonfigurasi produk data di Dataplex Universal Catalog.

Untuk mengetahui informasi selengkapnya tentang arsitektur dan konsep utama produk data, lihat Tentang produk data.

Sebelum memulai

Enable the Dataplex, BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Pastikan aset data Anda (misalnya, set data, tabel, dan tampilan BigQuery) dibuat dan diisi.

Untuk mengetahui informasi selengkapnya tentang cara membuat aset data, lihat dokumen berikut:
Identifikasi atau buat grup Google yang ingin Anda konfigurasi di produk data Anda. Setiap produk data harus memiliki grup Google yang unik.

Peran yang diperlukan

Bagian ini menguraikan peran IAM minimum yang diperlukan untuk dua grup pengguna utama: pemilik produk data (orang yang membuat dan mengelola produk data) dan konsumen produk data (orang yang menelusuri dan menggunakan produk data).

Peran pemilik produk data

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan mengelola produk data, minta administrator untuk memberi Anda peran IAM berikut pada project:

Izin penuh untuk membuat, memperbarui, menghapus, dan mengelola izin untuk produk data: Admin Produk Data Dataplex (roles/dataplex.dataProductsAdmin)
Memperbarui dan mengelola produk data yang ada: Editor Produk Data Dataplex (roles/dataplex.dataProductsEditor)
Tambahkan aspek seperti schema, overview, dan contacts: Pemilik Entri dan EntryLink Dataplex (roles/dataplex.entryOwner)
Menelusuri dan menambahkan aset: Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
Mengedit jenis aspek sistem seperti aspek dokumentasi dan kontrak dari irama pembaruan: Editor Katalog Dataplex (roles/dataplex.catalogEditor)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat dan mengelola produk data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan mengelola produk data:

Edit jenis aspek sistem overview: dataplex.entryGroups.useOverviewAspect
Edit jenis aspek sistem refresh cadence: dataplex.entryGroups.useRefreshCadenceAspect

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Peran untuk konsumen produk data

Agar konsumen produk data dapat menelusuri, melihat, dan meminta akses ke produk data, sebagai pemilik produk data, Anda harus memastikan produk data dapat ditemukan. Untuk melakukannya, berikan peran IAM berikut kepada konsumen produk data di produk data:

Cari dan akses produk data di Penelusuran Dataplex Universal Catalog: Konsumen Produk Data Dataplex (dataplex.dataProductsConsumer)
Akses hanya baca untuk melihat definisi dan metadata produk data: Pelihat Produk Data Dataplex (dataplex.dataProductsViewer)
Meminta akses ke produk data: Konsumen Produk Data Dataplex (dataplex.dataProductsConsumer)

Membuat dan mengonfigurasi produk data

Pembuatan produk data melibatkan tugas-tugas tingkat tinggi berikut:

Membuat produk data

Langkah awal yang wajib dilakukan ini memerlukan penentuan detail inti seperti nama produk data yang unik, deskripsi, region tempat produk data dibuat, dan detail pemilik.
Opsional: Menambahkan aset

Pada fase ini, Anda memilih aset yang akan disertakan dalam produk data. Batasan utama adalah aset harus berada di region yang sama dengan produk data itu sendiri. Anda dapat menambahkan maksimal 10 aset ke produk data.

Untuk mengetahui daftar aset yang didukung, lihat Aset yang didukung.
Opsional: Mengonfigurasi grup akses dan izin aset

Pada fase opsional ini, Anda menyederhanakan kontrol akses dengan membuat grup akses. Grup akses ini berfungsi sebagai alias yang mudah digunakan (misalnya, Analyst atau Reader) untuk grup Google yang mendasarinya. Kemudian, Anda menetapkan izin dengan memilih peran IAM tertentu dan memetakannya ke grup akses untuk aset tertentu.
Opsional: Tambahkan detail tambahan seperti kontrak, aspek, dan dokumentasi

Fase opsional ini meningkatkan tata kelola dan metadata. Anda dapat menambahkan kontrak, yang merupakan jenis aspek pihak pertama, untuk mengomunikasikan secara formal irama pembaruan data yang disepakati, dengan menentukan parameter seperti frekuensi pembaruan, waktu pembaruan, dan nilai minimum. Anda juga menyertakan Aspek untuk memberikan metadata tambahan untuk produk data Anda. Selain itu, Anda dapat menambahkan dokumentasi rich text, seperti panduan pengguna dan contoh kueri.

Untuk membuat dan mengonfigurasi produk data, selesaikan langkah-langkah di bagian berikut:

Membuat produk data

Konsol

Di konsol Google Cloud , buka halaman Produk data Dataplex Universal Catalog.

Buka Produk data
Klik Create.
Di panel Create data products, masukkan detail berikut:
- Nama produk data: Masukkan nama unik untuk produk data Anda.
- ID produk data: Ini adalah ID unik yang dibuat secara otomatis. Anda dapat mengedit kolom ini.
- Project ID: Ini adalah ID unik project tempat produk data dibuat. Jelajahi dan pilih project.
- Region: Pilih region atau multi-region tempat produk data dibuat.
- Ikon: Jelajahi dan pilih ikon untuk mengidentifikasi produk data secara visual. Tindakan tersebut bersifat opsional.
- Deskripsi: Masukkan deskripsi singkat tentang produk data.
- Kontak: Masukkan ID email pemilik produk data.
- Label: Tambahkan label key-value untuk mengatur resource Anda. Tindakan ini bersifat opsional.
Klik Buat produk data.

REST

Untuk membuat produk data, gunakan metode dataProducts.create.

Misalnya, kirim permintaan POST berikut:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"display_name": "DISPLAY_NAME", "owner_emails": ["EMAIL_IDs"]}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts?data_product_id=DATA_PRODUCT_ID

Ganti kode berikut:

DISPLAY_NAME: nama yang mudah digunakan untuk produk data Anda
EMAIL_IDs: ID email pemilik produk data yang dipisahkan koma
PROJECT_ID: ID project Google Cloud Anda
LOCATION: region tempat Anda ingin membuat produk data
DATA_PRODUCT_ID: ID unik untuk produk data Anda

Opsional: Tambahkan aset

Konsol

Di panel Tambahkan aset, klik +Tambahkan.
Telusuri dan pilih aset yang ingin Anda tambahkan ke produk data. Aset yang Anda pilih harus berada di region yang sama dengan produk data.

Jika memiliki izin yang diperlukan, Anda dapat melihat metadata aset dengan mengklik aset.
Untuk menyaring hasil penelusuran, gunakan Filter.
Setelah Anda memilih aset, klik Tambahkan.

Catatan: Dalam pratinjau, Anda dapat menambahkan maksimum 10 aset ke produk data.
Klik Lanjutkan.

REST

Untuk menambahkan aset data ke produk data, gunakan metode dataAssets.create.

Misalnya, kirim permintaan POST berikut:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"resource": "RESOURCE_NAME"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets?data_asset_id=DATA_ASSET_ID

Ganti kode berikut:

RESOURCE_NAME: nama resource lengkap aset data (misalnya, //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)
PROJECT_ID: ID Google Cloud project Anda
LOCATION: region tempat produk data berada
DATA_PRODUCT_ID: ID produk data
DATA_ASSET_ID: ID unik untuk aset data ini dalam produk data

Opsional: Mengonfigurasi grup akses dan izin aset

Di panel Konfigurasi grup akses dan izin aset, Anda dapat membuat grup akses dan menetapkan izin ke aset.

Mengonfigurasi grup akses

Konsol

Klik Tambahkan grup akses.
Di kolom Nama grup akses, masukkan nama untuk grup akses. Contoh, Analyst.
Di kolom Deskripsi grup akses, masukkan deskripsi untuk grup akses.
Di kolom Access group identifier, masukkan alamat email grup Google yang ingin Anda tetapkan ke grup akses ini. Konsumen produk data yang meminta akses ke grup akses ini dapat ditambahkan sebagai anggota ke grup Google yang dipetakan.

Jika Anda tidak memiliki grup Google, Anda dapat membuatnya. Untuk informasi selengkapnya, lihat Membuat dan mengelola grup Google di konsol Google Cloud .

Catatan: Anda dapat menambahkan maksimum tiga grup akses per produk data.
Klik Tambahkan.

REST

Untuk mengonfigurasi grup akses untuk produk data, gunakan metode dataProducts.patch.

Misalnya, kirim permintaan PATCH berikut:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_groups": ACCESS_GROUPS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="access_groups"

Ganti kode berikut:

ACCESS_GROUPS_MAP: objek JSON yang merepresentasikan peta di mana setiap kunci adalah ID grup akses dan nilainya adalah objek AccessGroup. Contoh:

{
"analyst": {
  "id": "analyst","display_name": "Analyst access group","description": "Access group for analysts","principal":
{"google_group": "analyst-team@example.com"}
  }
}

PROJECT_ID: ID project Google Cloud Anda
LOCATION: region tempat produk data berada
DATA_PRODUCT_ID: ID produk data Anda

Mengonfigurasi izin aset

Setelah mengonfigurasi grup akses, Anda dapat mengonfigurasi izin untuk aset dalam produk data.

Konsol

Di bagian Izin aset, pilih aset yang izinnya ingin Anda konfigurasi.
Klik Konfigurasi izin.
Di kolom Pilih grup akses, pilih grup akses.
Di kolom Tetapkan peran IAM, pilih peran IAM yang ingin Anda tetapkan ke grup akses.

Misalnya, jika aset Anda adalah tabel BigQuery bernama Sales, dan jika Anda memilih grup akses Analyst, serta menetapkan peran BigQuery Metadata Viewer ke grup akses ini, konsumen produk data yang merupakan bagian dari grup akses Analyst memiliki izin BigQuery Metadata Viewer pada tabel Sales.

Anda dapat menambahkan beberapa peran ke aset.
Klik Configure. Aset kini menampilkan izin yang ditetapkan.
Untuk mengonfigurasi izin aset lainnya, ulangi langkah-langkah tersebut.
Klik Lanjutkan.

REST

Untuk mengonfigurasi izin aset dalam produk data, gunakan metode dataAssets.patch.

Misalnya, kirim permintaan PATCH berikut:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_group_configs": ACCESS_GROUP_CONFIGS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID?update_mask="access_group_configs"

Ganti kode berikut:

ACCESS_GROUP_CONFIGS_MAP: objek JSON yang merepresentasikan peta di mana setiap kunci adalah ID grup akses dan nilainya adalah objek AccessGroupConfig. Contoh:
```
{
"analyst": {
  iam_roles: ["roles/bigquery.dataViewer"]
  }
}
```
PROJECT_ID: ID project Google Cloud Anda
LOCATION: region tempat produk data berada
DATA_PRODUCT_ID: ID produk data Anda
DATA_ASSET_ID: ID aset yang izinnya ingin Anda konfigurasi

Opsional: Tambahkan detail tambahan

Anda juga dapat menambahkan kontrak, aspek, dan dokumentasi tambahan untuk produk data.

Menambahkan kontrak

Konsol

Di panel Tambahkan detail tambahan, klik Tambahkan kontrak.
Di kolom Select contract, pilih Refresh cadence.
Di kolom Frekuensi, pilih jadwal yang disepakati untuk seberapa sering data diperbarui atau dikirimkan, sehingga memastikan alur yang dapat diprediksi dari produsen data ke konsumen data. Contoh, Weekly.
Di kolom Waktu pembaruan, masukkan waktu maksimum yang dapat diterima saat data diperbarui di sumbernya dan saat data tersebut tersedia untuk konsumen. Contoh, 23:00 PST.
Di kolom Threshold (dalam menit), masukkan batas yang dapat diukur dalam menit untuk penundaan yang dapat diterima dalam pengiriman data. Misalnya, masukkan 30 untuk menetapkan batas sebagai 30 menit.
Opsional: Di kolom Cron schedule, masukkan ekspresi cron yang menentukan jadwal untuk pembuatan dan pengiriman data dalam format: MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK

Berikut adalah nilai yang diterima:
- MINUTE: 0-59
- HOUR: 0-23
- DAY_OF_MONTH: 1-31
- MONTH: 1-31 atau JAN-DEC
- DAY_OF_WEEK: 0-6 atau SUN-SAT
Misalnya, 0 8 * * 1-5 berjalan pada pukul 08.00 pada hari kerja (Senin-Jumat).
Klik Simpan.

REST

Kontrak dimodelkan sebagai aspek pada produk data. Untuk menambahkan kontrak Refresh Cadence untuk produk data, gunakan metode entries.patch.

Misalnya, kirim permintaan PATCH berikut:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
  "aspects": {
    "dataplex-types.global.refresh-cadence": {
      "aspectType": "projects/dataplex-types/locations/global/aspectTypes/refresh-cadence",
      "data": {
        "frequency": "REFRESH_FREQUENCY"
      }
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_ID/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"

Ganti kode berikut:

REFRESH_FREQUENCY: jadwal yang disepakati untuk seberapa sering data diperbarui atau dikirimkan, sehingga memastikan alur yang dapat diprediksi dari produsen data ke konsumen data. Contoh: Weekly
PROJECT_ID: ID Google Cloud project tempat panggilan API dilakukan
LOCATION: region endpoint layanan Dataplex Universal Catalog yang Anda panggil (misalnya, us-central1)
DATA_PRODUCT_PROJECT_ID: project ID tempat resource produk data berada
DATA_PRODUCT_LOCATION: lokasi resource produk data
DATA_PRODUCT_ID: ID produk data Anda

Menambahkan metadata tambahan

Untuk menambahkan metadata tambahan untuk produk data sebagai aspek, ikuti langkah-langkah berikut:

Konsol

Di panel Tambahkan detail tambahan, klik + Tambahkan aspek.
Di kolom Pilih jenis aspek, telusuri dan pilih jenis aspek dari daftar. Contoh, Geo context.
Di kolom Negara, pilih negara tempat aset berada.
Di kolom Region, pilih wilayah bisnis tempat aset berada.
Klik Simpan.
Untuk menambahkan dokumentasi tambahan seperti panduan pengguna atau contoh kueri, klik Edit di samping Dokumentasi. Tindakan ini akan membuka editor teks kaya. Tambahkan konten, lalu klik Simpan.
Klik Simpan.

Produk data yang baru dibuat akan muncul di halaman Produk data Dataplex Universal Catalog.

REST

Untuk menambahkan aspek dan dokumentasi produk data, gunakan metode entries.patch.

Dokumentasi untuk produk data dikelola melalui jenis aspek sistem overview.

Langkah berikutnya

Pelajari lebih lanjut cara mengelola produk data.
Pelajari cara menelusuri produk data.
Sebagai konsumen data, pelajari cara meminta akses ke produk data.

Membuat produk data Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Sebelum memulai

Peran yang diperlukan

Peran pemilik produk data

Izin yang diperlukan

Peran untuk konsumen produk data

Membuat dan mengonfigurasi produk data

Membuat produk data

Konsol

REST

Opsional: Tambahkan aset

Konsol

REST

Opsional: Mengonfigurasi grup akses dan izin aset

Mengonfigurasi grup akses

Konsol

REST

Mengonfigurasi izin aset

Konsol

REST

Opsional: Tambahkan detail tambahan

Menambahkan kontrak

Konsol

REST

Menambahkan metadata tambahan

Konsol

REST

Langkah berikutnya

Membuat produk data