Transisi dari Data Catalog ke Knowledge Catalog

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggantikan Data Catalog, yang menyediakan pengelolaan metadata yang lebih kompleks, fitur tata kelola data lanjutan, penelusuran data yang lebih canggih, kontrol akses yang tidak terlalu rumit, dan API terpadu untuk mempermudah pengembangan. Dokumen ini menunjukkan cara mentransisikan konten dan penggunaan Data Catalog Anda ke Knowledge Catalog.

Jika Anda baru menggunakan katalog, mulailah dengan Knowledge Catalog dengan mengonfigurasinya sebagai pengalaman katalog default Anda.

Knowledge Catalog memiliki API dan antarmuka web terpadu. Beralih ke Knowledge Catalog memungkinkan beban kerja dan pengguna lama serta mendatang Anda memperoleh manfaat dari fitur dan kemampuan yang ditingkatkan. Untuk mengetahui informasi selengkapnya, lihat Tentang pengelolaan metadata di Knowledge Catalog.

Untuk perbandingan Knowledge Catalog dan Data Catalog, lihat Knowledge Catalog versus Data Catalog.

Sebelum memulai

Sebelum memulai transisi, tinjau fitur pengelolaan metadata yang tidak didukung di Knowledge Catalog.

Catatan: Tag kebijakan dan taksonomi tag kebijakan, yang digunakan untuk kontrol akses tingkat kolom di BigQuery, tidak dihentikan.

Ringkasan transisi

Halaman Kelola transisi ke Knowledge Catalog di konsol Google Cloud menyediakan satu titik akses untuk mengelola transisi.

Bagian ini menjelaskan berbagai skenario transisi dan menguraikan proses transisi untuk setiap skenario.

Jika Anda tidak memiliki metadata kustom di Data Catalog atau jika Anda belum pernah menggunakan Data Catalog

Jika Anda menggunakan Data Catalog dan tidak memiliki metadata kustom, seperti tag, template tag, entri kustom, atau grup entri, atau jika Anda belum pernah menggunakan Data Catalog, selesaikan transisi dengan menyetel pengalaman UI katalog default Anda ke Knowledge Catalog.

Catatan: Jika Anda tidak memiliki metadata kustom di Data Catalog atau jika Anda belum pernah menggunakan Data Catalog, lewati semua tugas lain yang dijelaskan dalam dokumen ini.

Jika Anda memiliki metadata kustom Data Catalog atau workload terprogram

Jika Anda menggunakan Data Catalog dengan metadata kustom (seperti tag, template tag, entri kustom, atau grup entri), Knowledge Catalog dapat mengimpor metadata kustom ini secara otomatis sebagai read-only. Untuk mengaktifkan kemampuan ini, perubahan konfigurasi diperlukan seperti yang diuraikan dalam fase persiapan.

Fase kedua adalah fase upgrade, di mana status aktif (read-write) metadata kustom Anda dipindahkan ke Knowledge Catalog. Selama fase ini, Anda juga harus memperbarui workload terprogram (seperti API, library klien, modul Terraform, dan perintah Google Cloud CLI) untuk berinteraksi dengan Knowledge Catalog.

Berikut adalah detail lebih lanjut tentang setiap fase proses transisi:

1. Fase persiapan: lakukan tugas konfigurasi yang diperlukan untuk membuat konten Data Catalog tersedia secara bersamaan di Knowledge Catalog sebagai read-only. Selama fase ini, Data Catalog tetap menjadi sumber otoritatif untuk konten metadata Anda.

   Fase persiapan mencakup tugas-tugas berikut:

   1. Memperbarui template tag privat Data Catalog menjadi publik.
   2. Konfigurasi izin IAM Knowledge Catalog untuk metadata kustom Anda.

   Untuk mengetahui informasi selengkapnya, lihat Fase persiapan.

2. Fase upgrade: memindahkan penggunaan katalog dan status aktif (read-write) metadata kustom Anda ke Knowledge Catalog.

   Fase upgrade mencakup tugas-tugas berikut:

   1. Menetapkan pengalaman UI katalog default ke Knowledge Catalog.
   2. Mengupgrade metadata kustom Data Catalog ke Knowledge Catalog.
   3. Memperbarui beban kerja terprogram.

   Setelah Anda menyelesaikan fase upgrade, Knowledge Catalog akan menjadi sumber otoritatif untuk semua metadata Anda dan Anda tidak perlu menggunakan Data Catalog.

   Untuk mengetahui informasi selengkapnya, lihat Fase upgrade.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk bertransisi dari Data Catalog ke Knowledge Catalog, berikan peran IAM berikut pada resource:

• Memperbarui template tag pribadi menjadi publik: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  Peran bawaan ini berisi izin datacatalog.tagTemplates.update, yang diperlukan untuk memperbarui template tag pribadi menjadi publik.

• Menetapkan pengalaman UI katalog default ke Knowledge Catalog: Admin Konfigurasi Migrasi DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Peran bawaan ini berisi izin datacatalog.migrationConfig.set, yang diperlukan untuk menetapkan pengalaman UI katalog default.

• Mengupgrade template tag publik Data Catalog ke Knowledge Catalog: Pemilik TagTemplate Data Catalog (roles/datacatalog.tagTemplateOwner)

  Peran bawaan ini berisi izin datacatalog.tagTemplates.update, yang diperlukan untuk mengupgrade template tag publik.

• Mengupgrade grup entri Data Catalog ke Knowledge Catalog: DataCatalog EntryGroup Owner (roles/datacatalog.entryGroupOwner)

  Peran bawaan ini berisi izin datacatalog.entryGroups.update, yang diperlukan untuk mengupgrade grup entri.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan dengan peran khusus atau peran bawaan lainnya.

Fase persiapan

Catatan: Lakukan tugas yang dijelaskan di bagian ini hanya jika Anda memiliki metadata kustom atau beban kerja terprogram Data Catalog.

Fase ini melibatkan tugas untuk membuat konten metadata Data Catalog tersedia secara bersamaan di Knowledge Catalog, dalam mode read-only.

Berikut adalah poin-poin penting yang perlu diingat selama fase persiapan:

• Data Catalog tetap menjadi sumber otoritatif untuk metadata kustom Anda.
• Penelusuran Knowledge Catalog mungkin tidak menyertakan semua template dan tag publik Data Catalog hingga Anda menyelesaikan fase persiapan.

Pelajari lebih lanjut ketersediaan metadata Data Catalog secara bersamaan di Knowledge Catalog

Grup entri kustom, entri, tag, dan template tag publik Data Catalog otomatis tersedia di Knowledge Catalog sebagai resource read-only.

Tabel berikut menunjukkan pemetaan antara resource Data Catalog dan Knowledge Catalog saat resource Data Catalog tersedia secara bersamaan di Knowledge Catalog:

Pemetaan antara Data Catalog dan Knowledge Catalog

Resource Data Catalog	Resource Knowledge Catalog yang sesuai	Deskripsi
Template tag	Jenis aspek (global)	Template tag di Data Catalog adalah resource regional. Konten mereka tersedia secara bersamaan sebagai jenis aspek global di Katalog Pengetahuan. Hal ini dilakukan untuk mempertahankan referensi lintas regional antara tag dan template tag. Definisi jenis aspek global direplikasi ke semua wilayah Google Cloud . Konsep standar seperti Schema diwakili oleh jenis aspek sistem, yang disediakan oleh Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Kategori jenis aspek.
Tag	Aspek opsional	Tag tersedia secara bersamaan sebagai aspek opsional di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.
Grup entri	Grup entri	Grup entri untuk entri sistem dibuat per project per region di Knowledge Catalog. Grup entri yang dibuat di Data Catalog tersedia secara bersamaan di Knowledge Catalog.
Entri kustom	Entri kustom	Semua entri kustom di Data Catalog secara bersamaan tersedia sebagai entri GenericEntryType di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Kategori jenis entri.
Entri sistem (Google Cloud)	Aspek wajib entri sistem	Metadata yang menjelaskan entri sistem, seperti Schema untuk tabel BigQuery, dicatat dalam aspek yang diperlukan dari jenis aspek yang ditentukan sistem.

Catatan: Biasanya, update pada konten Data Catalog disebarkan ke Knowledge Catalog dalam waktu 10 menit. Dalam beberapa kasus, proses ini mungkin memerlukan waktu lebih lama. Untuk memverifikasi konsistensi data, sebaiknya Anda menghentikan semua penulisan ke Data Catalog, dan memverifikasi resource Knowledge Catalog terhadap resource Data Catalog atau sistem sumber asli sebelum digunakan.

Memperbarui template tag privat Data Catalog menjadi publik

Catatan: Lakukan tugas ini hanya jika Anda menggunakan template dan tag pribadi di Data Catalog.
Pengelola data atau administrator data harus melakukan tugas ini.

Katalog Pengetahuan tidak mendukung konsep aspek pribadi (padanan untuk tag pribadi). Oleh karena itu, template tag dan tag pribadi tidak tersedia secara bersamaan di Knowledge Catalog. Untuk menyebarkan template dan tag privat di Knowledge Catalog, Anda harus memperbaruinya menjadi publik.

Sebelum melanjutkan, tinjau struktur template tag pribadi untuk memverifikasi bahwa struktur dan metadatanya konsisten dengan visibilitas tag publik.

Untuk memperbarui template dan tag pribadi menjadi publik, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Tag templates.

   Buka Template tag

2. Klik Kelola transisi ke Knowledge Catalog.

3. Klik tab Template tag pribadi.

4. Klik Kelola template tag.

5. Di halaman Tag templates, klik template tag pribadi yang ingin Anda perbarui.

6. Di halaman Template details, klik Edit.

7. Di bagian Visibilitas, pilih Publik.

8. Klik Update.

REST

Untuk memperbarui template tag pribadi menjadi publik, gunakan metode tagTemplates.patch.

Mengonfigurasi izin IAM Knowledge Catalog untuk metadata kustom Anda

Jenis aspek Knowledge Catalog dan grup entri kustom yang merepresentasikan template tag dan grup entri dari Data Catalog tidak mewarisi izin IAM Data Catalog asli. Izin IAM spesifik yang diperlukan juga berbeda antara Knowledge Catalog dan Data Catalog.

Misalnya, jika Anda ingin membuat aspek menggunakan jenis aspek yang di-propagate (yang merepresentasikan template tag Data Catalog), Anda harus mengonfigurasi izin IAM yang diperlukan untuk jenis aspek tersebut. Demikian pula, saat Anda menyerap metadata kustom, untuk membuat entri kustom dalam grup entri kustom yang dipropagasi, Anda harus mengonfigurasi izin IAM yang diperlukan untuk grup entri tersebut.

Jika Anda menggunakan peran IAM Data Catalog untuk mengelola akses di Data Catalog pada level project atau yang lebih tinggi, izin Knowledge Catalog yang diperlukan akan otomatis disertakan. Namun, jika Anda menggunakan peran kustom atau menetapkan peran IAM langsung ke resource tertentu, Anda harus mengonfigurasi izin Knowledge Catalog secara manual untuk aspek tertentu dan grup entri kustom tersebut.

Untuk mengetahui informasi selengkapnya tentang korespondensi izin IAM di Data Catalog dengan izin di Knowledge Catalog, lihat Pemetaan izin IAM antara Data Catalog dan Knowledge Catalog.

Untuk mengonfigurasi izin IAM Knowledge Catalog yang diperlukan untuk jenis aspek dan grup entri kustom, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Tag templates.

   Buka Template tag

2. Klik Kelola transisi ke Knowledge Catalog.

3. Klik tab Izin IAM Dataplex.

4. Untuk mengonfigurasi izin IAM Knowledge Catalog untuk jenis aspek, klik Jenis aspek dan template tag.

   1. Untuk template tag yang disebarkan dari Data Catalog, klik > Izin.

   2. Klik Add principals.

   3. Tambahkan principal baru, lalu tetapkan peran yang diperlukan.

   4. Klik Simpan.

5. Untuk mengonfigurasi izin IAM Katalog Pengetahuan untuk grup entri, klik Grup entri.

   1. Untuk grup entri yang disebarkan dari Katalog Data, klik > Izin.

   2. Klik Add principals.

   3. Tambahkan principal baru, lalu tetapkan peran yang diperlukan.

   4. Klik Simpan.

REST

Untuk mengonfigurasi izin IAM Katalog Pengetahuan untuk jenis aspek, gunakan metode aspectTypes.setIamPolicy.

Untuk mengonfigurasi izin IAM Knowledge Catalog untuk grup entri, gunakan metode entryGroups.setIamPolicy.

Fase upgrade

Catatan: Lakukan tugas yang dijelaskan di bagian ini hanya jika Anda memiliki metadata kustom atau beban kerja terprogram Data Catalog.

Fase ini melibatkan tugas untuk memindahkan status aktif (read-write) metadata kustom Data Catalog Anda ke Knowledge Catalog.

Berikut adalah poin-poin penting yang perlu diingat selama fase upgrade:

• Anda dapat menemukan dan membaca metadata Data Catalog dan Knowledge Catalog di Knowledge Catalog.
• Untuk memperbarui metadata di konsol Google Cloud , Anda akan dialihkan ke sumbernya. Misalnya, jika Anda memperbarui template tag Data Catalog, Anda akan dialihkan ke halaman template tag di Data Catalog.

Menetapkan pengalaman UI katalog default ke Knowledge Catalog

Catatan: Untuk organisasi Google Cloud , administrator organisasi harus mengonfigurasi setelan ini di tingkat organisasi. Anda juga dapat mengonfigurasinya untuk project Anda sendiri, tanpa memengaruhi setelan untuk seluruh organisasi. Untuk project tanpa organisasi, administrator project harus mengonfigurasi setelan ini untuk setiap project.

Menetapkan pengalaman UI katalog default ke Knowledge Catalog berarti:

• Antarmuka web mendorong Anda untuk membuat resource baru di Knowledge Catalog. Misalnya, secara default, opsi yang dipilih adalah Buat Jenis Aspek, bukan Buat Template Tag, dan Buat Grup Entri (Knowledge Catalog), bukan Buat Grup Entri (Data Catalog).

• Menetapkan pengalaman UI katalog default ke Knowledge Catalog biasanya merupakan operasi satu arah. Namun, Knowledge Catalog memungkinkan Anda mengembalikan perubahan dalam kasus yang jarang terjadi, misalnya, saat Anda ingin mengalihkan pengalaman UI Katalog default kembali ke Data Catalog. Jika Anda mengurungkan perubahan, Anda tidak dapat mengakses konten apa pun yang dibuat di Knowledge Catalog, di antarmuka web Data Catalog.

Untuk menyetel pengalaman UI katalog default ke Knowledge Catalog, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Tag templates.

   Buka Template tag

2. Klik Kelola transisi ke Knowledge Catalog.

3. Klik tab Pengalaman UI katalog default.

4. Klik Setel pengalaman UI katalog default ke Knowledge Catalog.

REST

Untuk menyetel pengalaman UI katalog default ke Knowledge Catalog, gunakan metode setConfig.

Mengupgrade metadata kustom Data Catalog ke Knowledge Catalog

Catatan: Administrator data, pengelola data, atau data engineer harus melakukan tugas ini.

Anda dapat mengupgrade template tag publik Data Catalog dan grup entri kustom ke Knowledge Catalog. Pastikan Anda mengupgrade setiap template tag dan grup entri kustom secara terpisah.

Peringatan: Tindakan upgrade tidak dapat diurungkan. Setelah mengupgrade template tag dan grup entri Data Catalog yang ada ke Knowledge Catalog, Anda tidak dapat memperbaruinya di Data Catalog. Namun, Anda dapat menghapusnya di Katalog Data karena tidak berdampak pada versi yang diupgrade ke Katalog Pengetahuan.

Berikut ringkasan proses upgrade:

• Efek

  • Mentransfer status aktif untuk resource dari Data Catalog ke Knowledge Catalog. Setelah upgrade, untuk mengubah resource atau mengakses statusnya saat ini, Anda harus menggunakan Katalog Pengetahuan.

• Perubahan pada konten dan alur data

  • Menandai resource sebagai read-only di Data Catalog.
  • Menandai resource sebagai read-write di Knowledge Catalog.
  • Menghentikan ketersediaan serentak resource ini.

• Dependensi

  • Mengupgrade template tag juga akan mengupgrade semua tag yang menggunakan template tersebut.
  • Mengupgrade grup entri juga akan mengupgrade semua entri dalam grup tersebut.
  • Mengupgrade entri tidak akan memengaruhi status upgrade tag dan template tag masing-masing.

Sebelum upgrade, untuk mengubah konteks bisnis entri (misalnya, overview, contacts), Anda dapat menggunakan Data Catalog API dan Dataplex API. Setelah upgrade, Anda hanya boleh menggunakan Dataplex API.

Berikut ini menjelaskan operasi yang diizinkan untuk entri Data Catalog kustom yang diberi tag, bergantung pada status upgrade grup entri kustom dan template tag terkait:

• Jika template tag aktif di Data Catalog, Anda dapat menggunakan template tag tersebut untuk membuat tag. Setelah mengupgrade template tag ke Knowledge Catalog, Anda tidak dapat menggunakannya untuk membuat tag di Data Catalog.
• Anda dapat membuat aspek menggunakan jenis aspek yang disebarkan dari template tag Data Catalog, hanya setelah Anda mengupgrade template tag.

Untuk mengupgrade template tag Data Catalog dan grup entri kustom ke Knowledge Catalog, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman Tag templates.

   Buka Template tag

2. Klik Kelola transisi ke Knowledge Catalog.

3. Klik tab Upgrade ke Knowledge Catalog.

4. Untuk mengupgrade template tag Data Catalog ke Knowledge Catalog, klik Lihat jenis aspek dan template tag.

   1. Pilih template tag yang ingin Anda upgrade.

   2. Klik Upgrade.

   3. Pada dialog konfirmasi, klik Confirm.

5. Untuk mengupgrade grup entri kustom Data Catalog ke Knowledge Catalog, klik Lihat grup entri.

   1. Pilih grup entri yang ingin Anda upgrade.

   2. Klik Upgrade.

   3. Pada dialog konfirmasi, klik Confirm.

REST

Untuk mengupgrade template tag Data Catalog dan grup entri kustom ke Knowledge Catalog, gunakan metode tagTemplates.patch.

Setelah Anda menyelesaikan fase upgrade, Knowledge Catalog akan menjadi sumber otoritatif untuk semua metadata Anda, dan Anda tidak perlu menggunakan Data Catalog.

Catatan: Mungkin ada sedikit jeda setelah upgrade, sebelum semua perubahan Data Catalog ditampilkan di Knowledge Catalog. Untuk memverifikasi konsistensi data dalam workload yang sensitif terhadap waktu, sebaiknya verifikasi resource Knowledge Catalog terhadap resource Data Catalog atau sistem sumber asli sebelum digunakan.

Memperbarui workload terprogram

Knowledge Catalog dilengkapi dengan API, library klien, modul Terraform, dan perintah Google Cloud CLI baru. Oleh karena itu, Anda harus mengupdate workload yang ada dengan penggunaan Data Catalog secara terprogram ke Knowledge Catalog. Lihat contoh kode untuk Knowledge Catalog.

Pastikan Anda menyelaraskan pembaruan beban kerja terprogram dengan mengupgrade resource dependen, seperti template tag dan grup entri kustom. Hal ini diperlukan karena upgrade memindahkan status aktif (read-write) resource dari Data Catalog ke Knowledge Catalog.

Berikut adalah contoh urutan pembaruan beban kerja terprogram untuk berinteraksi dengan Knowledge Catalog, yang dikoordinasikan dengan mengupgrade resource dependen:

1. Jika workload Anda dapat mentoleransi konsistensi akhir, pindahkan operasi read workload ke Knowledge Catalog.

2. Pindahkan workload yang melakukan operasi pemberian tag write ke Knowledge Catalog yang dikoordinasikan dengan mengupgrade template tag yang sesuai.

3. Pindahkan beban kerja yang melakukan operasi penyerapan kustom write ke Knowledge Catalog yang dikoordinasikan dengan mengupgrade grup entri kustom masing-masing.

Jika Anda perlu memisahkan update beban kerja dan mengupgrade resource yang sesuai, pertimbangkan untuk menerapkan logika dalam beban kerja untuk merutekan read-write ke Data Catalog atau Knowledge Catalog berdasarkan status upgrade resource. Dengan demikian, workload akan beroperasi secara independen dari status upgrade resource terkait.

Catatan: Katalog Pengetahuan tidak mendukung pengelolaan entri dan aspek kustom menggunakan Terraform. Sebagai gantinya, Anda dapat mengelola metadata kustom secara terprogram dalam skala besar menggunakan pipeline konektivitas terkelola atau metode API impor metadata.

Langkah berikutnya

• Pelajari lebih lanjut pengelolaan metadata di Knowledge Catalog.
• Pelajari cara menelusuri resource di Knowledge Catalog.
• Pelajari cara mengelola aspek dan memperkaya metadata.
• Pelajari cara mengelola entri dan menyerap sumber kustom.
• Lihat referensi Dataplex API.