Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda menyerap dan mengelola metadata terbaru secara otomatis dari sumber data Google Cloud yang didukung. Untuk menggunakan Knowledge Catalog di project Google Cloud , Anda harus mengaktifkan Dataplex API, Dataproc API, dan Dataproc Metastore API.
Sebelum memulai
Buat project Google Cloud dan aktifkan penagihan. Karena mengaktifkan API dapat menimbulkan penagihan, organisasi Anda mungkin membatasi siapa yang dapat mengaktifkan layanan.
Untuk mengaktifkan dan menonaktifkan Dataplex API, Anda memerlukan peran Owner (
roles/owner), Editor (roles/editor), atau Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Untuk mengetahui informasi selengkapnya, lihat Mengelola akses dengan IAM dan Mengaktifkan dan menonaktifkan layanan.
Mengaktifkan Knowledge Catalog
Anda dapat menggunakan project yang sudah ada dengan Knowledge Catalog atau membuat project baru. Sebaiknya buat project baru. Jika Anda menggunakan project baru Google Cloud atau project yang mengaktifkan BigQuery API, Dataplex API akan diaktifkan secara default. Namun, Anda tetap perlu mengaktifkan Dataproc API dan Dataproc Metastore API.
Agar resource yang dibuat oleh data lake dalam project Anda tetap terpisah satu sama lain, buat project per instance data lake.
Untuk membuat project dan mengaktifkan Knowledge Catalog, ikuti langkah-langkah berikut:
- Di konsol Google Cloud , pilih atau buat project.
- Pastikan penagihan diaktifkan untuk project Anda.
-
Aktifkan Dataplex, Managed Service untuk Apache Spark, dan Dataproc Metastore API, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.
Menonaktifkan Knowledge Catalog
Jika Anda menggunakan Knowledge Catalog dalam project yang juga menggunakan BigQuery, perhatikan efeknya pada perilaku BigQuery saat Anda menonaktifkan Knowledge Catalog.
Untuk menghindari biaya tambahan, selesaikan langkah-langkah berikut sebelum Anda menonaktifkan Knowledge Catalog:
Di konsol Google Cloud , hapus setiap instance data lake di project Anda. Untuk menghapus data lake, Anda harus menghapus setiap aset dan zona terlebih dahulu. Untuk mengetahui informasi selengkapnya, lihat
projects.locations.lakes.delete.Di konsol Google Cloud , hapus semua grup entri kustom di project Anda. Menghapus grup entri akan menghapus semua entri yang termasuk dalam grup entri tersebut. Untuk mengetahui informasi selengkapnya, lihat Menghapus grup entri.
Pilih project untuk menonaktifkan Dataplex API.
Buka halaman Enabled APIs & services.
Klik Cloud Dataplex API.
Klik Disable API. Konfirmasi saat diminta.
Jika Anda juga mengaktifkan Data Lineage API, ulangi langkah-langkah untuk menonaktifkannya. Menonaktifkan Dataplex API tidak akan menonaktifkan Data Lineage API atau menghentikan biaya Pemrosesan Premiumnya. Untuk mengetahui informasi selengkapnya, lihat Menonaktifkan silsilah data.
Langkah berikutnya
- Pelajari cara menelusuri resource.
- Pelajari cara mengukur kualitas data.
- Pelajari metadata di Knowledge Catalog.
- Ikuti panduan memulai: Melacak silsilah data untuk tabel BigQuery.
- Coba kasus penggunaan Knowledge Catalog.