Dokumen ini memberikan panduan dan praktik terbaik untuk menggunakan Knowledge Catalog (sebelumnya Dataplex Universal Catalog).
Pilih project untuk lake Anda
Saat Anda memilih project untuk menghosting lake, pertimbangkan faktor-faktor berikut:
Project harus berada dalam perimeter Kontrol Layanan VPC yang sama dengan data yang ditujukan untuk berada dalam lake.
Akun layanan lake memerlukan izin administrator pada bucket Cloud Storage atau set data BigQuery. Knowledge Catalog membuat tabel eksternal di BigQuery untuk tabel yang ditemukan di Cloud Storage. Knowledge Catalog juga menyediakan metadata tabel BigQuery, dan tabel yang ditemukan di bucket Cloud Storage, dalam layanan Dataproc Metastore. Dataproc Metastore berada dalam project data lake.
Setelan dan batasan Cloud Storage
Region: Knowledge Catalog mendukung bucket satu region dan multi-region di beberapa Google Cloud region.
Kelas penyimpanan: Bucket Cloud Storage dari semua kelas penyimpanan didukung (Standard, Nearline, Coldline, Archive). Biaya pengambilan data tambahan mungkin dikenakan untuk mengakses atau memindai data Nearline, Coldline, atau Archive.
ACL bucket: Knowledge Catalog hanya mendukung bucket Cloud Storage dengan kontrol akses seragam. Kontrol akses terperinci tidak didukung.
Pemohon Membayar: Bucket Cloud Storage dengan fitur Pemohon Membayar yang diaktifkan tidak didukung.
Panduan keamanan dan izin
Knowledge Catalog mengharuskan penambahan akun layanan Knowledge Catalog sebagai akun layanan administratif di bucket dan set data terkelola.
Knowledge Catalog memungkinkan analis mengakses bucket Cloud Storage dan set data BigQuery di berbagai project. Untuk mengaktifkan akses ini, Knowledge Catalog mengharuskan penambahan akun layanan Knowledge Catalog dengan kontrol administratif ke project ini.
Untuk Penemuan, Katalog Pengetahuan menambahkan akun layanan Dataproc Metastore ke bucket Cloud Storage. Jika memiliki cluster Dataproc Metastore sendiri, Anda dapat membuat data lake Knowledge Catalog menggunakan layanan Dataproc Metastore Anda, yang merupakan opsi saat Anda membuat data lake.
Jika Anda memilih untuk menambahkan bucket Cloud Storage dengan akses terperinci ke lake, Knowledge Catalog akan memberikan akses penuh ke bucket tersebut melalui lake karena izin Knowledge Catalog diteruskan ke semua objek dalam bucket. Jika Anda memerlukan akses terperinci, sebaiknya pisahkan data di bucket Anda ke dalam beberapa bucket.