Lingkungan data perusahaan sering kali berisi ratusan set data, tabel, dan model data di beberapa sistem penyimpanan. Untuk memahami siapa pemilik setiap set data, apakah set data tersebut berisi informasi sensitif seperti informasi identitas pribadi (PII), atau apakah set data tersebut memenuhi standar kualitas, Anda biasanya harus menyelidiki sumber data secara manual atau melacak dokumentasi yang tersebar.
Aspek dan jenis aspek di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) mengatasi masalah ini dengan memberi Anda cara yang standar dan dapat diperluas untuk melampirkan konteks bisnis terstruktur, kebijakan tata kelola, dan atribut operasional langsung ke aset data.
Dokumen ini menjelaskan konsep arsitektur, aturan cakupan, dan batasan tata kelola untuk jenis aspek dan aspek di Knowledge Catalog. Untuk melampirkan aspek ke entri yang ada atau membuat jenis aspek kustom, lihat Mengelola aspek dan memperkaya metadata.
Jenis aspek
Jenis aspek (AspectType) adalah template skema yang dapat digunakan kembali yang menentukan kolom metadata, jenis data, dan aturan validasi untuk suatu aspek. Sebelum dapat membuat atau melampirkan aspek, Anda harus memiliki jenis aspek yang menentukan skemanya.
Saat membuat jenis aspek kustom, Anda harus menentukan ID yang mematuhi panduan penamaan resource Knowledge Catalog.
Kategori jenis aspek
Jenis aspek dibagi menjadi dua kategori berdasarkan kepemilikan dan cakupan: jenis aspek kustom dan jenis aspek sistem.
Jenis aspek kustom
Jenis aspek kustom adalah template skema yang dibuat dan dikelola oleh organisasi Anda. Anda menggunakannya untuk mengambil metadata khusus domain, seperti kepemilikan bisnis, tingkat SLA, kebijakan retensi data, atau klasifikasi kepatuhan.
Jenis aspek kustom berlaku untuk entri dan kolom, tetapi tidak untuk link entri. Artinya, Anda dapat menggunakan jenis aspek kustom untuk menentukan taksonomi khusus organisasi Anda sendiri untuk aset data dan kolom skema individual. Karena jenis aspek kustom tidak berlaku untuk link entri, Anda tidak dapat menggunakannya untuk menentukan metadata hubungan kustom antar-entri. Link entri hanya mendukung jenis aspek sistem tertentu. Anda dapat menentukan jenis aspek kustom di lokasi regional tertentu atau sebagai resource global:
- Jenis aspek global: Direplikasi di semua region Google Cloud dan dapat dilampirkan ke entri yang berada di region mana pun. Dengan menentukan jenis aspek global, Anda dapat menerapkan satu skema standar di seluruh aset terdistribusi tanpa mengelola duplikat. Namun, karena definisi skema direplikasi secara global, pilih jenis aspek regional jika persyaratan kebijakan kepatuhan atau residensi data organisasi Anda mengharuskan definisi metadata tetap terbatas pada batas geografis tertentu.
- Jenis aspek regional: Disimpan di region tertentu, seperti
us-central1ataueurope-west1, dan hanya dapat dilampirkan ke entri yang berada di region yang sama. Pilih jenis aspek regional untuk mematuhi persyaratan kedaulatan data atau saat struktur metadata bersifat unik untuk workload regional. Jika memerlukan struktur metadata yang sama di beberapa region yang terisolasi, Anda harus membuat dan mengelola definisi jenis aspek terpisah di setiap region target.
Untuk mengetahui informasi selengkapnya tentang cakupan resource, lihat Batasan project dan lokasi.
Jenis aspek sistem
Jenis aspek sistem adalah template yang telah ditentukan sebelumnya yang disediakan dan dikelola oleh Google Cloud . Jenis aspek sistem selalu bersifat global dan disimpan dalam project yang dikelola Google dengan nomor project 655216118709 dan alias dataplex-types. Contoh:
projects/655216118709/locations/global/aspectTypes/schema
Jenis aspek sistem terbagi dalam dua grup fungsional:
- Jenis aspek sistem yang dapat digunakan kembali: Template pihak pertama yang dapat Anda lampirkan ke entri atau kolom untuk mencatat metadata standar, seperti definisi skema, pembuatan profil data otomatis, atau kartu skor kualitas data.
- Jenis aspek sistem yang dibatasi: Dikelola secara otomatis oleh layanan Google Cloud untuk merepresentasikan atribut infrastruktur yang mendasarinya, seperti tata letak tabel BigQuery atau konfigurasi bucket Cloud Storage. Anda dapat melihat aspek dalam jenis yang dibatasi, tetapi Anda tidak dapat membuat, mengubah, atau menghapusnya secara manual.
Setiap jenis aspek sistem memiliki izin IAM-nya sendiri. Untuk mengetahui informasi selengkapnya, lihat Izin IAM untuk jenis aspek sistem, jenis entri, dan jenis link entri.
Tabel berikut mencantumkan jenis aspek sistem yang disediakan Knowledge Catalog:
| Kategori | Deskripsi | Jenis aspek yang disediakan oleh Knowledge Catalog |
|---|---|---|
| Jenis aspek sistem yang dapat digunakan kembali | Template standar yang dapat Anda lampirkan ke entri, kolom, atau link entri. |
|
| Jenis aspek sistem yang dibatasi | Template infrastruktur yang dikelola secara otomatis oleh layanan Google Cloud . Aspek bersifat hanya baca. |
Termasuk, tetapi tidak terbatas pada:
|
Jenis aspek kustom dan Gemini in BigQuery
Gemini in BigQuery mendasarkan pembuatan SQL dan penalaran data pada definisi skema standar, batasan tabel, dan kolom deskripsi tabel atau kolom native. Jenis aspek kustom yang ditentukan pengguna di Knowledge Catalog disimpan di bidang katalog untuk tata kelola, penelusuran, dan pengambilan API, tetapi tidak dimasukkan secara dinamis ke dalam pipeline pengambilan perintah kontekstual Gemini.
Artinya, untuk alur kerja Anda, fitur AI generatif di BigQuery tidak dapat otomatis membaca metadata yang disimpan di kolom aspek kustom saat membuat kueri SQL atau menjawab pertanyaan tentang data Anda.
Rekomendasi praktik terbaik
Untuk membantu memastikan bahwa model AI generatif di BigQuery menyertakan konteks bisnis ke dalam kueri yang dihasilkan, Anda harus mengisi deskripsi tabel native dan deskripsi kolom di BigQuery bersama dengan aspek katalog kustom. Pendekatan ganda ini membantu memastikan bahwa asisten AI operasional mengambil konteks tabel secara interaktif, sementara pipeline tata kelola katalog menerapkan kebijakan metadata perusahaan.
Aspek
Aspek (Aspect) adalah instance konkret dari jenis aspek yang dilampirkan ke entri, kolom, atau hubungan tertentu, yang berisi nilai metadata sebenarnya. Aspek dienkapsulasi langsung dalam resource induknya, sehingga Anda dapat melakukan operasi baca dan tulis atomik bersama dengan update entri. Artinya, Anda dapat mengambil atau memperbarui entri dan semua metadata terkaitnya dalam satu panggilan API, sehingga menghindari masalah konsistensi multi-panggilan.
Penempatan aspek dan tingkat target
Anda dapat melampirkan aspek di tiga tingkat target yang berbeda dalam Knowledge Catalog:
- Aspek tingkat entri: Menjelaskan aset data secara keseluruhan. Gunakan aspek tingkat entri untuk kepemilikan tingkat aset (
contacts), ringkasan eksekutif (overview), metrik penggunaan set data (usage), dan skor kualitas gabungan (data-quality-scorecard). - Aspek tingkat kolom (jalur skema): Menjelaskan setiap kolom atau kolom bertingkat dalam tabel terstruktur. Saat mereferensikan kolom, lampirkan aspek menggunakan notasi jalur skema
@Schema.<column_name>(misalnya,@Schema.email_addressatau@Schema.billing_address.postal_code). Gunakan aspek tingkat kolom untuk klasifikasi PII, aturan kualitas data tingkat kolom, dan tag semantik. - Aspek tingkat link entri: Menjelaskan hubungan antara dua entri yang ditautkan. Anda dapat melampirkan aspek ke link entri direksional atau non-direksional (kecuali untuk link
schema-join) untuk mencatat metadata hubungan. Gunakan aspek tingkat link entri untuk skor keyakinan penggabungan, aturan transformasi, atau catatan silsilah pemetaan.
Tabel berikut merangkum penempatan aspek yang didukung:
| Target level | Resource target | Sintaksis ID kunci | Jenis aspek umum |
|---|---|---|---|
| Tingkat pemula | Aset data (tabel, model, fileset) | <aspect_type_id> |
contacts, overview, data-profile, SLA kustom |
| Tingkat kolom | Kolom dalam skema entri | <aspect_type_id>@Schema.<column_name> |
Klasifikasi PII, aturan penyamaran kolom, skor validasi kolom |
| Tingkat link entri | Hubungan semantik antar-entri | <aspect_type_id> |
Keyakinan hubungan, kriteria penggabungan, silsilah pemetaan |
Kategori aspek
Bergantung pada EntryType yang mengatur, aspek yang dilampirkan ke entri diklasifikasikan sebagai wajib atau opsional:
- Aspek yang diperlukan: Ditetapkan sebagai wajib oleh
EntryTypeentri. Aspek yang diperlukan harus diisi saat entri dibuat dan tidak dapat dihapus selama entri ada. Untuk entri sistem (seperti tabel BigQuery), aspek yang diperlukan sepertiSchemadiisi dan disinkronkan secara otomatis oleh Google Cloud. - Aspek opsional: Metadata tambahan yang dilampirkan oleh data steward, pipeline otomatis, atau agen AI untuk memperkaya entri di luar persyaratan template dasarnya. Aspek opsional dapat ditambahkan, diperbarui, atau dihapus kapan saja tanpa memengaruhi siklus proses entri.
Jenis aspek sistem khusus
Knowledge Catalog menyediakan jenis aspek sistem khusus yang dapat digunakan kembali untuk mencatat hasil pembuatan profil data, kualitas data, dan ekstraksi hubungan:
- Kartu skor kualitas data (
data-quality-scorecard): Mencatat skor kualitas data keseluruhan, status evaluasi, dan skor dimensi per kolom yang dihasilkan oleh pemindaian kualitas data Dataplex. - Aturan data (
data-rules) dan template aturan (data-quality-rule-template): Menyimpan dan mengelola aturan serta template validasi data yang dapat digunakan kembali dan diterapkan di beberapa set data. - Profil data (
data-profile): Menyimpan metrik statistik tentang data tabel, seperti persentase null, nilai yang berbeda, dan frekuensi distribusi. - Profil grafik (
graph-profile): Menangkap entity yang diekstrak AI, edge hubungan, dan grafik pengetahuan yang diekstrak dari dokumen tidak terstruktur.
Batasan cakupan project dan lokasi
Untuk mempertahankan batas tata kelola data dan mencegah dependensi metadata lintas region yang tidak disengaja, Knowledge Catalog menerapkan batasan cakupan berikut:
| Resource | Aturan lokasi | Aturan project |
|---|---|---|
| Entri | Lokasi entri harus cocok dengan lokasi EntryType-nya,
atau EntryType harus berupa global. |
Dapat mereferensikan jenis entri global atau project yang sama. |
| Aspek pada entri | AspectType aspek harus berada di lokasi yang sama dengan
entri, atau AspectType harus berupa global. |
Dapat mereferensikan jenis aspek sistem global atau jenis aspek kustom project yang sama. |
| Link entri | Lokasi link entri harus cocok dengan EntryLinkType-nya, atau
EntryLinkType harus berupa global. |
Dapat menautkan entri yang berada di berbagai project dalam organisasi yang sama. |
| Jenis entri | Terdiri dari jenis aspek yang disimpan di lokasi yang sama dengan jenis entri,
atau jenis aspek yang global. |
Jika jenis entri mereferensikan jenis aspek kustom, jenis aspek harus berada di project dan lokasi yang sama. |
Langkah berikutnya
Mengelola aspek dan memperkaya metadata
Lampirkan aspek ke entri, kolom, dan link entri, serta kelola jenis aspek kustom menggunakan konsol, gcloud CLI, atau API.
Tentang metadata di Knowledge Catalog
Pelajari metamodel terpadu, termasuk grup entri, entri, jenis aspek, dan grafik konteks aktif.
Menambahkan metadata ke tabel
Ikuti tutorial langkah demi langkah untuk menemukan aset dan melampirkan metadata aspek kustom ke tabel BigQuery.
Menelusuri dan menemukan aset
Temukan resource di seluruh Google Cloud dan sumber kustom menggunakan predikat penelusuran berbasis aspek.