Tentang metadata di Knowledge Catalog

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda menemukan dan mengindeks struktur teknis, konteks bisnis, metrik kualitas data, dan hubungan operasional secara otomatis di seluruh data estate terdistribusi. Knowledge Catalog mengatur metadata ini ke dalam metamodel yang fleksibel dan dapat diperluas serta grafik konteks aktif yang membantu Anda mengatur aset data dan melakukan grounding pada agen AI generatif.

Metamodel Knowledge Catalog

Metamodel Knowledge Catalog menyediakan pengelolaan metadata terstruktur yang terpadu dan membangun fondasi struktural Active Context Graph dalam Agentic Data Cloud Google. Grafik konteks ini membantu Anda dan tim data menemukan dan mengatur aset, serta memungkinkan agen AI generatif mengambil konteks bisnis yang di-grounding dan tepercaya.

Knowledge Catalog mengatur metadata melalui hierarki modular yang terdiri dari container, aset, skema, dan hubungan:

  • Penampung dan aset: Grup entri mengatur entri, yang mewakili aset data individual dan kolom skemanya.
  • Pengayaan terstruktur: Jenis aspek menentukan skema untuk aspek, yang melampirkan metadata terstruktur ke entri, kolom, atau hubungan.
  • Standar dan tata kelola: Jenis entri menentukan template yang menerapkan aspek yang diperlukan pada entri.
  • Hubungan: Jenis link entri menentukan hubungan (link entri) yang menghubungkan entri dan istilah bisnis terkait.

Tabel berikut merangkum perbedaan antara resource yang dikelola sistem (disediakan secara otomatis oleh Google Cloud) dan resource kustom yang ditentukan pengguna:

Elemen metamodel Dikelola sistem (bawaan) Ditentukan pengguna (khusus)
Grup entri Ditetapkan per project untuk layanan Google Cloud (misalnya, @bigquery, @spanner, @pubsub). Dibuat oleh pengguna untuk mengelompokkan dan mengelola aset data kustom dan izin.
Entri Diisi secara otomatis dari sumber Google Cloud (seperti tabel, tampilan, set data, dan model BigQuery). Dibuat oleh pengguna untuk merepresentasikan sumber data, file, atau database pihak ketiga yang dipesan khusus.
Jenis aspek Template sistem yang telah ditetapkan (misalnya, Schema, Overview, Contacts, DataQuality, Lineage). Dibuat oleh pengguna untuk menentukan skema metadata khusus domain (seperti klasifikasi PII atau tingkat SLA).
Aspek Diisi secara otomatis dari sistem sumber, log kueri, atau pemindaian otomatis. Dibuat oleh pengguna, pipeline, atau agen dan dilampirkan ke entri, kolom, atau link entri.
Jenis entri Template standar yang mewakili jenis resource Google Cloud . Ditentukan oleh pengguna untuk menentukan aspek wajib dan opsional untuk aset data kustom.
Link entri Jenis hubungan bawaan (seperti synonym, definition, schema-join, related). Instance yang dibuat di antara entri atau kolom tertentu untuk membuat model koneksi lintas sistem.

Bagian berikut menjelaskan komponen utama yang membentuk metamodel Knowledge Catalog.

Grup entri

Grup entri (EntryGroup) adalah container regional untuk entri dan link entri yang bertindak sebagai batas administratif dan keamanan untuk mengelola resource tersebut.

Gunakan grup entri untuk mengonfigurasi hal berikut:

  • Kontrol akses Identity and Access Management: Memberikan izin lihat atau edit kepada tim tertentu di grup entri tanpa mengubah izin entri individual.
  • Atribusi lokasi dan project: Kelompokkan aset berdasarkan wilayah geografis dan kepemilikan project.

Untuk sumber Google Cloud , Knowledge Catalog membuat grup entri sistem per project secara otomatis (seperti @bigquery atau @spanner). Untuk sumber data kustom, Anda membuat grup entri kustom.

Misalnya, tim keuangan dapat membuat grup entri kustom bernama production_finance_data untuk mengelola izin akses bagi semua entri kustom terkait keuangan di satu lokasi.

Grup entri yang berisi entri dan link entri yang menghubungkan entri. Grup entri yang berisi entri dan link entri yang menghubungkan entri.
Gambar 1. Grup entri, entri, dan link entri (klik untuk memperbesar).

Untuk mengetahui informasi selengkapnya, lihat Grup entri.

Entri dan jalur skema

Entri (Entry) mewakili satu aset data. Entri dapat mewakili tabel database terstruktur, model analisis, tabel objek tidak terstruktur, atau set data eksternal kustom.

Komponen utama entri mencakup hal berikut:

  • ID entri: Nama resource unik dalam grup entri induknya.
  • Jenis entri: Template yang menentukan struktur entri dan aspek yang diperlukan.
  • Aspek: Atribut metadata terstruktur yang dilampirkan ke entri.
  • Jalur skema (kolom): Subbagian atau kolom tertentu dalam aset data, seperti kolom dalam tabel BigQuery atau kolom dalam skema JSON.

Kolom memungkinkan Anda melampirkan metadata ke setiap kolom dalam aset. Anda tidak perlu menentukan kolom secara manual; kolom akan diisi saat Anda melampirkan aspek jenis schema ke entri. Anda dapat mereferensikan kolom bertingkat menggunakan jalur notasi titik (misalnya, customer.address.postal_code).

Misalnya, tabel BigQuery bernama orders_project.sales.customer_orders direpresentasikan sebagai entri. Untuk mendeskripsikan kolom email_address dalam tabel tersebut sebagai berisi informasi sensitif, Anda melampirkan aspek klasifikasi langsung ke jalur kolom email_address.

Untuk mengetahui informasi selengkapnya, lihat Entri.

Jenis aspek

Jenis aspek (AspectType) adalah template skema yang dapat digunakan kembali yang menentukan kolom, jenis data, dan aturan validasi untuk aspek. Setiap aspek adalah instance dari jenis aspek.

Jenis aspek dapat berupa yang ditentukan sistem (disediakan oleh Google Cloud) atau kustom (dibuat oleh organisasi Anda).

Saat menentukan metadata_template untuk jenis aspek kustom, Anda dapat menggunakan jenis data yang didukung berikut:

Jenis data kolom Deskripsi Contoh kasus penggunaan
string Nilai teks (UTF-8). Email pemilik, label klasifikasi data, nama departemen.
integer/number Nilai numerik (bilangan bulat atau angka floating point). Hari retensi data, persentase target SLA, peringkat prioritas.
boolean Flag benar atau salah. contains_pii: true, is_certified: false.
enum Daftar nilai string yang diizinkan yang telah ditentukan sebelumnya. Lingkungan: ["DEV", "STAGING", "PROD"].
datetime/timestamp Tanggal dan waktu berformat ISO 8601. Tanggal terakhir disertifikasi, batas waktu peninjauan kepatuhan.
record Objek terstruktur bertingkat yang berisi kolom turunan. ContactInfo { name: string, email: string, phone: string }.
array Daftar nilai berulang dari jenis primitif atau data apa pun. Daftar pemilik data sekunder: ["user1@example.com", "user2@example.com"].
map Pasangan string nilai kunci untuk atribut yang dapat diperluas. Tag deployment kustom: {"cost_center": "1042", "tier": "gold"}.

Misalnya, untuk menentukan template yang dapat digunakan kembali untuk informasi kontak, Anda dapat membuat jenis aspek bernama ContactInfo dengan kolom untuk owner_name (string), email (string), dan support_channel (string).

Jenis aspek yang menentukan aspek yang dilampirkan ke entri dan jenis entri yang memerlukan jenis aspek. Jenis aspek yang menentukan aspek yang dilampirkan ke entri dan jenis entri yang memerlukan jenis aspek.
Gambar 2. Jenis aspek, aspek, dan jenis entri (klik untuk memperbesar).

Untuk mengetahui informasi selengkapnya, lihat Jenis aspek.

Aspek

Aspek (Aspect) adalah sekumpulan kolom metadata terkait yang sesuai dengan jenis aspek. Aspek dilampirkan ke entri, jalur entri (kolom), atau link entri untuk mendeskripsikan resource tersebut.

Tidak seperti sistem pemberian tag lama, aspek dalam Knowledge Catalog dienkapsulasi langsung dalam entri induk atau link entrinya, sehingga Anda dapat melakukan operasi baca dan tulis atomik.

Aspek digunakan di beberapa fungsi:

  • Struktur teknis: Aspek Schema menjelaskan kolom tabel, jenis data, dan deskripsi.
  • Konteks bisnis: Aspek kustom menjelaskan kepemilikan, kepatuhan, dan status siklus proses.
  • Kepercayaan operasional: Aspek kualitas data mencatat hasil pemindaian aturan otomatis dan skor validasi.
  • Grafik entity tidak terstruktur: Aspek GraphProfile menangkap entity dan edge hubungan yang diekstrak AI dari file mentah.

Misalnya, Anda dapat membuat instance jenis aspek ContactInfo dengan nilai {"owner_name": "Alex", "email": "alex@example.com"} dan melampirkannya ke entri customer_orders.

Untuk mengetahui informasi selengkapnya, lihat Aspek.

Jenis entri

Jenis entri (EntryType) adalah template tata kelola untuk membuat entri kustom. Layanan ini menerapkan standar kualitas metadata dengan menetapkan jenis aspek yang diperlukan yang harus dilampirkan ke entri jenis tersebut.

Saat Anda membuat entri dari jenis entri tertentu, Knowledge Catalog akan memvalidasi bahwa semua jenis aspek yang ditandai sebagai required dalam jenis entri ada dan valid.

Misalnya, Anda dapat membuat jenis entri bernama CertifiedDataProduct yang menentukan jenis aspek OwnerInfo dan DataRetentionPolicy sesuai kebutuhan. Setiap entri baru yang dibuat dengan jenis entri ini harus menyertakan aspek-aspek ini sebelum Anda dapat menyimpannya.

Untuk mengetahui informasi selengkapnya, lihat Jenis entri.

Link entri dan jenis link entri

Link entri (EntryLink) membuat hubungan semantik antara dua entri data atau antara kolom tertentu dalam entri. Setiap link entri adalah instance dari jenis link entri (EntryLinkType).

Link entri dapat bersifat searah atau tidak searah:

  • Simetris (non-directional): Hubungan yang kedua sisinya setara (misalnya, synonym, related, atau schema-join).
  • Asimetris (terarah): Hubungan dengan sumber dan target eksplisit (misalnya, definition, yang menautkan istilah glosarium bisnis ke kolom tabel).

Anda juga dapat melampirkan aspek langsung ke link entri (kecuali untuk link schema-join). Dengan begitu, Anda dapat mendeskripsikan hubungan itu sendiri, seperti mencatat skor keyakinan penggabungan, aturan transformasi, atau catatan pemetaan.

Knowledge Catalog mendukung jenis link entri bawaan berikut:

  • synonym: Menghubungkan konsep bisnis yang setara atau istilah alternatif.
  • related: Menghubungkan aset yang digabungkan secara longgar di seluruh sistem.
  • definition: Menghubungkan definisi glosarium bisnis ke kolom atau entri fisik.
  • schema-join: Menghubungkan tabel yang dapat digabungkan di sepanjang jalur kunci asing atau skema yang cocok.
Link entri dengan entri, aspek, dan jenisnya yang ditautkan. Link entri dengan entri, aspek, dan jenisnya yang ditautkan.
Gambar 3. Link entri dengan entri, aspek, dan jenisnya yang ditautkan (klik untuk memperbesar).

Untuk mengetahui informasi selengkapnya, lihat referensi REST EntryLinks.

Glosarium dan istilah bisnis

Glosarium bisnis memungkinkan Anda membuat taksonomi bisnis formal dengan menentukan glosarium, kategori, dan istilah bisnis.

Dengan menggunakan link entri jenis definition atau synonym, Anda dapat memetakan istilah bisnis langsung ke entri fisik dan jalur kolom. Saat pengguna atau agen AI menelusuri katalog menggunakan bahasa alami, mesin telusur akan menyelesaikan istilah bisnis ini untuk menemukan aset data fisik yang benar.

Untuk mengetahui informasi selengkapnya, lihat Mengelola glosarium bisnis.

Sumber Google Cloud yang didukung

Knowledge Catalog otomatis menyerap metadata dari sumberGoogle Cloud berikut. Untuk beberapa layanan, seperti AlloyDB untuk PostgreSQL dan Cloud SQL, Anda harus mengaktifkan integrasi Knowledge Catalog terlebih dahulu sebelum metadata dapat diserap:

  • Analisis dan lakehouse

    • Set data, tabel, tampilan, model, rutinitas, koneksi, set data tertaut, dan grafik (Pratinjau) BigQuery
    • Pertukaran dan listingan BigQuery Sharing (sebelumnya Analytics Hub)
    • Repositori dan aset kode Dataform
    • Layanan, database, dan tabel Dataproc Metastore

    • Tabel Iceberg REST Catalog (termasuk Google Cloud Lakehouse katalog runtime IRC, Databricks Unity IRC, AWS Glue Data Catalog IRC, dan Snowflake Horizon IRC)

    • Tabel Apache Hive

    • Tabel Delta Lake SAP Business Data Cloud (BDC)

    • Tabel Apache Iceberg yang dikelola oleh katalog runtime Lakehouse

  • AI dan Machine Learning

    • Model AI, set data, grup fitur, tampilan fitur, dan instance toko online Vertex AI

  • Business intelligence

    • Instance Looker (Google Cloud core), dasbor, elemen dasbor, Look, dasbor LookML, elemen dasbor LookML, project LookML, model, Explore, tampilan, dan agen

  • Database

    • Instance, cluster, dan tabel Bigtable (termasuk detail grup kolom)
    • Instance, database, tabel, dan tabel virtual Spanner

  • Streaming dan pesan

    • Topik Pub/Sub

  • Data tidak terstruktur

  • Database operasional

Untuk mengimpor metadata dari sumber pihak ketiga ke Knowledge Catalog, Anda dapat menggunakan konektor Knowledge Catalog atau pipeline konektivitas terkelola. Untuk mengetahui informasi selengkapnya, lihat Tentang Konektor Knowledge Catalog dan Ringkasan konektivitas terkelola.

Batasan project dan lokasi

Resource katalog di Knowledge Catalog ditempatkan dalam project dan lokasi geografis Google Cloud tertentu. Batasan cakupan berikut berlaku:

Resource Aturan lokasi Aturan project
Entri Lokasi entri harus cocok dengan lokasi EntryType-nya, atau EntryType harus berupa global. Dapat mereferensikan jenis entri global atau project yang sama.
Aspek pada entri AspectType aspek harus disimpan di lokasi yang sama dengan entri, atau AspectType harus berupa global. Dapat mereferensikan jenis aspek global atau project yang sama.
Link entri Lokasi link entri harus cocok dengan EntryLinkType-nya, atau EntryLinkType harus berupa global. Dapat menautkan entri yang berada di berbagai project dalam organisasi yang sama.
Jenis entri Terdiri dari jenis aspek yang disimpan di lokasi yang sama dengan jenis entri, atau jenis aspek yang global. Jika jenis entri mereferensikan jenis aspek kustom, jenis aspek harus berada dalam project dan lokasi yang sama.

Feed perubahan metadata

Knowledge Catalog dapat melakukan streaming peristiwa perubahan metadata dalam waktu hampir real-time menggunakan feed perubahan metadata.

Feed perubahan metadata memublikasikan notifikasi tentang pembuatan, pembaruan, atau penghapusan entri ke topik Pub/Sub yang Anda konfigurasi. Klien pelanggan dapat menggunakan peristiwa ini untuk mengotomatiskan alur kerja operasional, seperti memicu evaluasi kualitas data saat skema berubah atau memperbarui dasbor tata kelola downstream.

Untuk mengetahui informasi selengkapnya, lihat Tentang feed perubahan metadata.

Harga

Knowledge Catalog menggunakan SKU penyimpanan metadata untuk mengenakan biaya atas volume metadata yang disimpan. Untuk mengetahui informasi selengkapnya, lihat Harga Knowledge Catalog.

Tidak ada biaya untuk hal berikut:

  • Membuat dan mengelola resource metamodel katalog (jenis entri, jenis aspek, grup entri, entri, dan link entri).
  • Panggilan API Penelusuran dan kueri penelusuran yang dilakukan di konsol Google Cloud .

Langkah berikutnya

Panduan memulai

Menemukan aset dan melampirkan metadata aspek kustom ke tabel BigQuery.

Penyerapan

Tentukan jenis entri dan serap metadata kustom dari database dan pipeline eksternal.

Tata Kelola

Membangun taksonomi bisnis dan memetakan istilah langsung ke tabel dan kolom fisik.

Discovery

Temukan resource di seluruh Google Cloud dan sumber kustom menggunakan predikat penelusuran.

Konteks AI

Mengambil metadata yang siap digunakan LLM dan Konteks Aktif untuk membumikan agen AI generatif.