Menggunakan Knowledge Catalog dengan BigQuery

Knowledge Catalog, (sebelumnya dikenal sebagai Dataplex Universal Catalog), berinteraksi dengan BigQuery sebagai lapisan tata kelola data dan akses agentik pusat untuk metadata BigQuery. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Knowledge Catalog.

Bagaimana cara menggunakan Knowledge Catalog dengan BigQuery?

Knowledge Catalog berinteraksi dengan BigQuery dengan cara berikut:

Penyerapan metadata otomatis

Knowledge Catalog secara otomatis menemukan dan mengindeks metadata teknis dari aset BigQuery. Ini mencakup hal-hal berikut:

Jenis aset: set data, tabel, tampilan, model, rutin, koneksi, dan set data tertaut.
Berbagi BigQuery: pertukaran dan listingan dari berbagi BigQuery (sebelumnya Analytics Hub).
Pembaruan real-time: sistem mendukung penyerapan yang mendekati real-time dan menyediakan feed perubahan metadata menggunakan Pub/Sub untuk memberi tahu sistem downstream tentang perubahan atau penghapusan skema di BigQuery.
Penemuan data gelap: Knowledge Catalog dapat memindai file tidak terstruktur (seperti PDF di Cloud Storage), mengekstrak entitas, dan mengonversinya menjadi aset yang dapat dikueri di BigQuery. Kemampuan ini membuat "data gelap" yang sebelumnya tidak dapat diakses tersedia untuk analisis berbasis BigQuery dan perujukan AI.

Representasi dan pengayaan metadata

Entri: setiap tabel atau aset BigQuery ditampilkan sebagai entri dalam katalog, bukan seluruh tabel; misalnya, project.dataset.table.
Metadata tingkat kolom: setiap kolom atau kolom direpresentasikan sebagai jalur, sehingga Anda dapat melampirkan metadata tertentu, seperti penanda PII atau skor kualitas data, ke setiap kolom dalam tabel BigQuery, bukan hanya tabel itu sendiri.
Aspek: metadata teknis diperkaya dengan aspek, yang menambahkan konteks bisnis ke data, seperti kepemilikan, kualitas data, dan dokumentasi.
Produk data: Anda dapat mengemas aset BigQuery terkait ke dalam produk data—misalnya, data bisnis e-commerce—yang memiliki akses bersama dan batasan tata kelola.

Penemuan dan penelusuran data

Penelusuran semantik: pengguna dapat menggunakan bahasa alami untuk menelusuri data BigQuery, yang sangat berguna bagi ilmuwan data dan agen AI untuk menemukan produk data tepercaya menggunakan kueri yang panjang atau kompleks.
Terjemahan nama: untuk memudahkan pencarian terprogram, sistem memungkinkan penerjemahan nama BigQuery SQL, atau nama yang sepenuhnya memenuhi syarat, menjadi nama entri Katalog Pengetahuan.

Akses dan perujukan agentik

Akses agen: Agen AI dapat menemukan dan menggunakan alat Katalog Pengetahuan secara adaptif melalui server MCP lokal atau jarak jauh.
Konteks untuk Agen AI: Knowledge Catalog mengumpulkan grafik konteks yang menautkan set data BigQuery dengan semantik bisnis, sehingga membantu mengurangi halusinasi AI dengan memastikan model menggunakan data yang disetujui perusahaan.

Tata kelola dan kepatuhan

Silsilah Data: Knowledge Catalog secara otomatis melacak alur dan transformasi data ke dalam dan ke luar tabel BigQuery. Kemampuan ini sangat penting untuk mengaudit informasi sensitif, seperti PII, di seluruh aset data.
Kontrol Akses: pengelolaan metadata terintegrasi dengan Identity and Access Management (IAM) dan VPC Service Controls untuk memastikan bahwa penemuan dan akses ke metadata BigQuery mematuhi kebijakan keamanan organisasi.

Pertimbangan migrasi

Migrasi ke Knowledge Catalog dari Data Catalog yang tidak digunakan lagi melibatkan beberapa langkah. Metadata standar dari BigQuery (seperti set data, tabel, tabel virtual) otomatis tersedia di Knowledge Catalog, sehingga proses migrasi terutama berfokus pada metadata kustom, penggunaan API, dan default antarmuka pengguna.

Berikut adalah poin-poin utama yang perlu dipertimbangkan saat melakukan migrasi:

Memahami perubahan

Knowledge Catalog menawarkan fitur yang ditingkatkan untuk pengelolaan metadata, tata kelola, dan penemuan jika dibandingkan dengan Data Catalog. Knowledge Catalog menggunakan API yang berbeda (Knowledge Catalog API) dan memiliki model data yang sedikit berbeda; misalnya, Knowledge Catalog menggunakan aspek dan jenis aspek, bukan tag dan template tag.

Menilai penggunaan katalog data saat ini

Tanpa Metadata Kustom: Jika Anda hanya mengandalkan Knowledge Catalog untuk penyerapan dan penemuan otomatis metadata BigQuery standar tanpa membuat tag kustom, template tag, entri kustom, atau grup entri, transisinya akan mudah. Anda dapat langsung mulai menggunakan antarmuka Knowledge Catalog.
Metadata Kustom atau Penggunaan Terprogram: jika Anda membuat tag atau template kustom, entri kustom, atau menggunakan Data Catalog API, library klien, perintah Google Cloud CLI, atau Terraform, Anda memerlukan transisi yang lebih terstruktur.

Pertimbangan khusus BigQuery

Penyerapan Otomatis: metadata teknis dari aset BigQuery (set data, tabel, tampilan, model, dan rutin) terus diserap secara otomatis ke Knowledge Catalog, seperti yang dilakukan dengan Dataplex Universal Catalog.
Tag Kebijakan: tag kebijakan yang digunakan untuk kontrol akses tingkat kolom BigQuery tidak dihentikan dan pengelolaannya tetap berada dalam BigQuery.
Silsilah: silsilah data untuk operasi BigQuery ditampilkan dalam Knowledge Catalog. Untuk mengetahui informasi selengkapnya tentang silsilah data, lihat Melacak silsilah data untuk tabel BigQuery.

Ikuti panduan transisi

Untuk bermigrasi ke Knowledge Catalog, ikuti langkah-langkah dalam Transition from Data Catalog to Knowledge Catalog.

Untuk memperbarui alur kerja terprogram ke Knowledge Catalog API, lihat Memetakan metode Data Catalog API ke Knowledge Catalog.

Langkah berikutnya

Pelajari Knowledge Catalog lebih lanjut: