Menggunakan Knowledge Catalog dengan BigQuery

Knowledge Catalog, (sebelumnya dikenal sebagai Dataplex Universal Catalog), berinteraksi dengan BigQuery sebagai lapisan tata kelola data dan akses agen terpusat untuk metadata BigQuery. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Knowledge Catalog.

Bagaimana cara menggunakan Knowledge Catalog dengan BigQuery?

Knowledge Catalog berinteraksi dengan BigQuery dengan cara berikut.

Penyerapan metadata otomatis

Knowledge Catalog secara otomatis menemukan dan mengindeks metadata teknis dari aset BigQuery. Hal ini mencakup hal-hal berikut:

Representasi dan pengayaan metadata

  • Entri: setiap tabel atau aset BigQuery direpresentasikan sebagai sebuah entri dalam katalog, bukan seluruh tabel; misalnya, project.dataset.table.
  • Integrasi scorecard kualitas data: Knowledge Catalog menyediakan scorecard kualitas data untuk setiap entri dalam katalog. Selain pemindaian data Knowledge Catalog bawaan, hasil pernyataan dari Dataform adalah sumber untuk scorecard ini (Pratinjau).

  • Pengayaan metadata otomatis: untuk tabel dan tampilan yang dibuat dengan Dataform, Anda dapat menentukan metadata semantik langsung dalam kode. Metadata ini otomatis disinkronkan ke Knowledge Catalog setelah berhasil menyelesaikan tindakan pipeline (Pratinjau). Jenis aspek berikut didukung:

    • Ringkasan: dokumentasi dan teks ringkasan untuk entri.
    • Aspek umum: tag metadata semantik untuk detail teknis, seperti informasi sistem dan jenis tabel.

    Untuk memeriksa status update metadata, ikuti petunjuk di Melihat operasi manual sebelumnya.

    Setelah metadata disinkronkan, Anda dapat menelusuri dan melihat entri di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource.

  • Metadata tingkat kolom: kolom atau field individual direpresentasikan sebagai jalur, sehingga Anda dapat melampirkan metadata tertentu, seperti penanda PII atau skor kualitas data, ke kolom individual dalam tabel BigQuery, bukan hanya tabel itu sendiri.

  • Aspek: metadata teknis diperkaya dengan aspek, yang menambahkan konteks bisnis ke data, seperti kepemilikan, kualitas data, dan dokumentasi.

  • Produk data: Anda dapat mengemas aset BigQuery terkait ke dalam produk data—misalnya, data bisnis e-commerce—yang memiliki batasan akses dan tata kelola bersama.

  • Penelusuran semantik: pengguna dapat menggunakan bahasa alami untuk menelusuri data BigQuery, yang sangat berguna bagi data scientist dan agen AI untuk menemukan produk data tepercaya menggunakan kueri yang panjang atau kompleks.
  • Terjemahan nama: untuk memudahkan pencarian terprogram sistem memungkinkan penerjemahan nama SQL BigQuery, atau nama yang sepenuhnya memenuhi syarat, ke nama entri Knowledge Catalog.

Akses dan grounding agen

  • Akses agen: agen AI dapat menemukan dan menggunakan alat Knowledge Catalog secara adaptif melalui server MCP lokal atau jarak jauh.
  • Konteks untuk Agen AI: Knowledge Catalog mengelola grafik konteks yang menautkan set data BigQuery dengan semantik bisnis, sehingga membantu mengurangi halusinasi AI dengan memastikan model menggunakan data yang disetujui perusahaan.

Tata kelola dan kepatuhan

  • Silsilah Data: Knowledge Catalog secara otomatis melacak cara data mengalir dan bertransformasi ke dalam dan ke luar tabel BigQuery. Kemampuan ini sangat penting untuk mengaudit informasi sensitif, seperti PII, di seluruh aset data.
  • Kontrol Akses: pengelolaan metadata terintegrasi dengan Identity and Access Management (IAM) dan Kontrol Layanan VPC untuk memastikan bahwa penemuan dan akses ke metadata BigQuery mengikuti kebijakan keamanan organisasi.

Pertimbangan migrasi

Migrasi ke Knowledge Catalog dari Data Catalog yang tidak digunakan lagi melibatkan beberapa langkah. Metadata standar dari BigQuery (seperti set data, tabel, tampilan) otomatis tersedia di Knowledge Catalog, sehingga proses migrasi terutama berfokus pada metadata kustom, penggunaan API, dan default antarmuka pengguna.

Berikut adalah poin-poin utama yang perlu dipertimbangkan saat melakukan migrasi.

Memahami perubahan

Knowledge Catalog menawarkan fitur yang ditingkatkan untuk pengelolaan, tata kelola, dan penemuan metadata jika dibandingkan dengan Data Catalog. Knowledge Catalog menggunakan API yang berbeda (Knowledge Catalog API) dan memiliki model data yang sedikit berbeda; misalnya, Knowledge Catalog menggunakan aspek dan jenis aspek bukan tag dan template tag.

Menilai penggunaan katalog data saat ini

  • Tidak Ada Metadata Kustom: jika Anda hanya mengandalkan Knowledge Catalog untuk penyerapan dan penemuan metadata BigQuery standar secara otomatis tanpa membuat tag kustom, template tag, entri kustom, atau grup entri, transisinya akan mudah. Anda dapat langsung mulai menggunakan antarmuka Knowledge Catalog.
  • Metadata Kustom atau Penggunaan Terprogram: jika Anda membuat tag atau template kustom, entri kustom, atau menggunakan Data Catalog API, library klien, perintah Google Cloud CLI, atau Terraform, Anda memerlukan transisi yang lebih terstruktur.

Pertimbangan BigQuery tertentu

  • Penyerapan Otomatis: metadata teknis dari aset BigQuery (set data, tabel, tampilan, model, dan rutin) akan terus diserap secara otomatis ke Knowledge Catalog, seperti halnya Dataplex Universal Catalog.
  • Tag Kebijakan: tag kebijakan yang digunakan untuk kontrol akses tingkat kolom BigQuery tidak tidak digunakan lagi dan pengelolaannya tetap berada dalam BigQuery.
  • Silsilah: silsilah data untuk operasi BigQuery ditampilkan dalam Knowledge Catalog. Untuk mengetahui informasi selengkapnya tentang silsilah data, lihat Melacak silsilah data untuk tabel BigQuery.

Mengikuti panduan transisi

Untuk bermigrasi ke Knowledge Catalog, ikuti langkah-langkah di Transisi dari Data Catalog ke Knowledge Catalog.

Untuk memperbarui alur kerja terprogram ke Knowledge Catalog API, lihat Memetakan metode Data Catalog API ke Knowledge Catalog.

Langkah berikutnya

Pelajari Knowledge Catalog lebih lanjut: