Menggunakan Knowledge Catalog dengan BigQuery

Knowledge Catalog, (sebelumnya dikenal sebagai Dataplex Universal Catalog), berinteraksi dengan BigQuery sebagai tata kelola data pusat dan lapisan akses agen untuk metadata BigQuery. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Knowledge Catalog.

Bagaimana cara menggunakan Knowledge Catalog dengan BigQuery?

Knowledge Catalog berinteraksi dengan BigQuery dengan cara berikut.

Penyerapan metadata otomatis

Knowledge Catalog otomatis menemukan dan mengindeks metadata teknis dari aset BigQuery. Ini mencakup hal-hal berikut:

Representasi dan pengayaan metadata

  • Entri: setiap tabel atau aset BigQuery direpresentasikan sebagai entri dalam katalog, bukan seluruh tabel; misalnya, project.dataset.table.
  • Integrasi kartu skor kualitas data: Knowledge Catalog menyediakan kartu skor kualitas data untuk setiap entri dalam katalog. Selain pemindaian data Knowledge Catalog bawaan, hasil pernyataan dari Dataform adalah sumber untuk kartu skor ini.

  • Pengayaan metadata otomatis: untuk tabel dan tampilan yang dibuat dengan Dataform, Anda dapat menentukan metadata semantik langsung dalam kode. Metadata ini otomatis disinkronkan ke Knowledge Catalog setelah tindakan pipeline berhasil diselesaikan. Jenis aspek berikut didukung:

    • Ringkasan: dokumentasi dan teks ringkasan untuk entri.
    • Aspek umum: tag metadata semantik untuk detail teknis, seperti informasi sistem dan jenis tabel.

    Untuk memeriksa status update metadata, ikuti petunjuk di Melihat operasi manual sebelumnya.

    Setelah metadata disinkronkan, Anda dapat menelusuri dan melihat entri di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource.

  • Metadata tingkat kolom: kolom atau kolom individual direpresentasikan sebagai jalur, sehingga Anda dapat melampirkan metadata tertentu, seperti penanda PII atau skor kualitas data, ke kolom individual dalam tabel BigQuery, bukan hanya tabel itu sendiri.

  • Aspek: metadata teknis diperkaya dengan aspek, yang menambahkan konteks bisnis ke data, seperti kepemilikan, kualitas data, dan dokumentasi.

  • Produk data: Anda dapat mengemas aset BigQuery terkait ke dalam produk data—misalnya, data bisnis e-commerce—yang memiliki batasan akses dan tata kelola bersama.

  • Penelusuran semantik: pengguna dapat menggunakan bahasa alami untuk menelusuri data BigQuery, yang sangat berguna bagi data scientist dan agen AI untuk menemukan produk data tepercaya menggunakan kueri yang panjang atau kompleks.
  • Terjemahan nama: untuk memudahkan pencarian terprogram, sistem memungkinkan penerjemahan nama SQL BigQuery, atau nama yang sepenuhnya memenuhi syarat, menjadi nama entri Knowledge Catalog.

Akses dan grounding agentic

  • Akses agentic: Agen AI dapat menemukan dan menggunakan alat Knowledge Catalog secara adaptif melalui server MCP lokal atau jarak jauh.
  • Konteks untuk Agen AI: Knowledge Catalog mengumpulkan grafik konteks yang menautkan set data BigQuery dengan semantik bisnis, sehingga membantu mengurangi halusinasi AI dengan memastikan model menggunakan data yang disetujui perusahaan.

Tata kelola dan kepatuhan

  • Silsilah Data: Knowledge Catalog otomatis melacak cara data mengalir dan bertransformasi ke dalam dan ke luar tabel BigQuery. Kemampuan ini sangat penting untuk mengaudit informasi sensitif, seperti PII, di seluruh aset data.
  • Kontrol Akses: pengelolaan metadata terintegrasi dengan Identity and Access Management (IAM) dan Kontrol Layanan VPC untuk memastikan bahwa penemuan dan akses ke metadata BigQuery mengikuti kebijakan keamanan organisasi.

Langkah berikutnya

Pelajari Knowledge Catalog lebih lanjut: