Melihat hubungan data di Knowledge Catalog

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menemukan potensi hubungan antara aset data, membantu Anda menemukan data terkait dan memahami sifat hubungan tersebut.

Sebelum memulai

Sebelum Anda melihat hubungan antar-aset data, pastikan Anda diberi peran yang diperlukan.

Peran yang diperlukan

Untuk melihat hubungan antara aset data di Knowledge Catalog, Anda tidak memerlukan peran IAM khusus untuk Knowledge Catalog. Knowledge Catalog menggunakan izin yang ada di sistem sumber tempat aset berada, seperti BigQuery, untuk menentukan kemampuan Anda melihat hubungan. Misalnya, untuk melihat hubungan yang melibatkan tabel BigQuery, Anda memerlukan izin bigquery.tables.get.

Jika Anda tidak memiliki izin untuk melihat aset dalam sistem sumbernya, hubungan apa pun yang melibatkan aset tersebut akan disembunyikan dalam grafik hubungan Knowledge Catalog. Hal ini memastikan bahwa visibilitas hubungan mematuhi batas keamanan dan izin yang ditetapkan dalam sistem sumber.

Tentang hubungan data

Hubungan data menggambarkan cara aset data terhubung. Misalnya, jika Anda menemukan tabel dengan data pelanggan, hubungannya dapat mengungkapkan tabel terkait yang mencantumkan pesanan atau tiket dukungan. Selain itu, hubungan bertindak sebagai panduan struktural, yang memberikan konteks penting bagi Model Bahasa Besar. Hasilnya, AI menghasilkan respons yang lebih tepat, merumuskan kueri yang akurat untuk mengambil informasi tertentu.

Knowledge Catalog secara otomatis menemukan dan menyimpan hubungan umum antara aset data. Data hubungan berasal dari berbagai sumber, seperti berikut:

  • Log kueri historis mengatalogkan Knowledge Catalog yang terus-menerus menganalisis histori kueri untuk mendeteksi potensi pola JOIN antar-tabel.
  • Insight data menyarankan hubungan data sesuai permintaan dengan menganalisis atribut skema dan tumpang-tindih data menggunakan model bahasa besar.

Aset data yang didukung

Anda dapat melihat hubungan data untuk tabel dan tampilan BigQuery.

Melihat hubungan data

Untuk melihat hubungan data untuk tabel dan tampilan BigQuery, gunakan konsol Google Cloud atau Knowledge Catalog API.

console

Untuk melihat hubungan data untuk tabel di BigQuery, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Penelusuran Knowledge Catalog.

    Buka Penelusuran

  2. Telusuri tabel BigQuery yang ingin Anda lihat hubungannya.

  3. Di hasil penelusuran, klik tabel untuk membuka halaman entri.

Tab Hubungan mencantumkan hubungan beserta informasi berikut:

  • Target: Nama aset data yang terhubung.
  • Hubungan: Kolom tertentu yang digunakan untuk menautkan aset.
  • Jenis: Sifat link. Contoh, JOIN.
  • Asal: Asal hubungan. Misalnya, histori kueri.
  • Tindakan: Contoh kueri yang dapat digunakan untuk menemukan hubungan antara aset.

REST

Hubungan yang ditemukan disimpan di Knowledge Catalog sebagai EntryLinks yang menetapkan hubungan antara dua aset data (entri) di Knowledge Catalog. Detail tentang hubungan, seperti kolom yang digabungkan dan sumber hubungan, disimpan sebagai aspek EntryLinks.

Untuk melihat hubungan data, gunakan metode berikut:

  • LookupEntryLinks mengambil semua EntryLinks yang mereferensikan entri data tertentu sebagai sumber atau target untuk menampilkan kumpulan lengkap hubungan yang terkait dengan entri tertentu.

  • LookupContext menyediakan satu endpoint untuk merujuk agen AI dengan metadata kontekstual. Paket metadata yang ditampilkan sudah diformat sebelumnya dan ringkas, termasuk aset data terkait.

Lokasi

Anda dapat menggunakan hubungan data di semua lokasi BigQuery.

Batasan

  • Penemuan otomatis hubungan dari log kueri hanya tersedia untuk tabel dan tampilan BigQuery.
  • Katalog Pengetahuan menganalisis sampel histori kueri untuk mengidentifikasi hubungan, yang berarti bahwa beberapa kueri mungkin tidak mengarah pada penemuan link.
  • Penemuan hubungan mungkin memerlukan waktu hingga 48 jam setelah kueri dieksekusi.

Langkah berikutnya