Tentang penelusuran di Knowledge Catalog

Penelusuran di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda menemukan resource di seluruh organisasi menggunakan kueri bahasa alami dengan pencocokan semantik, kata kunci, dan predikat terstruktur. Anda dapat mencari aset data tertentu, menjelajahi metadata yang relevan di seluruh sistem, atau mengambil hasil yang tercakup untuk alur kerja terprogram dan agentic.

Kasus penggunaan

Daftar berikut menjelaskan kasus penggunaan penelusuran umum, beserta deskripsi dan contoh kueri:

  • Pencarian aset yang ditargetkan: Temukan aset tertentu dengan menelusuri kata kunci yang terkait dengan nama, kolom, atau deskripsi aset.

    Contoh kueri

    • retail_transactions_2026
    • customer_id
    • column:customer_id

  • Penemuan data yang luas: Identifikasi aset yang relevan di seluruh organisasi Anda menggunakan kueri kata kunci atau bahasa alami terbuka.

    Contoh kueri

    • quarterly financial reports
    • ad campaign click through rates tables
    • server health metrics
    • audit logs system=bigquery

  • Pengambilan aset tercakup untuk alur kerja: Menghitung aset dalam penampung tertentu, seperti project, atau dengan properti tertentu, seperti jenis atau sistem. Pendekatan ini sering digunakan untuk alur kerja terprogram dan agentic.

    Contoh kueri

    • type=table projectid:banking-prod aspect:classification.tier=PII
    • system=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)

Cara kerjanya

Penelusuran otomatis mengindeks semua konteks untuk aset data yang dikelola di Knowledge Catalog. Ini mencakup hal-hal berikut:

  • Metadata yang otomatis diserap dari Google Cloud sumber data seperti BigQuery dan Cloud SQL
  • Konteks untuk resource yang Anda serap melalui konektor dan integrasi
  • Konteks tambahan yang Anda buat untuk resource, misalnya mewakili konteks bisnis atau mendeskripsikan semantik data. Konteks juga dapat diambil dalam bentuk aspek atau istilah bisnis yang ditautkan.

Saat memproses kueri Anda, penelusuran menerapkan kombinasi pencocokan semantik dan kata kunci. Tabel berikut menjelaskan jenis kueri yang dapat Anda gunakan dengan penelusuran Knowledge Catalog beserta deskripsi dan contoh kueri:

Jenis kueri Penggunaan Contoh
Satu kata kunci Untuk pencocokan persis dan substring di seluruh elemen metadata, seperti nama aset, deskripsi, dan skema. prd_fin_invoices_fct_v02
Kata kunci parsial dan fragmen yang ditokenisasi Mencocokkan substring di seluruh konten metadata, menemukan resource bahkan dengan istilah yang disingkat, kata yang dipisahkan, atau variasi penamaan. fin transactions 2026 (cocok dengan prd_fin_transactions_fy2026_raw)
Kueri bahasa alami Menggunakan pencocokan semantik tanpa memerlukan pencocokan nama atau kolom yang sama persis. customer churn prediction features
Predikat terstruktur Menggabungkan kueri teks bebas dengan filter predikat eksplisit untuk mempersempit hasil penelusuran. audit logs system=bigquery
Sintaksis yang diperluas Untuk penelusuran yang akurat, dipersempit ke cakupan tertentu. Sintaksis yang diperluas paling sering digunakan dalam kasus penggunaan agentic dan terprogram. Untuk mengetahui informasi selengkapnya, lihat Sintaksis penelusuran. (system:bigquery OR system:spanner) AND column:credit_card_number aspect:classification.tier=PII -projectid:sandbox-project

Anda memiliki opsi berikut untuk mengakses penelusuran di Knowledge Catalog:

Cakupan penelusuran

Hasil penelusuran di Knowledge Catalog mematuhi izin yang Anda miliki atas resource yang sesuai di sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke suatu objek, objek tersebut akan muncul di hasil penelusuran Knowledge Catalog Anda. Jika Anda memiliki akses ke tabel BigQuery, tetapi tidak ke set data yang berisi tabel tersebut, tabel akan tetap muncul seperti yang diharapkan dalam penelusuran Knowledge Catalog.

Secara default, penelusuran dicakupkan ke organisasi Anda. Hasil hanya mencakup resource dari organisasi yang sama dengan project yang Anda telusuri.

Hasil penelusuran hanya mencakup resource yang termasuk dalam perimeter Kontrol Layanan VPC yang sama dengan project tempat penelusuran dilakukan. Saat menggunakan konsolGoogle Cloud , ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan ingress dan egress Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan ingress dan egress menggunakan konsolGoogle Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan persyaratan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran Identity and Access Management yang perlu Anda gunakan untuk penelusuran Knowledge Catalog, lihat Peran IAM Knowledge Catalog.

Mengisolasi hasil penelusuran menurut lingkungan menggunakan Kontrol Layanan VPC

Untuk mengisolasi hasil penelusuran Knowledge Catalog di antara lingkungan seperti pengembangan, pengujian, dan produksi, konfigurasikan perimeter Kontrol Layanan VPC terpisah untuk setiap lingkungan. Tetapkan project yang berisi aset data dan project yang digunakan untuk melakukan penelusuran ke perimeter lingkungan yang sesuai. Penelusuran yang dilakukan dari project dalam perimeter tertentu hanya menampilkan hasil untuk aset yang berada dalam perimeter yang sama.

Batasan perolehan dalam penelusuran

Penelusuran Knowledge Catalog mengoptimalkan penemuan eksploratif, bukan pengambilan inventaris yang lengkap, sehingga kueri penelusuran tidak menjamin pengambilan data yang lengkap. Kueri mungkin menghilangkan hasil yang cocok, dan hasil yang ditampilkan mungkin bervariasi di seluruh kueri berulang.

Penyebab hilangnya perolehan

Saat Anda melakukan penelusuran, Knowledge Catalog akan memeriksa izin Anda secara dinamis terhadap batas kontrol akses sebanyak 600 batasan (aturan evaluasi izin). Jika pemeriksaan akses Anda melebihi batas ini, sistem akan berhenti memeriksa lebih awal untuk menjaga kecepatan penelusuran. Jika hal itu terjadi, penelusuran mungkin akan mengabaikan aset yang cocok.

Anda kemungkinan besar akan mencapai batas ini jika salah satu kondisi berikut berlaku:

  • Peran IAM yang ditetapkan langsung pada ratusan resource individual.
  • Keanggotaan di banyak Google Grup yang masing-masing memberikan akses ke setiap resource.
  • Keanggotaan di Google Grup yang memiliki akses yang diberikan langsung di ratusan resource individual.

Mengatasi keterbatasan perolehan dan hasil yang tidak ada

Untuk menyelesaikan masalah perolehan atau mengambil metadata lengkap, pilih pendekatan yang sesuai dengan sasaran Anda:

  • Untuk memperbaiki hasil penelusuran yang tidak ada atau tidak konsisten: Kurangi total pemeriksaan akses Anda agar tetap berada di bawah batas 600 pembatasan. Berikan akses hanya ke resource yang Anda perlukan, dan hapus akses dari resource atau Grup Google yang tidak memerlukan izin. Anda juga dapat memberikan peran di level project atau folder, bukan pada masing-masing resource.
  • Untuk mengambil inventaris metadata yang lengkap dan terjamin: Jangan gunakan penelusuran. Sebagai gantinya, ekspor metadata ke Cloud Storage dan buat kueri set data lengkap dengan BigQuery.

Langkah berikutnya