Tentang penelusuran di Knowledge Catalog

Gunakan penelusuran Knowledge Catalog (sebelumnya disebut Dataplex Universal Catalog) untuk menemukan resource di seluruh organisasi Anda menggunakan kueri natural language dengan pencocokan semantik, kata kunci, dan predikat terstruktur.

Kasus penggunaan

Daftar berikut menjelaskan kasus penggunaan penelusuran umum, beserta deskripsi dan contoh kueri:

  • Pencarian aset yang ditargetkan: Temukan aset tertentu dengan menelusuri kata kunci yang terkait dengan nama, kolom, atau deskripsi aset.

    Contoh kueri

    • retail_transactions_2026
    • customer_id
    • column:customer_id

  • Penemuan data yang luas: Identifikasi aset yang relevan di seluruh organisasi Anda menggunakan bahasa alami terbuka atau kueri kata kunci.

    Contoh kueri

    • quarterly financial reports
    • ad campaign click through rates tables
    • server health metrics
    • audit logs system=bigquery

  • Pengambilan aset yang tercakup untuk alur kerja: Mencantumkan aset dalam penampung tertentu, seperti project, atau dengan properti tertentu, seperti jenis atau sistem. Pendekatan ini sering digunakan untuk alur kerja terprogram dan berbasis agen.

    Contoh kueri

    • type=table projectid:banking-prod aspect:classification.tier=PII
    • system=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)

Cara kerjanya

Penelusuran secara otomatis mengindeks semua konteks untuk aset data yang dikelola di Knowledge Catalog. Ini mencakup hal-hal berikut:

  • Metadata yang otomatis di-ingest dari Google Cloud sumber data seperti BigQuery dan Cloud SQL
  • Konteks untuk resource yang Anda masukkan melalui konektor dan integrasi
  • Konteks tambahan yang Anda buat untuk resource, misalnya, merepresentasikan konteks bisnis atau mendeskripsikan semantik data. Konteks juga dapat diambil dalam bentuk aspek atau istilah bisnis tertaut.

Saat memproses kueri Anda, penelusuran menerapkan kombinasi pencocokan semantik dan kata kunci. Tabel berikut menjelaskan jenis kueri yang dapat Anda gunakan dengan penelusuran Knowledge Catalog beserta deskripsi dan contoh kueri:

Jenis kueri Penggunaan Contoh
Satu kata kunci Untuk pencocokan persis dan substring di seluruh elemen metadata, seperti nama, deskripsi, dan skema aset. prd_fin_invoices_fct_v02
Kata kunci parsial dan fragmen yang di-tokenisasi Mencocokkan substring di seluruh konten metadata, menemukan resource meskipun dengan istilah yang disingkat, kata yang dipisahkan, atau variasi penamaan. fin transactions 2026 (matches prd_fin_transactions_fy2026_raw)
Kueri bahasa alami Menggunakan pencocokan semantik tanpa memerlukan kecocokan nama atau kolom yang persis. customer churn prediction features
Predikat terstruktur Menggabungkan kueri teks bebas dengan filter predikat eksplisit untuk mempersempit hasil penelusuran. audit logs system=bigquery
Sintaksis yang diperluas Untuk penelusuran yang akurat, dipersempit ke cakupan tertentu. Sintaksis yang diperluas paling sering digunakan dalam kasus penggunaan agentic dan terprogram. Untuk informasi selengkapnya, lihat Sintaksis penelusuran. (system:bigquery OR system:spanner) AND column:credit_card_number aspect:classification.tier=PII -projectid:sandbox-project

Anda memiliki opsi berikut untuk mengakses penelusuran di Knowledge Catalog:

Cakupan penelusuran

Hasil penelusuran di Knowledge Catalog mematuhi izin yang Anda miliki atas resource terkait di sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke suatu objek, objek tersebut akan muncul di hasil penelusuran Knowledge Catalog Anda. Jika Anda memiliki akses ke tabel BigQuery, tetapi tidak ke set data yang berisi tabel tersebut, tabel akan tetap muncul seperti yang diharapkan dalam penelusuran Knowledge Catalog.

Secara default, penelusuran dicakup ke organisasi Anda. Hasil hanya mencakup resource dari organisasi yang sama dengan project yang Anda telusuri.

Hasil penelusuran hanya mencakup resource yang termasuk dalam perimeter Kontrol Layanan VPC yang sama dengan project yang digunakan untuk melakukan penelusuran. Saat menggunakan konsolGoogle Cloud , project ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran Anda di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan ingress dan egress Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan ingress dan egress menggunakan konsolGoogle Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan persyaratan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran Identity and Access Management yang perlu Anda gunakan untuk melakukan penelusuran Knowledge Catalog, lihat Peran IAM Knowledge Catalog.

Mengisolasi hasil penelusuran menurut lingkungan menggunakan Kontrol Layanan VPC

Untuk mengisolasi hasil penelusuran Knowledge Catalog di antara lingkungan seperti pengembangan, pengujian, dan produksi, konfigurasi perimeter Kontrol Layanan VPC terpisah untuk setiap lingkungan. Tetapkan project yang berisi aset data dan project yang digunakan untuk melakukan penelusuran ke perimeter lingkungan yang sesuai. Penelusuran yang dilakukan dari project dalam perimeter tertentu hanya menampilkan hasil untuk aset yang berada dalam perimeter yang sama.

Batasan perolehan dalam penelusuran

Penelusuran Knowledge Catalog dioptimalkan untuk penemuan eksploratif, bukan pengambilan inventaris yang lengkap, sehingga kueri penelusuran tidak menjamin perolehan lengkap. Kueri dapat menghilangkan hasil yang cocok, dan hasil yang ditampilkan dapat bervariasi di seluruh kueri yang berulang.

Penyebab hilangnya ingatan

Saat Anda melakukan penelusuran, Knowledge Catalog akan memeriksa izin Anda secara dinamis terhadap batas kontrol akses 600 pembatasan (aturan evaluasi izin). Jika pemeriksaan akses Anda melampaui batas ini, sistem akan menghentikan pemeriksaan lebih awal agar penelusuran tetap cepat. Jika hal itu terjadi, penelusuran mungkin tidak menyertakan aset yang cocok.

Anda kemungkinan besar akan mencapai batas ini jika salah satu kondisi berikut berlaku:

  • Peran IAM ditetapkan langsung pada ratusan resource individual.
  • Keanggotaan di banyak Grup Google yang masing-masing memberikan akses ke resource individu.
  • Keanggotaan di Google Grup yang memiliki akses yang diberikan secara langsung di ratusan resource individual.

Menyelesaikan batasan penarikan kembali dan hasil yang tidak ada

Untuk mengatasi masalah perolehan kembali atau mengambil metadata lengkap, pilih pendekatan yang sesuai dengan tujuan Anda:

  • Untuk memperbaiki hasil penelusuran yang tidak ada atau tidak konsisten: Kurangi total pemeriksaan akses Anda agar tetap berada di bawah batas 600 permintaan. Berikan akses hanya ke resource yang Anda butuhkan, dan hapus akses dari resource atau Grup Google yang tidak memerlukan izin Anda. Anda juga dapat memberikan peran di tingkat project atau folder, bukan di masing-masing resource.
  • Untuk mengambil inventaris metadata lengkap yang dijamin: Jangan gunakan penelusuran. Sebagai gantinya, ekspor metadata ke Cloud Storage dan kueri set data lengkap dengan BigQuery.

Langkah berikutnya