Knowledge Catalog untuk agen AI

Seiring dengan semakin kompleksnya ekosistem data, aplikasi AI memerlukan lebih dari sekadar akses data mentah. Aplikasi AI memerlukan konteks bisnis. Knowledge Catalog merupakan evolusi dari Dataplex, yang mengalihkan fokus untuk memberdayakan sistem AI dan agen.

Di inti platform ini, peta terpadu menautkan aset data fisik Anda dengan semantik bisnis, aturan tata kelola, dan hubungan penggunaan. Dengan mengintegrasikan Knowledge Catalog ke dalam alur kerja AI, Anda dapat mencapai hal berikut:

  • Mendasarkan agen AI untuk memberikan metadata kontekstual yang andal dan terbaru guna memandu penalaran agen.

  • Mengurangi halusinasi dan memastikan model generatif mendasarkan jawabannya pada informasi akurat dari perusahaan yang sudah ditetapkan.

  • Memberikan konteks terpadu—tampilan tunggal dan terkelola dari lanskap data Anda—kepada agen AI.

Kasus penggunaan

Knowledge Catalog memiliki peran yang berbeda di seluruh siklus proses data dan AI:

  • Developer AI dan builder agen. Developer yang membangun bot atau agen kustom (misalnya, menggunakan LangChain atau Agent Development Kit (ADK)) yang harus membuat kueri dan memahami data perusahaan.

    • Kasus penggunaan: Penelusuran dan pengambilan konteks bahasa alami untuk memungkinkan agen bekerja dengan data perusahaan; penemuan data agen.

  • Analis data. Pengguna yang menggunakan alat bantu AI seperti Gemini di BigQuery atau Looker untuk menemukan data dan memahami makna bisnisnya.

    • Kasus penggunaan: Kueri bahasa alami dan eksplorasi data percakapan.

  • Pengelola data. Pakar domain yang mengawasi pengayaan metadata berbasis AI dan memastikan kualitas konteks katalog.

    • Kasus penggunaan: Meninjau, mengelola, dan mempromosikan metadata dan deskripsi yang dibuat AI.

Mengakses konteks Knowledge Catalog dengan MCP

Model Context Protocol (MCP) adalah jembatan standar yang memungkinkan agen dan alat AI terhubung dengan lancar ke sumber data seperti Knowledge Catalog.

Untuk mengakomodasi alur kerja deployment yang berbeda, Knowledge Catalog menawarkan dua jenis penerapan MCP. Memahami kapan harus menggunakan setiap jenis penerapan adalah kunci untuk menyiapkan lingkungan Anda:

  • Server MCP Jarak Jauh: saat membangun aplikasi cloud-native, men-deploy agen ke lingkungan tanpa server (seperti Cloud Run), atau berintegrasi dengan layanan terkelola eksternal jika Anda ingin menghindari pengelolaan infrastruktur lokal.

  • MCP Toolbox Lokal: selama pengembangan agen lokal, pembuatan prototipe cepat, atau saat Anda memerlukan integrasi langsung dengan IDE desktop lokal seperti VS Code atau Cursor.

Server MCP Jarak Jauh

Endpoint yang dihosting Google yang memungkinkan akses langsung ke alat Knowledge Catalog untuk aplikasi dan layanan AI (misalnya, agen yang berjalan di Cloud Run atau layanan eksternal seperti Claude).

  • Endpoint: https://dataplex.googleapis.com/mcp
  • Manfaat: Tidak perlu menjalankan server MCP lokal; cocok untuk lingkungan tanpa server.
  • Referensi: Menggunakan server MCP jarak jauh

MCP Toolbox Lokal

Alat command line yang bertindak sebagai proxy lokal antara IDE Anda (misalnya, VS Code, Cursor) atau alat lokal dan Knowledge Catalog.

  • Penginstalan: Biner yang dapat didownload.
  • Konfigurasi: Biasanya melibatkan file .mcp.json atau setelan dalam konfigurasi project atau IDE Anda.
  • Manfaat: Ideal untuk lingkungan pengembangan yang aman secara lokal dan integrasi dengan berbagai IDE.
  • Referensi: Menggunakan server MCP lokal

Memperkaya konteks untuk Knowledge Catalog

Untuk memaksimalkan nilai Knowledge Catalog untuk AI, grafik yang mendasarinya harus kaya akan konteks bisnis. Anda dapat mencapainya melalui fitur siap pakai atau pengayaan agen kustom.

Pengayaan siap pakai dengan insight data

Insight data (didukung oleh Gemini di BigQuery) secara otomatis memperkaya katalog Anda, sehingga mengurangi masalah "cold start" untuk platform data baru. Jika diaktifkan, fitur ini akan otomatis menghasilkan hal berikut:

  • Deskripsi tingkat set data dan kolom.
  • Grafik hubungan antar tabel.
  • Contoh kueri berdasarkan pola penggunaan historis.

Hal ini memberikan pemahaman semantik langsung kepada agen hilir tanpa memerlukan pengelolaan data manual.

Misalnya, untuk tabel bernama telco_churn, insight data dapat otomatis membuat deskripsi untuk kolom seperti Tenure dan MonthlyCharges, menyimpulkan hubungan ke tabel pelanggan, dan memublikasikan contoh kueri seperti menemukan rasio churn berdasarkan segmen ke katalog.

Pengayaan konteks kustom dengan agen

Untuk organisasi dengan basis pengetahuan khusus, Anda dapat membuat agen pengayaan kustom untuk menyerap metadata dari sumber khusus seperti wiki internal, repositori kode, atau sistem eksklusif.

  • Knowledge Catalog API (operasi CRUD): gunakan untuk menambahkan atau memperbarui metadata di katalog.

    • Misalnya, panggil metode UpdateEntry API untuk melampirkan aspek ringkasan ke tabel secara terprogram menggunakan dokumentasi yang diekstrak dari sistem internal.

  • Alat seperti ADK: gunakan untuk membangun agen pengayaan Anda.

    • Misalnya, membangun agen ADK berbasis Java yang menggunakan alat internal untuk mengekstrak halaman wiki teknis, menggunakan LLM untuk mengurainya menjadi istilah glosarium, dan menyinkronkan istilah ke Knowledge Catalog.

  • Operasi ekspor dan impor: gunakan untuk pembaruan metadata massal dengan peninjauan.

    • Misalnya, ekspor glosarium bisnis yang dibuat AI ke file, minta pengelola data meninjau dan menyempurnakan definisi secara kolaboratif, lalu impor kembali file yang telah selesai ke katalog.

Langkah berikutnya