Tentang konektor database

Dokumen ini menjelaskan cara menggunakan konektor Knowledge Catalog (sebelumnya Dataplex Universal Catalog) untuk mengimpor metadata dari sumber data eksternal pihak ketiga ke Knowledge Catalog.

Konektor Knowledge Catalog memanfaatkan BigQuery Data Transfer Service untuk menyediakan integrasi bawaan yang secara otomatis mengekstrak metadata dari sistem sumber dan memetakannya ke entri dalam grup entri Knowledge Catalog.

Konektor mengekstrak jenis metadata berikut:

  • Metadata teknis: Definisi database, skema, tabel, dan tampilan.
  • Metadata operasional: Stempel waktu pembuatan dan terakhir diperbarui untuk aset, seperti tabel, tampilan, dan rutin.
  • Metadata bisnis: Pemilik dan anotasi aset.

Setelah Anda mengonfigurasi konektor, Knowledge Catalog akan menjadwalkan proses impor metadata sesuai jadwal yang Anda tentukan, sehingga katalog tetap disinkronkan dengan sistem sumber.

Sumber data yang didukung

Anda dapat mengimpor metadata dari sumber berikut menggunakan konektor Knowledge Catalog:

  • Oracle
  • MySQL

Integrasi dengan partner tata kelola data

Anda dapat mengintegrasikan Knowledge Catalog dengan platform tata kelola dan katalog data perusahaan lainnya. Integrasi ini membantu memastikan metadata dapat ditemukan dan konsisten di seluruh lanskap data organisasi Anda, sehingga Anda dapat memperkaya metadata di Knowledge Catalog atau melihat metadata Knowledge Catalog dalam alat pihak ketiga.

Partner berikut menyediakan integrasi untuk Knowledge Catalog:

Cara kerjanya

Konektor Knowledge Catalog menggunakan konfigurasi transfer yang dikelola oleh BigQuery Data Transfer Service untuk terhubung ke sumber data Anda, mengekstrak metadata, dan memasukkannya ke dalam grup entri Knowledge Catalog yang Anda tentukan.

Setiap kali proses impor metadata terjadi, proses tersebut akan melakukan penimpaan penuh entri dalam grup entri tujuan yang dikelola oleh konfigurasi tersebut. Objek metadata yang tidak lagi ada di sumber akan dihapus dari grup entri, dan objek baru akan ditambahkan. Objek dalam grup entri yang tidak diimpor oleh konfigurasi konektor tidak terpengaruh.

Anda mengonfigurasi dan mengelola konfigurasi ini dari halaman Connectors di bagian Knowledge Catalog di Google Cloud konsol.

Terminologi

Istilah berikut digunakan dalam dokumentasi ini:

  • Konfigurasi impor metadata: Setelan untuk tugas terjadwal atau sesuai permintaan yang menggunakan BigQuery Data Transfer Service untuk mengekstrak metadata dari sumber dan memuatnya ke Knowledge Catalog.
  • Proses: Satu instance eksekusi konfigurasi impor metadata.
  • Grup entri: Resource di Knowledge Catalog yang berisi entri metadata. Saat mengonfigurasi konektor, Anda menetapkan grup entri sebagai tujuan untuk metadata yang diimpor.
  • Entri: Resource di Knowledge Catalog yang mewakili aset data, seperti tabel atau tampilan.

Harga

Tidak ada biaya tambahan dari Knowledge Catalog atau BigQuery Data Transfer Service untuk mengimpor metadata menggunakan konektor.

Biaya standar berlaku untuk penggunaan Knowledge Catalog lainnya (seperti penyimpanan metadata). Untuk mengetahui informasi selengkapnya, lihat harga Knowledge Catalog.

Batasan

  • Hanya metadata yang diimpor, bukan data pokok dari tabel atau tampilan sumber. Untuk mentransfer data pokok, Anda dapat menggunakan BigQuery Data Transfer Service.
  • Setiap proses melakukan penimpaan penuh entri yang dikelola konektor dalam grup entri tujuan. Pembaruan metadata inkremental tidak didukung.
  • Histori proses disimpan selama 90 hari.

Langkah berikutnya