Tentang konektor metadata

Konektor Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda mengimpor metadata teknis, operasional, bisnis, dan semantik dari sumber data pihak ketiga ke dalam katalog Anda. Anda dapat menjadwalkan eksekusi berulang untuk menjaga katalog tetap disinkronkan dengan sistem sumber sehingga Anda dapat menemukan, menelusuri, dan mengatur aset eksternal di satu tempat.

Sumber data yang didukung

Anda dapat mengimpor metadata dari sumber berikut menggunakan konektor Knowledge Catalog:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrasi dengan partner tata kelola data

Anda dapat mengintegrasikan Knowledge Catalog dengan platform tata kelola dan katalog data perusahaan lainnya. Integrasi ini membantu memastikan metadata dapat ditemukan dan konsisten di seluruh lanskap data organisasi Anda, sehingga Anda dapat memperkaya metadata di Knowledge Catalog atau melihat metadata Knowledge Catalog dalam alat pihak ketiga.

Partner berikut menyediakan integrasi untuk Knowledge Catalog:

Cara kerjanya

Konektor Knowledge Catalog menggunakan integrasi bawaan dan konfigurasi transfer yang dikelola oleh BigQuery Data Transfer Service untuk terhubung ke sumber data Anda, mengekstrak metadata secara otomatis, dan memetakannya ke entri dalam grup entri Knowledge Catalog yang Anda tentukan.

Konektor mengekstrak jenis metadata berikut:

  • Metadata teknis: Skema, jenis data, dan definisi nama kolom.
  • Metadata operasional: Stempel waktu dibuat dan diubah, asal-usul, statistik penggunaan, dan hasil kualitas data.
  • Metadata bisnis: Tag, pemilik, dan anotasi.
  • Metadata semantik: Dimensi, ukuran, metrik, kueri golden, dan hubungan.

Setelah Anda mengonfigurasi konektor, Knowledge Catalog akan menjadwalkan eksekusi impor metadata sesuai jadwal yang Anda tentukan, sehingga katalog tetap disinkronkan dengan sistem sumber. Setiap kali eksekusi impor metadata terjadi, eksekusi tersebut akan melakukan penimpaan penuh entri dalam grup entri tujuan yang dikelola oleh konfigurasi tersebut. Objek metadata yang tidak lagi ada di sumber akan dihapus dari grup entri, dan objek baru akan ditambahkan. Objek dalam grup entri yang tidak diimpor oleh konfigurasi konektor tidak akan terpengaruh.

Anda dapat mengonfigurasi dan mengelola konfigurasi ini dari halaman Connectors di bagian Knowledge Catalog di Google Cloud konsol.

Terminologi

Istilah berikut digunakan dalam dokumentasi ini:

  • Konfigurasi impor metadata: Setelan untuk tugas terjadwal atau on-demand yang menggunakan BigQuery Data Transfer Service untuk mengekstrak metadata dari sumber dan memuatnya ke Knowledge Catalog.
  • Jalankan: Satu instance eksekusi konfigurasi impor metadata.
  • Grup entri: Resource di Knowledge Catalog yang berisi entri metadata. Saat mengonfigurasi konektor, Anda menetapkan grup entri sebagai tujuan metadata yang diimpor.
  • Entri: Resource di Knowledge Catalog yang mewakili aset data, seperti tabel atau tampilan.

Harga

Tidak ada biaya tambahan dari Knowledge Catalog atau BigQuery Data Transfer Service untuk mengimpor metadata menggunakan konektor.

Biaya standar berlaku untuk penggunaan Knowledge Catalog lainnya (seperti penyimpanan metadata). Untuk mengetahui informasi selengkapnya, lihat harga Knowledge Catalog.

Batasan

  • Hanya metadata yang diimpor, bukan data pokok dari tabel atau tampilan sumber. Untuk mentransfer data pokok, Anda dapat menggunakan BigQuery Data Transfer Service.
  • Setiap eksekusi melakukan penimpaan penuh entri yang dikelola konektor dalam grup entri tujuan. Pembaruan metadata inkremental tidak didukung.
  • Histori eksekusi disimpan selama 90 hari.

Langkah berikutnya