Tentang konektor metadata

Konektor Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda mengimpor metadata teknis, operasional, bisnis, dan semantik dari sumber data pihak ketiga ke katalog Anda. Anda dapat menjadwalkan operasi berulang untuk menjaga katalog tetap sinkron dengan sistem sumber sehingga Anda dapat menemukan, menelusuri, dan mengatur aset eksternal di satu tempat.

Sumber data yang didukung

Anda dapat mengimpor metadata dari sumber berikut menggunakan konektor Knowledge Catalog:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrasi dengan partner tata kelola data

Anda dapat mengintegrasikan Knowledge Catalog dengan platform tata kelola dan pembuatan katalog data perusahaan lainnya. Integrasi ini membantu memastikan bahwa metadata dapat ditemukan dan konsisten di seluruh lanskap data organisasi Anda, sehingga Anda dapat memperkaya metadata di Knowledge Catalog atau melihat metadata Knowledge Catalog dalam alat pihak ketiga.

Partner berikut menyediakan integrasi untuk Knowledge Catalog:

Cara kerjanya

Konektor Knowledge Catalog menggunakan integrasi bawaan dan konfigurasi transfer yang dikelola oleh BigQuery Data Transfer Service untuk terhubung ke sumber data Anda, mengekstrak metadata secara otomatis, dan memetakannya ke entri dalam grup entri Knowledge Catalog yang Anda tentukan.

Konektor mengekstrak jenis metadata berikut:

  • Metadata teknis: Definisi skema, jenis data, dan nama kolom.
  • Metadata operasional: Stempel waktu yang dibuat dan diubah, silsilah, statistik penggunaan, dan hasil kualitas data.
  • Metadata bisnis: Tag, pemilik, dan anotasi.
  • Metadata semantik: Dimensi, ukuran, metrik, golden query, dan hubungan.

Setelah Anda mengonfigurasi konektor, Knowledge Catalog akan menjadwalkan impor metadata berdasarkan jadwal yang Anda tentukan, sehingga memastikan katalog tetap disinkronkan dengan sistem sumber. Setiap kali proses impor metadata terjadi, proses ini akan melakukan penimpaan penuh pada entri dalam grup entri tujuan yang dikelola oleh konfigurasi tersebut. Objek metadata yang tidak ada lagi di sumber akan dihapus dari grup entri, dan objek baru akan ditambahkan. Objek dalam grup entri yang tidak diimpor oleh konfigurasi konektor tidak akan terpengaruh.

Anda dapat mengonfigurasi dan mengelola konfigurasi ini dari halaman Connectors di bagian Knowledge Catalog di konsol Google Cloud .

Terminologi

Istilah berikut digunakan dalam dokumentasi ini:

  • Konfigurasi impor metadata: Setelan untuk tugas terjadwal atau on-demand yang menggunakan BigQuery Data Transfer Service untuk mengekstrak metadata dari sumber dan memuatnya ke Knowledge Catalog.
  • Run: Satu instance eksekusi konfigurasi impor metadata.
  • Grup entri: Resource di Knowledge Catalog yang berisi entri metadata. Saat mengonfigurasi konektor, Anda menetapkan grup entri sebagai tujuan untuk metadata yang diimpor.
  • Entri: Resource di Knowledge Catalog yang mewakili aset data, seperti tabel atau tampilan.

Harga

Tidak ada biaya tambahan dari Knowledge Catalog atau BigQuery Data Transfer Service untuk mengimpor metadata menggunakan konektor.

Biaya standar berlaku untuk penggunaan Knowledge Catalog lainnya (seperti penyimpanan metadata). Untuk mengetahui informasi selengkapnya, lihat Harga Knowledge Catalog.

Batasan

  • Hanya metadata yang diimpor, bukan data pokok dari tabel atau tampilan sumber. Untuk mentransfer data pokok, Anda dapat menggunakan BigQuery Data Transfer Service.
  • Setiap operasi akan menimpa sepenuhnya entri yang dikelola konektor di grup entri tujuan. Pembaruan metadata inkremental tidak didukung.
  • Histori operasi dipertahankan selama 90 hari.

Langkah berikutnya