Tentang konektor metadata

Seiring dengan makin kompleksnya lanskap data, metadata dapat terpisah-pisah di berbagai platform, sehingga menyulitkan tim untuk menemukan, memercayai, dan mengelola data mereka. Konektor Knowledge Catalog (sebelumnya Dataplex Universal Catalog) membantu mengatasi masalah ini dengan memungkinkan Anda mengimpor metadata teknis, operasional, bisnis, dan semantik secara otomatis dari sumber data pihak ketiga langsung ke Google Cloud.

Melalui konektor ini, Anda dapat mengizinkan analis menelusuri aset data eksternal tanpa beralih alat, mengizinkan data steward menerapkan tata kelola terpusat di seluruh lingkungan multi-cloud, dan memantau kualitas data lintas platform di satu tempat. Dengan menjadwalkan eksekusi berulang, Anda dapat menjaga katalog tetap sinkron dengan sistem sumber sehingga tim Anda memiliki tampilan ekosistem data yang akurat dan terbaru.

Sumber data yang didukung

Anda dapat mengimpor metadata dari sumber berikut menggunakan konektor Knowledge Catalog:

  • Databricks Unity Catalog
  • dbt Core dan Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

Integrasi dengan partner tata kelola data

Anda juga dapat mengintegrasikan Knowledge Catalog dengan platform tata kelola dan pembuatan katalog data lainnya. Alih-alih mengambil dari sumber data mentah, integrasi ini memungkinkan alat katalog paralel berbagi informasi. Anda dapat memperkaya metadata dalam Knowledge Catalog atau mengekspor metadata Knowledge Catalog untuk melihatnya dalam alat pihak ketiga tersebut.

Partner berikut menyediakan integrasi untuk Knowledge Catalog:

Bagian selanjutnya dari halaman ini menjelaskan cara mengimpor metadata melalui konektor. Untuk mengetahui informasi selengkapnya tentang integrasi partner, lihat halaman partner yang ditautkan.

Cara kerjanya

Konektor Knowledge Catalog menggunakan integrasi bawaan untuk terhubung ke sumber data Anda dan mengekstrak metadata secara otomatis. BigQuery Data Transfer Service mengelola transfer ini dan memetakan metadata yang diekstrak ke grup entri Knowledge Catalog tertentu yang Anda pilih.

Konektor mengekstrak jenis metadata berikut:

  • Metadata teknis: Definisi skema, jenis data, dan nama kolom.
  • Metadata operasional: Stempel waktu yang dibuat dan diubah, silsilah, statistik penggunaan, dan hasil kualitas data.
  • Metadata bisnis: Tag, pemilik, dan anotasi.
  • Metadata semantik: Dimensi, ukuran, metrik, golden query, dan hubungan.

Setelah Anda mengonfigurasi konektor, Knowledge Catalog akan menjadwalkan impor metadata berdasarkan jadwal yang Anda tentukan, sehingga memastikan katalog tetap disinkronkan dengan sistem sumber. Setiap kali proses impor metadata terjadi, proses ini akan melakukan penimpaan penuh pada entri dalam grup entri tujuan yang dikelola oleh konfigurasi tersebut. Objek metadata yang tidak ada lagi di sumber akan dihapus dari grup entri, dan objek baru akan ditambahkan. Objek dalam grup entri yang tidak diimpor oleh konfigurasi konektor tidak akan terpengaruh.

Terminologi

Istilah berikut digunakan dalam dokumentasi ini:

  • Konfigurasi impor metadata: Setelan untuk tugas terjadwal atau on-demand yang menggunakan BigQuery Data Transfer Service untuk mengekstrak metadata dari sumber dan memuatnya ke Knowledge Catalog.
  • Run: Satu instance eksekusi konfigurasi impor metadata.
  • Grup entri: Resource di Knowledge Catalog yang berisi entri metadata. Saat mengonfigurasi konektor, Anda menetapkan grup entri sebagai tujuan untuk metadata yang diimpor.
  • Entri: Resource di Knowledge Catalog yang mewakili aset data, seperti tabel atau tampilan.

Harga

Tidak ada biaya tambahan dari Knowledge Catalog atau BigQuery Data Transfer Service untuk mengimpor metadata menggunakan konektor.

Biaya standar berlaku untuk penggunaan Knowledge Catalog lainnya (seperti penyimpanan metadata). Untuk mengetahui informasi selengkapnya, lihat Harga Knowledge Catalog.

Batasan

  • Hanya metadata yang diimpor, bukan data pokok dari tabel atau tampilan sumber. Untuk mentransfer data pokok, Anda dapat menggunakan BigQuery Data Transfer Service.
  • Setiap operasi akan menimpa sepenuhnya entri yang dikelola konektor di grup entri tujuan. Pembaruan metadata inkremental tidak didukung.
  • Histori operasi dipertahankan selama 90 hari.

Langkah berikutnya