Pipeline konektivitas terkelola mengimpor metadata dari sumber pihak ketiga ke Knowledge Catalog (sebelumnya Dataplex Universal Catalog). Anda dapat menggunakan pipeline ini untuk mengimpor metadata ke Knowledge Catalog dalam skala besar guna mengekstrak data dari sumber Anda. Pipeline ini juga membuat grup entri Knowledge Catalog di Google Cloud project Anda sesuai kebutuhan. Dengan pendekatan ini, Anda dapat mengatur alur kerja dan menjadwalkan tugas impor sesuai dengan kebutuhan Anda.
Anda membuat konektor kustom untuk mengekstrak metadata dari berbagai sumber pihak ketiga, termasuk MySQL, SQL Server, Oracle, Snowflake, dan Databricks. Atau, Anda dapat menggunakan konektor kustom kontribusi komunitas untuk berbagai sumber yang lebih luas.
Cara kerja konektivitas terkelola
Diagram berikut menunjukkan pipeline konektivitas terkelola.
Secara umum, berikut cara kerja konektivitas terkelola:
Anda membuat konektor untuk sumber data Anda.
Konektor harus berupa image Artifact Registry yang dapat berjalan di Managed Service untuk Apache Spark.
Anda menjalankan pipeline konektivitas terkelola di Workflows, platform orkestrasi.
Pipeline konektivitas terkelola melakukan tindakan berikut:
- Membuat grup entri target berdasarkan konfigurasi Anda, jika grup entri tidak ada.
- Menjalankan konektor. Konektor mengekstrak metadata dari sumber data Anda dan menghasilkan file impor metadata yang dapat diimpor ke Knowledge Catalog.
- Memantau progres ekstraksi metadata.
- Menjalankan tugas impor metadata untuk mengimpor metadata ke Knowledge Catalog.
- Memantau progres tugas impor metadata.
Pipeline konektivitas terkelola menggunakan Managed Service untuk Apache Spark untuk menjalankan konektor, dan metode Knowledge Catalog metadata import API untuk menjalankan tugas impor metadata.
Metadata yang Anda impor terdiri dari entri Knowledge Catalog dan aspeknya. Untuk mengetahui informasi selengkapnya tentang metadata Knowledge Catalog, lihat Tentang pengelolaan metadata di Knowledge Catalog.
Konektor kustom kontribusi komunitas
Untuk mengimpor metadata dari sumber pihak ketiga, Anda dapat menggunakan konektor kustom yang dikontribusikan oleh komunitas. Lihat file README setiap konektor untuk mengetahui petunjuk penyiapan dan informasi selengkapnya tentang konektor.
| Sumber data | Repositori |
|---|---|
| MySQL | mysql-connector |
| Oracle | oracle-connector |
| PostgreSQL | postgresql-connector |
| Snowflake | snowflake-connector |
| SQL Server | sql-server-connector |
Langkah berikutnya
- Mengimpor metadata dari sumber kustom menggunakan Workflows
- Mengembangkan konektor kustom untuk impor metadata
- Mengimpor metadata menggunakan pipeline kustom