Questo documento fornisce una panoramica delle pipeline di connettività gestita che puoi utilizzare per importare metadati da origini di terze parti in Knowledge Catalog (in precedenza Dataplex Universal Catalog).
La connettività gestita ti consente di importare metadati in Knowledge Catalog su larga scala. Una pipeline di connettività gestita estrae i metadati dalle origini dati e li importa in Knowledge Catalog. Se necessario, la pipeline crea anche gruppi di voci di Knowledge Catalog nel tuo Google Cloud progetto. Puoi orchestrare i workflow e pianificare i job di importazione in base ai tuoi requisiti.
Crea i tuoi connettori personalizzati per estrarre i metadati da origini di terze parti. Ad esempio, puoi creare un connettore per estrarre i metadati da origini come MySQL, SQL Server, Oracle, Snowflake, Databricks e altre. Per i passaggi per creare un connettore personalizzato di esempio, consulta Sviluppare un connettore personalizzato per l'importazione di metadati. Puoi anche utilizzare i connettori personalizzati forniti dalla community disponibili per una serie di origini di terze parti.
Per i passaggi per eseguire una pipeline di connettività gestita, consulta Importare metadati da un'origine personalizzata utilizzando Workflows.
Come funziona la connettività gestita
Il seguente diagramma mostra una pipeline di connettività gestita.
A livello generale, ecco come funziona la connettività gestita:
Crea un connettore per l'origine dati.
Il connettore deve essere un'immagine di Artifact Registry che può essere eseguita su Managed Service for Apache Spark.
Esegui la pipeline di connettività gestita in Workflows, una piattaforma di orchestrazione.
La pipeline di connettività gestita esegue le seguenti operazioni:
- Crea un gruppo di voci di destinazione in base alla configurazione, se il gruppo di voci non esiste ancora.
- Esegue il connettore. Il connettore estrae i metadati dall'origine dati e genera un file di importazione dei metadati che può essere importato in Knowledge Catalog.
- Monitora l'avanzamento dell'estrazione dei metadati.
- Esegue un job di importazione dei metadati per importare i metadati in Knowledge Catalog.
- Monitora l'avanzamento del job di importazione dei metadati.
La pipeline di connettività gestita utilizza Managed Service for Apache Spark per eseguire il connettore e i metodi dell'API di importazione dei metadati di Knowledge Catalog per eseguire il job di importazione dei metadati.
I metadati che importi sono costituiti da voci di Knowledge Catalog e dai relativi aspetti. Per ulteriori informazioni sui metadati di Knowledge Catalog, consulta Informazioni sulla gestione dei metadati in Knowledge Catalog.
Connettori personalizzati forniti dalla community
Per importare metadati da origini di terze parti, puoi utilizzare i connettori personalizzati forniti dalla community. Consulta il file README di ogni connettore per istruzioni di configurazione e ulteriori informazioni sul connettore.
| Origine dati | Repository |
|---|---|
| MySQL | mysql-connector |
| Oracle | oracle-connector |
| PostgreSQL | postgresql-connector |
| Snowflake | snowflake-connector |
| SQL Server | sql-server-connector |
Passaggi successivi
- Importare metadati da un'origine personalizzata utilizzando Workflows
- Sviluppare un connettore personalizzato per l'importazione di metadati
- Importare metadati utilizzando una pipeline personalizzata