Las canalizaciones de conectividad administrada importan metadatos de fuentes externas a Knowledge Catalog (antes Dataplex Universal Catalog). Puedes usar estas canalizaciones para importar metadatos a Knowledge Catalog a gran escala y extraer datos de tus fuentes. Las canalizaciones también crean grupos de entradas de Knowledge Catalog en tu Google Cloud proyecto según sea necesario. Con este enfoque, puedes organizar flujos de trabajo y programar trabajos de importación según tus requisitos.
Compilas conectores personalizados para extraer metadatos de varias fuentes externas, incluidas MySQL, SQL Server, Oracle, Snowflake y Databricks. Como alternativa, puedes usar conectores personalizados que aporta la comunidad para una gama más amplia de fuentes.
Cómo funciona la conectividad administrada
En el siguiente diagrama, se muestra una canalización de conectividad administrada.
A un nivel superior, así funciona la conectividad administrada:
Compilas un conector para tu fuente de datos.
El conector debe ser una imagen de Artifact Registry que se pueda ejecutar en Managed Service para Apache Spark.
Ejecutas la canalización de conectividad administrada en Workflows, una plataforma de organización.
La canalización de conectividad administrada realiza las siguientes acciones:
- Crea un grupo de entradas de destino según tu configuración, si el grupo de entradas no existe.
- Ejecuta el conector. El conector extrae los metadatos de tu fuente de datos y genera un archivo de importación de metadatos que se puede importar a Knowledge Catalog.
- Supervisa el progreso de la extracción de metadatos.
- Ejecuta un trabajo de importación de metadatos para importar los metadatos a Knowledge Catalog.
- Supervisa el progreso del trabajo de importación de metadatos.
La canalización de conectividad administrada usa Managed Service para Apache Spark para ejecutar el conector y los métodos de la API de importación de metadatos de Knowledge Catalog para ejecutar el trabajo de importación de metadatos.
Los metadatos que importas constan de entradas de Knowledge Catalog y sus aspectos. Para obtener más información sobre los metadatos de Knowledge Catalog, consulta Acerca de la administración de metadatos en Knowledge Catalog.
Conectores personalizados que aporta la comunidad
Para importar metadatos de fuentes externas, puedes usar conectores personalizados que aporta la comunidad. Consulta el archivo README de cada conector para obtener instrucciones de configuración y más información sobre el conector.
| Fuente de datos | Repositorio |
|---|---|
| MySQL | mysql-connector |
| Oracle | oracle-connector |
| PostgreSQL | postgresql-connector |
| Snowflake | snowflake-connector |
| SQL Server | sql-server-connector |
¿Qué sigue?
- Importa metadatos desde una fuente personalizada con Workflows
- Desarrolla un conector personalizado para la importación de metadatos
- Importa metadatos con una canalización personalizada