Acerca de los conectores de bases de datos

En este documento, se describe cómo usar los conectores de Knowledge Catalog (antes Dataplex Universal Catalog) para importar metadatos de fuentes de datos externas y de terceros a Knowledge Catalog.

Los conectores de Knowledge Catalog aprovechan el Servicio de transferencia de datos de BigQuery para proporcionar integraciones precompiladas que extraen automáticamente metadatos de los sistemas de origen y los asignan a entradas dentro de un grupo de entradas de Knowledge Catalog.

Los conectores extraen los siguientes tipos de metadatos:

  • Metadatos técnicos: Definiciones de bases de datos, esquemas, tablas y vistas
  • Metadatos operacionales: Marcas de tiempo de creación y última actualización de recursos, como tablas, vistas y rutinas.
  • Metadatos empresariales: Propietarios y anotaciones de recursos

Después de configurar un conector, Knowledge Catalog programa ejecuciones de importación de metadatos según la programación que especifiques, lo que garantiza que el catálogo permanezca sincronizado con el sistema de origen.

Fuentes de datos compatibles

Puedes importar metadatos de las siguientes fuentes con los conectores de Knowledge Catalog:

  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integraciones con socios de administración de datos

Puedes integrar Knowledge Catalog con otras plataformas empresariales de catalogación y administración de datos. Estas integraciones ayudan a garantizar que los metadatos se puedan detectar y sean coherentes en todo el panorama de datos de tu organización, lo que te permite enriquecer los metadatos en Knowledge Catalog o ver los metadatos de Knowledge Catalog dentro de herramientas de terceros.

Los siguientes socios proporcionan integraciones para Knowledge Catalog:

Cómo funciona

Los conectores de Knowledge Catalog usan configuraciones de transferencia administradas por el Servicio de transferencia de datos de BigQuery para conectarse a tu fuente de datos, extraer metadatos y transferirlos a un grupo de entradas de Knowledge Catalog que especifiques.

Cada vez que se ejecuta una importación de metadatos, se realiza una reescritura completa de las entradas en el grupo de entradas de destino administrado por esa configuración. Los objetos de metadatos que ya no están presentes en la fuente se quitan del grupo de entradas y se agregan objetos nuevos. Los objetos del grupo de entradas que no importó la configuración del conector no se ven afectados.

Puedes configurar y administrar estas configuraciones desde la página Conectores en la sección Knowledge Catalog de la Google Cloud consola.

Terminología

En esta documentación, se usan los siguientes términos:

  • Configuración de importación de metadatos: Es la configuración de una tarea programada o a pedido que usa el Servicio de transferencia de datos de BigQuery para extraer metadatos de una fuente y cargarlos en Knowledge Catalog.
  • Ejecución: Es una sola instancia de ejecución de una configuración de importación de metadatos.
  • Grupo de entradas: Es un recurso en Knowledge Catalog que contiene entradas de metadatos. Cuando configuras un conector, designas un grupo de entradas como el destino de los metadatos importados.
  • Entrada: Es un recurso en Knowledge Catalog que representa un recurso de datos, como una tabla o una vista.

Precios

Knowledge Catalog o el Servicio de transferencia de datos de BigQuery no aplican cargos adicionales por importar metadatos con conectores.

Se aplican cargos estándar por otro uso de Knowledge Catalog (como el almacenamiento de metadatos). Para obtener más información, consulta los precios de Knowledge Catalog.

Limitaciones

  • Solo se importan los metadatos, no los datos subyacentes de las tablas o vistas de origen. Para transferir los datos subyacentes, puedes usar el Servicio de transferencia de datos de BigQuery.
  • Cada ejecución realiza una reescritura completa de las entradas administradas por el conector en el grupo de entradas de destino. No se admiten las actualizaciones de metadatos incrementales.
  • El historial de ejecución se conserva durante 90 días.

¿Qué sigue?