Acerca de la importación y exportación de glosarios y vínculos de entrada

En este documento, se proporciona una descripción general de cómo importar y exportar glosarios empresariales y vínculos de entrada en Knowledge Catalog (anteriormente, Dataplex Universal Catalog).

El glosario empresarial de Knowledge Catalog te permite definir un vocabulario empresarial común y asociar esos términos con recursos de datos físicos. A medida que crece tu catálogo, administrar estos términos y sus relaciones de forma individual en la consola deGoogle Cloud puede volverse difícil.

Para administrar tu glosario empresarial a gran escala, puedes importar y exportar glosarios (categorías y términos) y vínculos de entrada (las asociaciones entre términos y activos de datos) de forma masiva.

Terminología

Antes de trabajar con las utilidades de importación y exportación, familiarízate con los siguientes componentes clave:

  • Recursos de glosario: Constan de categorías y términos que establecen el vocabulario de tu empresa.

  • Vínculos de entrada: Son las relaciones o asociaciones entre los recursos. Knowledge Catalog admite tres tipos de vínculos de entrada:

    • definition: Asocia un término del glosario con un activo de datos específico (por ejemplo, una columna de BigQuery).
    • related: Establece una relación entre dos términos de glosario relacionados.
    • synonym: Establece una relación entre dos términos de glosario sinónimos.

Métodos para importar y exportar glosarios y vínculos de entrada

Knowledge Catalog admite dos métodos principales para la administración masiva del glosario. Elige el método que mejor se adapte a tus necesidades de automatización y a tu interfaz preferida:

  • Importación de metadatos basada en JSON
  • Utilidades basadas en Hojas de cálculo de Google para la importación y exportación

Importación de metadatos basada en JSON

Este es el mecanismo integrado y completamente administrado de Knowledge Catalog. Usas la API de Dataplex para importar términos del glosario y sus asociaciones definidos en archivos de metadatos con formato JSON.

Ejemplo de caso de uso: Actualiza automáticamente los metadatos de tu catálogo de Knowledge Catalog como parte de una canalización de datos programada diariamente, por ejemplo, sincroniza términos directamente desde una base de datos empresarial externa.

Para obtener más información, consulta Cómo importar glosarios y vínculos de entrada con archivos JSON.

Utilidades basadas en Hojas de cálculo de Google para la importación y exportación

Este es un enfoque de código abierto basado en secuencias de comandos que se proporciona en el repositorio de dataplex-labs. Utiliza una secuencia de comandos de Python para sincronizar los metadatos del glosario entre una hoja de cálculo de Google y Knowledge Catalog.

Ejemplo de caso de uso: Un equipo de administración de datos desea redactar y revisar de forma colaborativa docenas de términos comerciales nuevos con las partes interesadas comerciales no técnicas. El equipo usa este método basado en hojas de cálculo para que todos puedan editar, comentar y aprobar las condiciones en la Hoja de cálculo de Google antes de que un administrador ejecute la secuencia de comandos para subirlas de forma masiva al Knowledge Catalog.

Para obtener más información, consulta los siguientes documentos:

Caso de uso común: Edición de ida y vuelta con Hojas de cálculo de Google

Un flujo de trabajo administrativo común es realizar la edición de ida y vuelta. Esto implica exportar la configuración del catálogo existente, realizar modificaciones masivas y aplicar esos cambios a Knowledge Catalog.

En el siguiente flujo de trabajo, se ilustra cómo ejecutar este proceso:

  1. Exporta los metadatos existentes de Knowledge Catalog a Hojas de cálculo de Google.

    Usa las utilidades de exportación del glosario y de exportación de vínculos de entrada para extraer la estructura del glosario y los vínculos de entrada existentes en una hoja de cálculo de Google.

  2. Modifica los metadatos en Hojas de cálculo de Google.

    Realiza los cambios necesarios en la Hoja de cálculo de Google. Dado que los vínculos simétricos (como los vínculos de entrada synonym y related) se simplifican en una sola dirección durante la exportación para evitar filas duplicadas, solo debes administrarlos una vez.

    Puedes agregar filas nuevas a la hoja correspondiente siguiendo el esquema de columna requerido. También puedes modificar detalles como las descripciones o los nombres visibles directamente en las filas.

  3. Prepara e importa los cambios de Hojas de cálculo de Google a Knowledge Catalog.

    Primero, ejecuta la utilidad de importación del glosario. Esto garantiza que los términos o las categorías nuevos se creen correctamente en el glosario empresarial antes de que intentes vincularlos.

    Ejecuta la utilidad importación de vínculos de entrada. Esta utilidad lee tus asociaciones actualizadas, las organiza en tu bucket de Cloud Storage y aplica los vínculos definition, related y synonym a tu glosario recién actualizado.

¿Qué sigue?