Acerca de la importación y exportación de glosarios y vínculos de entrada

En este documento, se proporciona una descripción general para importar y exportar glosarios empresariales y vínculos de entradas en Knowledge Catalog (anteriormente Dataplex Universal Catalog).

El glosario empresarial de Knowledge Catalog te permite definir un vocabulario empresarial común y asociar esos términos con recursos de datos físicos. A medida que crece tu catálogo, administrar estos términos y sus relaciones de forma individual en la Google Cloud consola puede volverse difícil.

Para administrar tu glosario empresarial a gran escala, puedes importar y exportar glosarios (categorías y términos) y vínculos de entradas (las asociaciones entre términos y recursos de datos) de forma masiva.

Terminología

Antes de trabajar con las utilidades de importación y exportación, familiarízate con los siguientes componentes clave:

  • Recursos del glosario: Consisten en categorías y términos que establecen tu vocabulario empresarial.

  • Vínculos de entradas: Son las relaciones o asociaciones entre recursos. Knowledge Catalog admite tres tipos de vínculos de entradas:

    • definition: Asocia un término del glosario con un recurso de datos específico (por ejemplo, una columna de BigQuery).
    • related: Establece una relación entre dos términos del glosario relacionados.
    • synonym: Establece una relación entre dos términos del glosario sinónimos.

Métodos para importar y exportar glosarios y vínculos de entradas

Knowledge Catalog admite dos métodos principales para la administración masiva de glosarios. Elige el método que mejor se adapte a tus necesidades de automatización y a la interfaz preferida:

  • Importación de metadatos basada en JSON
  • Utilidades basadas en Hojas de cálculo de Google para importar y exportar

Importación de metadatos basada en JSON

Este es el mecanismo integrado y completamente administrado de Knowledge Catalog. Usas la API de Dataplex para importar términos del glosario y sus asociaciones definidas en archivos de metadatos con formato JSON.

Caso de uso de ejemplo: Actualiza automáticamente los metadatos de Knowledge Catalog como parte de una canalización de datos programada diariamente, como sincronizar términos directamente desde una base de datos empresarial externa.

Para obtener más información, consulta Importa glosarios y vínculos de entradas con archivos JSON.

Utilidades basadas en Hojas de cálculo de Google para importar y exportar

Este es un enfoque de código abierto basado en secuencias de comandos que se proporciona en el repositorio dataplex-labs. Usa una secuencia de comandos de Python para sincronizar los metadatos del glosario entre una hoja de cálculo de Google y Knowledge Catalog.

Caso de uso de ejemplo: Un equipo de administración de datos quiere redactar y revisar de forma colaborativa docenas de términos empresariales nuevos con partes interesadas empresariales no técnicas. El equipo usa este método basado en hojas de cálculo para que todos puedan editar, comentar y aprobar los términos en Hojas de cálculo de Google antes de que un administrador ejecute la secuencia de comandos para subirlos a Knowledge Catalog de forma masiva.

Para obtener más información, consulta los siguientes documentos:

Caso de uso común: Edición de ida y vuelta con Hojas de cálculo de Google

Un flujo de trabajo administrativo común es realizar la edición de ida y vuelta. Esto implica exportar la configuración del catálogo existente, realizar modificaciones masivas y volver a aplicar esos cambios a Knowledge Catalog.

En el siguiente flujo de trabajo, se muestra cómo ejecutar este proceso:

  1. Exporta los metadatos existentes de Knowledge Catalog a Hojas de cálculo de Google.

    Usa las utilidades de exportación de glosarios y exportación de vínculos de entradas para extraer la estructura del glosario existente y los vínculos de entradas a una hoja de cálculo de Google.

  2. Modifica los metadatos en Hojas de cálculo de Google.

    Realiza los cambios necesarios en la hoja de cálculo de Google. Debido a que los vínculos simétricos (como los vínculos de entradas synonym y related) se simplifican a una sola dirección durante la exportación para evitar filas duplicadas, solo debes administrarlos una vez.

    Puedes agregar filas nuevas a la hoja respectiva siguiendo el esquema de columna requerido. También puedes modificar detalles como descripciones o nombres visibles directamente en las filas.

  3. Prepara y vuelve a importar los cambios de Hojas de cálculo de Google a Knowledge Catalog.

    Primero, ejecuta la utilidad de importación de glosarios. Esto garantiza que los términos o categorías nuevos se creen correctamente en el glosario empresarial antes de que intentes vincularlos.

    Ejecuta la utilidad de importación de vínculos de entradas. Esta utilidad lee tus asociaciones actualizadas, las prepara en tu bucket de Cloud Storage y aplica los vínculos definition, related y synonym a tu glosario recién actualizado.

¿Qué sigue?