Sobre a importação e exportação de glossários e links de entrada

Este documento oferece uma visão geral de como importar e exportar glossários empresariais e links de entrada no Knowledge Catalog (antigo Dataplex Universal Catalog).

O glossário empresarial do Knowledge Catalog permite definir um vocabulário empresarial comum e associar esses termos a recursos de dados físicos. À medida que o catálogo cresce, o gerenciamento desses termos e das relações deles individualmente no Google Cloud console pode se tornar difícil.

Para gerenciar o glossário empresarial em escala, é possível importar e exportar glossários (categorias e termos) e links de entrada (as associações entre termos e recursos de dados) em massa.

Terminologia

Antes de trabalhar com os utilitários de importação e exportação, familiarize-se com os seguintes componentes principais:

  • Recursos do glossário:consistem em categorias e termos que estabelecem o vocabulário empresarial.

  • Links de entrada:as relações ou associações entre recursos. O Knowledge Catalog oferece suporte a três tipos de links de entrada:

    • definition: associa um termo do glossário a um recurso de dados específico (por exemplo, uma coluna do BigQuery)
    • related: estabelece uma relação entre dois termos relacionados do glossário
    • synonym: estabelece uma relação entre dois termos sinônimos do glossário

Métodos para importar e exportar glossários e links de entrada

O Knowledge Catalog oferece suporte a dois métodos principais para o gerenciamento de glossários em massa. Escolha o método que melhor se alinha às suas necessidades de automação e à interface preferida:

  • Importação de metadados baseada em JSON
  • Utilitários baseados no Planilhas Google para importação e exportação

Importação de metadados baseada em JSON

Esse é o mecanismo integrado e totalmente gerenciado do Knowledge Catalog. Você usa a API Dataplex para importar termos do glossário e as associações deles definidas em arquivos de metadados formatados em JSON.

Exemplo de caso de uso:atualize automaticamente os metadados do Knowledge Catalog como parte de um pipeline de dados programado diariamente, como sincronizar termos diretamente de um banco de dados empresarial externo.

Para mais informações, consulte Importar glossários e links de entrada usando arquivos JSON.

Utilitários baseados no Planilhas Google para importação e exportação

Essa é uma abordagem de código aberto baseada em script fornecida no repositório dataplex-labs. Ela usa um script Python para sincronizar metadados do glossário entre uma planilha Google e o Knowledge Catalog.

Exemplo de caso de uso:uma equipe de governança de dados quer elaborar e revisar dezenas de novos termos comerciais com stakeholders empresariais não técnicos. A equipe usa esse método baseado em planilha para que todos possam editar, comentar e aprovar os termos na planilha Google antes que um administrador execute o script para fazer upload deles para o Knowledge Catalog em massa.

Para mais informações, consulte estes documentos:

Caso de uso comum: edição de ida e volta com o Planilhas Google

Um fluxo de trabalho administrativo comum é realizar a edição de ida e volta. Isso envolve exportar a configuração do catálogo atual, fazer modificações em massa e aplicar essas mudanças de volta ao Knowledge Catalog.

O fluxo de trabalho a seguir ilustra como executar esse processo:

  1. Exporte os metadados atuais do Knowledge Catalog para o Planilhas Google.

    Use os utilitários de exportação de glossário e exportação de links de entrada para extrair a estrutura do glossário e os links de entrada atuais para uma planilha Google.

  2. Modifique os metadados no Planilhas Google.

    Faça as mudanças necessárias na planilha Google. Como os links simétricos (como links de entrada synonym e related) são simplificados para uma única direção durante a exportação para evitar linhas duplicadas, você só precisa gerenciá-los uma vez.

    É possível adicionar novas linhas à planilha respectiva seguindo o esquema de coluna necessário. Também é possível modificar detalhes, como descrições ou nomes de exibição, diretamente nas linhas.

  3. Prepare e importe as mudanças do Planilhas Google de volta para o Knowledge Catalog.

    Execute o utilitário de importação de glossário primeiro. Isso garante que todos os novos termos ou categorias sejam criados com sucesso no glossário empresarial antes de você tentar vinculá-los.

    Execute o utilitário de importação de links de entrada. Esse utilitário lê as associações atualizadas, as prepara no bucket do Cloud Storage e aplica os links definition, related e synonym ao glossário recém-atualizado.

A seguir