Sobre a importação e exportação de glossários e links de entrada

Este documento apresenta uma visão geral de como importar e exportar glossários de negócios e links de entrada no Knowledge Catalog (antigo Dataplex Universal Catalog).

Com o glossário empresarial do Knowledge Catalog, é possível definir um vocabulário de negócios comum e associar esses termos a recursos de dados físicos. À medida que seu catálogo cresce, gerenciar esses termos e as relações entre eles individualmente no consoleGoogle Cloud pode se tornar difícil.

Para gerenciar seu glossário empresarial em grande escala, é possível importar e exportar glossários (categorias e termos) e links de entrada (associações entre termos e recursos de dados) em massa.

Terminologia

Antes de trabalhar com os utilitários de importação e exportação, familiarize-se com os seguintes componentes principais:

  • Recursos de glossário:consistem em categorias e termos que estabelecem seu vocabulário comercial.

  • Links de entrada:os relacionamentos ou associações entre recursos. O Knowledge Catalog é compatível com três tipos de links de entrada:

    • definition: associa um termo do glossário a um recurso de dados específico (por exemplo, uma coluna do BigQuery).
    • related: estabelece uma relação entre dois termos relacionados do glossário.
    • synonym: estabelece uma relação entre dois termos sinônimos do glossário.

Métodos para importar e exportar glossários e links de entrada

O Knowledge Catalog oferece suporte a dois métodos principais para gerenciamento em massa de glossários. Escolha o método que melhor se alinha às suas necessidades de automação e à interface preferida:

  • Importação de metadados baseada em JSON
  • Utilitários baseados no Planilhas Google para importação e exportação

Importação de metadados baseada em JSON

Esse é o mecanismo integrado e totalmente gerenciado do Knowledge Catalog. Use a API Dataplex para importar termos do glossário e as associações deles definidas em arquivos de metadados formatados em JSON.

Exemplo de caso de uso:atualize automaticamente os metadados do Knowledge Catalog como parte de um pipeline de dados diário programado, como sincronizar termos diretamente de um banco de dados empresarial externo.

Para mais informações, consulte Importar glossários e links de entrada usando arquivos JSON.

Utilitários baseados no Planilhas Google para importação e exportação

Essa é uma abordagem de código aberto baseada em script fornecida no repositório dataplex-labs. Ele usa um script Python para sincronizar metadados de glossário entre uma planilha Google e o Knowledge Catalog.

Exemplo de caso de uso:uma equipe de governança de dados quer criar e revisar dezenas de novos termos comerciais com partes interessadas não técnicas. A equipe usa esse método baseado em planilhas para que todos possam editar, comentar e aprovar os termos nas Planilhas Google antes que um administrador execute o script para fazer upload em massa para o Knowledge Catalog.

Para mais informações, consulte estes documentos:

Caso de uso comum: edição de ida e volta com as Planilhas Google

Um fluxo de trabalho administrativo comum é fazer edições de ida e volta. Isso envolve exportar a configuração do catálogo atual, fazer modificações em massa e aplicar essas mudanças de volta ao Knowledge Catalog.

O fluxo de trabalho a seguir ilustra como executar esse processo:

  1. Exporte os metadados atuais do Knowledge Catalog para o Google Planilhas.

    Use os utilitários exportação de glossário e exportação de links de entrada para extrair sua estrutura de glossário e links de entrada atuais para uma planilha Google.

  2. Modifique os metadados nas Planilhas Google.

    Faça as mudanças necessárias na planilha Google. Como os links simétricos (como synonym e related) são simplificados para uma única direção durante a exportação para evitar linhas duplicadas, você só precisa gerenciá-los uma vez.

    É possível adicionar novas linhas à planilha respectiva seguindo o esquema de coluna necessário. Você também pode modificar detalhes como descrições ou nomes de exibição diretamente nas linhas.

  3. Prepare e importe as mudanças das Planilhas Google de volta para o Knowledge Catalog.

    Primeiro, execute o utilitário importação de glossário. Isso garante que todos os novos termos ou categorias sejam criados com sucesso no glossário empresarial antes de você tentar vinculá-los.

    Execute o utilitário importação de links de entrada. Esse utilitário lê suas associações atualizadas, as organiza no bucket do Cloud Storage e aplica os links definition, related e synonym ao glossário recém-atualizado.

A seguir