Sobre a importação e exportação de glossários e links de entrada

O Knowledge Catalog (antigo Dataplex Universal Catalog) permite importar e exportar glossários empresariais e links de entrada em massa para gerenciar seu vocabulário empresarial em escala. À medida que o catálogo cresce, as operações em massa ajudam a atualizar os termos e as relações deles sem precisar gerenciar cada um individualmente no Google Cloud console.

Terminologia

O glossário empresarial do Knowledge Catalog permite definir um vocabulário empresarial comum e associar esses termos a recursos de dados físicos. Antes de trabalhar com os utilitários de importação e exportação, familiarize-se com os seguintes componentes principais:

  • Recursos do glossário:consistem em categorias e termos que estabelecem seu vocabulário empresarial.

  • Links de entrada:as relações ou associações entre recursos, como entre termos do glossário e recursos de dados. O Knowledge Catalog oferece suporte a três tipos de links de entrada:

    • definition: associa um termo do glossário a um recurso de dados específico (por exemplo, uma coluna do BigQuery)
    • related: estabelece uma relação entre dois termos do glossário relacionados
    • synonym: estabelece uma relação entre dois termos do glossário sinônimos

Métodos para importar e exportar glossários e links de entrada

O Knowledge Catalog oferece suporte a dois métodos principais para o gerenciamento de glossários em massa. Escolha o método que melhor se alinha às suas necessidades de automação e à interface preferida:

  • Importação de metadados baseada em JSON
  • Utilitários baseados no Google Planilhas para importação e exportação

Importação de metadados baseada em JSON

Esse é o mecanismo integrado e totalmente gerenciado do Knowledge Catalog. Você usa a API Dataplex para importar termos do glossário e as associações deles definidas em arquivos de metadados formatados em JSON.

Exemplo de caso de uso:atualize automaticamente os metadados do Knowledge Catalog como parte de um pipeline de dados programado diariamente, como sincronizar termos diretamente de um banco de dados empresarial externo.

Para mais informações, consulte Importar glossários e links de entrada usando arquivos JSON.

Utilitários baseados no Google Planilhas para importação e exportação

Essa é uma abordagem de código aberto baseada em script fornecida no repositório dataplex-labs. Ela usa um script Python para sincronizar metadados do glossário entre uma planilha do Google e o Knowledge Catalog.

Exemplo de caso de uso:uma equipe de governança de dados quer elaborar e revisar dezenas de novos termos empresariais com stakeholders não técnicos. A equipe usa esse método baseado em planilha para que todos possam editar, comentar e aprovar os termos na planilha do Google antes que um administrador execute o script para fazer upload deles para o Knowledge Catalog em massa.

Para mais informações, consulte estes documentos:

Caso de uso comum: edição de ida e volta com as Planilhas Google

Um fluxo de trabalho administrativo comum é realizar a edição de ida e volta. Isso envolve exportar a configuração do catálogo atual, fazer modificações em massa e aplicar essas mudanças de volta ao Knowledge Catalog.

O fluxo de trabalho a seguir ilustra como executar esse processo:

  1. Exporte os metadados atuais do Knowledge Catalog para o Google Planilhas.

    Use os utilitários de exportação de glossário e exportação de links de entrada para extrair a estrutura do glossário e os links de entrada atuais para uma planilha do Google.

  2. Modifique os metadados no Google Planilhas.

    Faça as mudanças necessárias na planilha Google. Como os links simétricos (como links de entrada synonym e related) são simplificados para uma única direção durante a exportação para evitar linhas duplicadas, você só precisa gerenciá-los uma vez.

    É possível adicionar novas linhas à planilha respectiva seguindo o esquema de coluna necessário. Também é possível modificar detalhes, como descrições ou nomes de exibição, diretamente nas linhas.

  3. Organize e importe as mudanças do Google Planilhas de volta para o Knowledge Catalog.

    Execute o utilitário de importação de glossário primeiro. Isso garante que todos os novos termos ou categorias sejam criados com sucesso no glossário empresarial antes de você tentar vinculá-los.

    Execute o utilitário de importação de links de entrada. Esse utilitário lê as associações atualizadas, as prepara no bucket do Cloud Storage e aplica os links definition, related e synonym ao glossário recém-atualizado.

A seguir