Sobre os conectores de metadados

Os conectores do Knowledge Catalog (antigo Dataplex Universal Catalog) permitem importar metadados técnicos, operacionais, comerciais e semânticos de fontes de dados de terceiros para o catálogo. É possível programar execuções recorrentes para manter o catálogo sincronizado com os sistemas de origem, de modo que você possa descobrir, pesquisar e governar recursos externos em um só lugar.

Fontes de dados compatíveis

É possível importar metadados das seguintes fontes usando os conectores do Knowledge Catalog:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrações com parceiros de governança de dados

É possível integrar o Knowledge Catalog a outras plataformas de governança e catalogação de dados empresariais. Essas integrações ajudam a garantir que os metadados sejam detectáveis e consistentes em todo o cenário de dados da sua organização, permitindo que você enriqueça os metadados no Knowledge Catalog ou visualize os metadados do Knowledge Catalog em ferramentas de terceiros.

Os parceiros a seguir oferecem integrações para o Knowledge Catalog:

Como funciona

Os conectores do Knowledge Catalog usam integrações pré-criadas e configurações de transferência gerenciadas pelo serviço de transferência de dados do BigQuery para se conectar à fonte de dados, extrair metadados automaticamente e mapeá-los para entradas em um grupo de entrada do Knowledge Catalog especificado.

Os conectores extraem os seguintes tipos de metadados:

  • Metadados técnicos: definições de esquema, tipo de dados e nome da coluna.
  • Metadados operacionais: carimbos de data/hora de criação e modificação, linhagem, estatísticas de uso e resultados de qualidade de dados.
  • Metadados comerciais: tags, proprietários e anotações.
  • Metadados semânticos: dimensões, medidas, métricas, consultas de ouro e relacionamentos.

Depois de configurar um conector, o Knowledge Catalog programa execuções de importação de metadados na programação especificada, garantindo que o catálogo permaneça sincronizado com o sistema de origem. Cada vez que uma execução de importação de metadados ocorre, ela realiza uma substituição completa das entradas no grupo de entrada de destino gerenciado por essa configuração. Os objetos de metadados que não estão mais presentes na origem são removidos do grupo de entrada, e novos objetos são adicionados. Os objetos no grupo de entrada que não são importados pela configuração do conector não são afetados.

É possível configurar e gerenciar essas configurações na página Conectores na seção Knowledge Catalog do Google Cloud console.

Terminologia

Os termos a seguir são usados nesta documentação:

  • Configuração de importação de metadados: as configurações de uma tarefa programada ou sob demanda que usa o serviço de transferência de dados do BigQuery para extrair metadados de uma origem e carregá-los no Knowledge Catalog.
  • Execução: uma única instância de execução de uma configuração de importação de metadados.
  • Grupo de entrada: um recurso no Knowledge Catalog que contém entradas de metadados. Ao configurar um conector, você designa um grupo de entrada como o destino dos metadados importados.
  • Entrada: um recurso no Knowledge Catalog que representa um recurso de dados, como uma tabela ou visualização.

Preços

Não há cobranças adicionais do Knowledge Catalog ou do serviço de transferência de dados do BigQuery para importar metadados usando conectores.

As cobranças padrão se aplicam a outros usos do Knowledge Catalog (como armazenamento de metadados). Para mais informações, consulte Preços do Knowledge Catalog.

Limitações

  • Somente os metadados são importados, não os dados subjacentes das tabelas ou visualizações de origem. Para transferir os dados subjacentes, use o serviço de transferência de dados do BigQuery.
  • Cada execução realiza uma substituição completa das entradas gerenciadas pelo conector no grupo de entrada de destino. As atualizações incrementais de metadados não são compatíveis.
  • O histórico de execução é mantido por 90 dias.

A seguir