Sobre os conectores de banco de dados

Neste documento, descrevemos como usar os conectores do Knowledge Catalog (antigo Dataplex Universal Catalog) para importar metadados de fontes de dados externas e de terceiros para o Knowledge Catalog.

Os conectores do Knowledge Catalog usam o serviço de transferência de dados do BigQuery para fornecer integrações pré-criadas que extraem automaticamente metadados de sistemas de origem e os mapeiam para entradas em um grupo de entradas do Knowledge Catalog.

Os conectores extraem os seguintes tipos de metadados:

  • Metadados técnicos: definições de banco de dados, esquema, tabela e visualização.
  • Metadados operacionais: carimbos de data/hora de criação e última atualização de recursos, como tabelas, visualizações e rotinas.
  • Metadados comerciais: proprietários de recursos e anotações.

Depois de configurar um conector, o Knowledge Catalog programa execuções de importação de metadados na frequência especificada, garantindo que o catálogo permaneça sincronizado com o sistema de origem.

Fontes de dados compatíveis

É possível importar metadados das seguintes fontes usando os conectores do Knowledge Catalog:

  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrações com parceiros de governança de dados

É possível integrar o Knowledge Catalog a outras plataformas empresariais de catalogação e governança de dados. Essas integrações ajudam a garantir que os metadados sejam detectáveis e consistentes em todo o cenário de dados da sua organização, permitindo que você os enriqueça no Knowledge Catalog ou os visualize em ferramentas de terceiros.

Os seguintes parceiros oferecem integrações para o Knowledge Catalog:

Como funciona

Os conectores do Knowledge Catalog usam configurações de transferência gerenciadas pelo serviço de transferência de dados do BigQuery para se conectar à sua fonte de dados, extrair metadados e ingerir em um grupo de entradas do Knowledge Catalog especificado.

Cada vez que uma execução de importação de metadados ocorre, ela realiza uma substituição completa das entradas no grupo de entradas de destino gerenciado por essa configuração. Os objetos de metadados que não estão mais presentes na origem são removidos do grupo de entradas, e novos objetos são adicionados. Os objetos no grupo de entrada que não foram importados pela configuração do conector não são afetados.

Você configura e gerencia essas configurações na página Conectores na seção Catálogo de dados do console do Google Cloud .

Terminologia

Os seguintes termos são usados nesta documentação:

  • Configuração de importação de metadados: as configurações de uma tarefa programada ou sob demanda que usa o serviço de transferência de dados do BigQuery para extrair metadados de uma fonte e carregá-los no catálogo do Knowledge.
  • Execução: uma única instância de execução de uma configuração de importação de metadados.
  • Grupo de entradas: um recurso no Knowledge Catalog que contém entradas de metadados. Ao configurar um conector, você designa um grupo de entradas como o destino dos metadados importados.
  • Entrada: um recurso no Knowledge Catalog que representa um recurso de dados, como uma tabela ou uma visualização.

Preços

Não há cobranças adicionais do Knowledge Catalog ou do serviço de transferência de dados do BigQuery para importar metadados usando conectores.

As cobranças padrão se aplicam a outros usos do Knowledge Catalog, como armazenamento de metadados. Para mais informações, consulte Preços do Knowledge Catalog.

Limitações

  • Somente os metadados são importados, não os dados das tabelas ou visualizações de origem. Para transferir os dados subjacentes, use o serviço de transferência de dados do BigQuery.
  • Cada execução substitui completamente as entradas gerenciadas pelo conector no grupo de entradas de destino. Não é possível fazer atualizações incrementais de metadados.
  • O histórico de execuções é mantido por 90 dias.

A seguir