Usar o Knowledge Catalog com o BigQuery

O Knowledge Catalog (antigo Dataplex Universal Catalog) interage com o BigQuery como uma camada central de governança de dados e acesso de agentes para os metadados do BigQuery. Para mais informações, consulte a Visão geral do Knowledge Catalog.

Como usar o Knowledge Catalog com o BigQuery?

O Knowledge Catalog interage com o BigQuery das seguintes maneiras.

Ingestão automatizada de metadados

O Knowledge Catalog descobre e indexa automaticamente metadados técnicos de recursos do BigQuery. Isso inclui o seguinte:

Representação e enriquecimento de metadados

  • Entradas: cada tabela ou recurso do BigQuery é representado como uma entrada no catálogo, em vez da tabela inteira. Por exemplo, project.dataset.table.
  • Integração do scorecard de qualidade de dados: o Knowledge Catalog fornece um scorecard de qualidade de dados para cada entrada no catálogo. Além das verificações de dados integradas do Knowledge Catalog, os resultados de declaração do Dataform são uma fonte para essa ficha de avaliação.

  • Enriquecimento automatizado de metadados: para tabelas e visualizações criadas com o Dataform, é possível definir metadados semânticos diretamente no código. Esses metadados são sincronizados automaticamente com o Knowledge Catalog após a conclusão de uma ação de pipeline. Os seguintes tipos de aspecto são compatíveis:

    • Visão geral: documentação e texto de resumo da entrada.
    • Aspectos genéricos: tags de metadados semânticos para detalhes técnicos, como informações de tipo e sistema de tabela.

    Para verificar o status de uma atualização de metadados, siga as instruções em Ver execuções manuais anteriores.

    Depois que os metadados forem sincronizados, será possível pesquisar e visualizar a entrada no Knowledge Catalog. Para mais informações, consulte Pesquisar recursos.

  • Metadados no nível da coluna: colunas ou campos individuais são representados como caminhos, permitindo que você anexe metadados específicos, como marcadores de PII ou pontuações de qualidade de dados, a campos individuais em uma tabela do BigQuery, em vez de apenas à tabela em si.

  • Aspectos: os metadados técnicos são enriquecidos com aspectos, que adicionam contexto comercial aos dados, como propriedade, qualidade de dados e documentação.

  • Produtos de dados: é possível empacotar recursos relacionados do BigQuery em produtos de dados, como dados da empresa de e-commerce, que têm acesso compartilhado e restrições de governança.

  • Pesquisa semântica: os usuários podem usar linguagem natural para pesquisar dados do BigQuery, o que é especialmente útil para cientistas de dados e agentes de IA encontrarem produtos de dados confiáveis usando consultas longas ou complexas.
  • Tradução de nomes: para facilitar a pesquisa programática, o sistema permite traduzir nomes SQL do BigQuery ou nomes totalmente qualificados em nomes de entrada do Knowledge Catalog.

Acesso e embasamento agênticos

  • Acesso agêntico: os agentes de IA podem descobrir e usar de forma adaptativa as ferramentas do Knowledge Catalog por um servidor MCP local ou remoto.
  • Contexto para agentes de IA: o Knowledge Catalog organiza um gráfico de contexto que vincula conjuntos de dados do BigQuery à semântica de negócios, ajudando a reduzir as alucinações de IA ao garantir que os modelos usem dados aprovados pela empresa.

Governança e compliance

  • Linhagem de dados: o Knowledge Catalog rastreia automaticamente como os dados fluem e se transformam dentro e fora das tabelas do BigQuery. Esse recurso é fundamental para auditar informações sensíveis, como PII, em todo o patrimônio de dados.
  • Controle de acesso:o gerenciamento de metadados é integrado ao Identity and Access Management (IAM) e ao VPC Service Controls para garantir que a descoberta e o acesso aos metadados do BigQuery sigam as políticas de segurança da organização.

A seguir

Saiba mais sobre o Knowledge Catalog: